Crean ‘esculturas de movimiento’ impresas en 3-D a partir de videos en 2-D
Los videos y fotografías tradicionales para estudiar el movimiento son bidimensionales y no nos muestran la estructura tridimensional subyacente de la persona o el tema de interés. Sin la geometría completa, no podemos inspeccionar los movimientos pequeños y sutiles que nos ayudan a movernos más rápido, o dar sentido a la precisión necesaria para perfeccionar nuestra forma atlética.
Recientemente, los investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial (CSAIL) del MIT han encontrado una forma de manejar mejor esta comprensión del movimiento complejo.
El nuevo sistema usa un algoritmo que puede tomar videos en 2-D y convertirlos en “esculturas en movimiento” impresas en 3-D que muestran cómo un cuerpo humano se mueve a través del espacio. Además de ser una visualización estética intrigante de forma y tiempo, el equipo prevé que su sistema “MoSculp” podría permitir un estudio mucho más detallado de movimiento para los atletas profesionales, bailarines, o cualquier persona que quiera mejorar sus habilidades físicas.
“Imagina que tienes un video de Roger Federer sacando una pelota en un partido de tenis y un video de ti aprendiendo tenis”, dice el estudiante de doctorado Xiuming Zhang, autor principal de un nuevo artículo sobre el sistema. “Luego puedes construir esculturas de movimiento de ambos escenarios para compararlos y estudiar más exhaustivamente dónde necesitas mejorar”.
Debido a que las esculturas en movimiento son 3-D, los usuarios pueden usar una interfaz de computadora para navegar por las estructuras y verlas desde diferentes puntos de vista, revelando información relacionada con el movimiento inaccesible desde el punto de vista original.
Zhang escribió el artículo junto a los profesores del MIT William Freeman y Stefanie Mueller, el estudiante de doctorado Jiajun Wu, los investigadores de Google Qiurui He y Tali Dekel, así como también los de la U.C. Postdoc de Berkeley y ex doctor de CSAIL Andrew Owens.
Cómo funciona
Los artistas y científicos han luchado durante mucho tiempo para obtener una mejor visión del movimiento, limitada por su propia lente de cámara y lo que podría proporcionar.
El trabajo previo ha utilizado principalmente las técnicas de fotografía llamadas “estroboscópicas”, que se parecen mucho a las imágenes de un libro. Pero como estas fotos solo muestran instantáneas del movimiento, no podrías ver la trayectoria del brazo de una persona cuando están golpeando una pelota de golf, por ejemplo.
Además, estas fotografías también requieren una laboriosa configuración previa al disparo, como el uso de un fondo limpio y cámaras de profundidad y equipos de iluminación especializados. Todas las necesidades de MoSculp son una secuencia de video.
Dado un video de entrada, el sistema primero detecta automáticamente puntos clave en 2-D en el cuerpo del sujeto, como la cadera, la rodilla y el tobillo de una bailarina, mientras realiza una compleja secuencia de baile. Luego, toma las mejores poses posibles de esos puntos para convertirlos en “esqueletos” tridimensionales.
Después de unir estos esqueletos, el sistema genera una escultura en movimiento que puede imprimirse en 3-D, mostrando la trayectoria suave y continua del movimiento trazada por el sujeto. Los usuarios pueden personalizar sus figuras para enfocarse en las diferentes partes del cuerpo, asignar diferentes materiales para distinguir entre las partes e incluso personalizar la iluminación.
En estudios de usuarios, los investigadores encontraron que más del 75 por ciento de los sujetos consideraron que MoSculp proporcionaba una visualización más detallada para estudiar el movimiento que las técnicas de fotografía estándar.
“La danza y los movimientos atléticos altamente calificados a menudo parecen esculturas en movimiento, solo crean formas fugaces y efímeras”, dice Courtney Brigham, responsable de comunicaciones en Adobe. “Este trabajo muestra cómo tomar movimientos y convertirlos en esculturas reales con visualizaciones objetivas del movimiento, proporcionando una forma para que los atletas analicen sus movimientos para entrenar, no requiriendo más equipamiento que una cámara móvil y tiempo de computación”.
El sistema funciona mejor para movimientos más grandes, como lanzar una pelota o dar un gran salto durante una secuencia de baile. También funciona para situaciones que pueden obstruir o complicar el movimiento, como personas que visten ropa holgada o que llevan objetos.
Actualmente, el sistema solo usa escenarios de una sola persona, pero el equipo pronto espera expandirse a varias personas. Esto podría abrir el potencial para estudiar cosas como los trastornos sociales, las interacciones interpersonales y la dinámica de equipo.
El equipo presentará su artículo sobre el sistema el próximo mes en la conferencia de software y tecnología de interfaz de usuario (UIST) en Berlín, Alemania.
