Dream Machine – LUMA AI
Luma Labs ha presentado Dream Machine, una herramienta innovadora para generar vídeos de alta calidad y realismo a partir de prompts de texto e imágenes. Actualmente, esta herramienta está disponible para pruebas.
Dream Machine se basa en una arquitectura transformadora multimodal, eficiente y escalable, entrenada directamente con vídeos. Esto le permite crear escenas precisas y consistentes, con acciones dinámicas. La startup asegura que el modelo entiende la interacción entre personas, animales y objetos en el mundo físico, logrando una alta consistencia de personajes y física realista. Los vídeos se generan a partir de texto o imágenes.
El vídeo está limitado a una duración de cinco segundos, generando hasta 120 fotogramas en 120 segundos. Dream Machine permite experimentar con movimientos de cámara fluidos y cinematográficos.
Existen algunas limitaciones en la consistencia, como cambios en los objetos en movimiento, problemas con el renderizado de texto y un efecto denominado «Janus», donde los objetos generados pueden tener dos cabezas temporalmente. Luma Labs planea mejorar estos aspectos.
Luma AI se compromete a ofrecer nuevos modelos generativos líderes. Dream Machine es el primero de una serie de «Modelos Generativos Fronterizos» que permitirá a los usuarios crear contenido nuevo a partir de imágenes, vídeos y textos. Las primeras reacciones al modelo han sido muy positivas. La versión de prueba requiere un inicio de sesión de Google.
LumaLabs AI es conocida por aplicar la IA generativa en el modelado 3D, especialmente con NeRFs. Con la API de vídeo a 3D y la interfaz web de Luma, es posible crear modelos 3D a partir de imágenes o vídeos. Además, ofrecen una interfaz de texto a 3D llamada Genie.
Con Dream Machine, Luma Labs entra en un nuevo campo que ha visto avances recientes con Sora y KLING, aunque estos generadores aún no están disponibles al público. Se espera que RunwayML, el generador de vídeo líder actual, lance pronto un nuevo modelo, según su CEO, Cristóbal Valenzuela. Quedan dudas sobre la consistencia, costo y tiempo de generación.
Luma Labs destacó que Dream Machine es uno de sus modelos más avanzados. A diferencia de otros modelos de animación de imágenes, Dream Machine es un generador de vídeo real. Para su entrenamiento, Luma Labs utilizó Amazon Web Services y la infraestructura de NVIDIA H100 SageMaker HyperPod.
