Meta lanza Movie Gen, IA para creación de videos

10 de octubre de 2024140 Views

Meta ha lanzado una emocionante herramienta de inteligencia artificial llamada Movie Gen, diseñada para revolucionar la creación de medios audiovisuales al permitir que tanto cineastas aspirantes como creadores de contenido experimenten con la producción de videos y audio de alta calidad a partir de entradas de texto simples. Esta innovadora plataforma se basa en un modelo de inteligencia artificial generativa que combina la generación de imágenes, videos y audio en una sola herramienta. El propósito de Movie Gen no es reemplazar a los artistas y animadores, sino potenciar su creatividad y facilitar la expresión artística a un público más amplio, dándoles la posibilidad de crear videos y sonidos personalizados sin necesidad de conocimientos técnicos avanzados.

Este lanzamiento representa el siguiente paso en el desarrollo de inteligencia artificial generativa de Meta, que comenzó con la serie de modelos Make-A-Scene, que se centraron en la creación de imágenes, audio, videos y animaciones 3D. Más tarde, la compañía avanzó con los modelos de difusión para generar imágenes y videos de mayor calidad y facilitar la edición de imágenes. Movie Gen combina todas estas funcionalidades en una herramienta integrada que permite un control aún más detallado en el proceso creativo.

Las capacidades de Movie Gen

El núcleo de Movie Gen incluye cuatro funcionalidades principales: generación de videos, creación de videos personalizados, edición precisa de videos y generación de audio.

Generación de videos:

El modelo puede producir videos de alta calidad a partir de simples prompts de texto. Este sistema, que opera con un transformador de 30 mil millones de parámetros, genera videos de hasta 16 segundos a una velocidad de 16 cuadros por segundo. Las imágenes generadas muestran un movimiento plausible de objetos y sujetos, así como interacciones entre ellos y el entorno, lo que posiciona a Movie Gen como uno de los mejores modelos en su categoría. Gracias a esta capacidad, es posible crear secuencias dinámicas con movimiento de cámara y acción coherente.

Videos personalizados:

Esta funcionalidad expande la generación de videos al permitir que los usuarios integren su propia imagen en los videos generados. Al combinar una imagen de referencia con un texto, Movie Gen genera videos que no solo incluyen al usuario, sino que también preservan su identidad y movimientos de manera precisa. Esta capacidad es ideal para aquellos que buscan personalizar sus videos o crear contenido altamente específico y original.

Edición precisa de videos:

Esta característica destaca porque permite a los usuarios modificar videos existentes con extrema precisión. Usando un modelo que combina la generación de videos con herramientas avanzadas de edición de imágenes, es posible realizar cambios localizados, como la inclusión o eliminación de elementos, o modificaciones globales como ajustes de estilo o cambios de fondo. A diferencia de herramientas tradicionales que requieren habilidades especializadas, Movie Gen facilita este tipo de edición sin comprometer la calidad ni afectar el contenido original.

Generación de audio:

Además de la generación de imágenes y videos, Movie Gen incluye un modelo de audio con 13 mil millones de parámetros, capaz de generar audio de alta fidelidad a partir de videos y, opcionalmente, textos. Esta herramienta permite crear sonido ambiental, efectos de sonido (Foley) y música de fondo instrumental, todos sincronizados con el video. Además, cuenta con una técnica de extensión de audio que permite generar audio coherente para videos de cualquier duración, lo que la convierte en una herramienta de vanguardia en términos de calidad de audio y alineación con el contenido visual.

Skateboarding w/ wheels spinning, and a slamming sound as the skateboard lands on concrete.

Fluffy koala surfing

Impacto en la industria creativa

Meta ha construido una sólida trayectoria en el desarrollo y la democratización de la inteligencia artificial generativa, y Movie Gen es un reflejo de ese compromiso. Aunque las capacidades de estos modelos son impresionantes, Meta subraya que esta herramienta no busca reemplazar el trabajo de artistas y animadores, sino más bien amplificar su capacidad creativa. Movie Gen brinda la oportunidad de que más personas puedan expresar sus visiones artísticas y producir contenido audiovisual de alta calidad, sin necesidad de tener habilidades técnicas avanzadas.

Una de las características más emocionantes de Movie Gen es su potencial para aplicaciones futuras. Meta imagina un futuro en el que cualquiera pueda crear y editar videos usando solo prompts de texto, desde animaciones personalizadas para redes sociales hasta videos especiales para ocasiones como cumpleaños. Este tipo de colaboración entre tecnología y creatividad abre nuevas posibilidades y formas de expresión que antes eran impensables.

Resultados y evaluación

En términos de rendimiento, Movie Gen ha superado a modelos similares en la industria en pruebas evaluadas por humanos, obteniendo mejores resultados en tareas como generación de video, personalización de videos y calidad de audio. Meta ha llevado a cabo evaluaciones detalladas, presentadas en su investigación, que destacan los avances técnicos logrados en aspectos como la arquitectura del modelo, los objetivos de entrenamiento y los protocolos de evaluación. Aunque los resultados hasta el momento son prometedores, los investigadores reconocen que aún hay espacio para mejoras, como la optimización de los tiempos de inferencia y la escalabilidad del modelo para generar contenido aún más detallado.

Personalized video from an image

Waterfall w/ Rain pours against the cliff and the person, with music playing in the background.

Futuro de Movie Gen

Meta planea seguir trabajando en la mejora continua de Movie Gen y en su posible lanzamiento público en el futuro. La empresa quiere colaborar con cineastas y creadores de contenido para refinar la herramienta, garantizando que cumpla con las necesidades creativas de los usuarios. Esta interacción con la comunidad será crucial para desarrollar un conjunto de herramientas que realmente potencie la creatividad de las personas, permitiéndoles dar vida a ideas que antes solo existían en su imaginación.

Conclusión

Movie Gen representa una innovación en el ámbito de la creación audiovisual al integrar texto, imágenes, videos y audio en una sola plataforma. Con capacidades avanzadas de generación y edición, esta herramienta no solo facilita la creación de contenido de alta calidad, sino que también abre la puerta a nuevas formas de expresión creativa para una audiencia más amplia. Aunque aún está en desarrollo, Movie Gen promete ser una herramienta fundamental en la creación de medios digitales en el futuro cercano.