Meta treu Movie Gen, IA per a creació de vídeos

10 d'octubre de 202447 Views

Meta ha llançat una emocionant eina d’intel·ligència artificial anomenada Movie Gen, dissenyada per revolucionar la creació de mitjans audiovisuals permetent que tant cineastes aspirants com creadors de contingut experimentin amb la producció de vídeos i àudio d’alta qualitat a partir de entrades de text simples. Aquesta innovadora plataforma es basa en un model d’intel·ligència artificial generativa que combina la generació d’imatges, vídeos i àudio en una sola eina. El propòsit de Movie Gen no és reemplaçar els artistes i animadors, sinó potenciar la seva creativitat i facilitar l’expressió artística a un públic més ampli, donant-los la possibilitat de crear vídeos i sons personalitzats sense necessitat de coneixements tècnics avançats.

Aquest llançament representa el següent pas en el desenvolupament d’intel·ligència artificial generativa de Meta, que va començar amb la sèrie de models Make-A-Scene, que es van centrar en la creació d’imatges, àudio, vídeos i animacions 3D. Més tard, la companyia va avançar amb els models de difusió per generar imatges i vídeos de major qualitat i facilitar l’edició d’imatges. Movie Gen combina totes aquestes funcionalitats en una eina integrada que permet un control encara més detallat en el procés creatiu.

Les capacitats de Movie Gen

El nucli de Movie Gen inclou quatre funcionalitats principals: generació de vídeos, creació de vídeos personalitzats, edició precisa de vídeos i generació d’àudio.

Generació de vídeos:

El model pot produir vídeos d’alta qualitat a partir de simples prompts de text. Aquest sistema, que opera amb un transformador de 30 mil milions de paràmetres, genera vídeos de fins a 16 segons a una velocitat de 16 fotogrames per segon. Les imatges generades mostren un moviment plausible d’objectes i subjectes, així com interaccions entre ells i l’entorn, cosa que posiciona Movie Gen com un dels millors models en la seva categoria. Gràcies a aquesta capacitat, és possible crear seqüències dinàmiques amb moviment de càmera i acció coherent.

Vídeos personalitzats:

Aquesta funcionalitat expandeix la generació de vídeos permetent que els usuaris integrin la seva pròpia imatge en els vídeos generats. En combinar una imatge de referència amb un text, Movie Gen genera vídeos que no només inclouen l’usuari, sinó que també preserven la seva identitat i moviments de manera precisa. Aquesta capacitat és ideal per a aquells que busquen personalitzar els seus vídeos o crear contingut altament específic i original.

Edició precisa de vídeos:

Aquesta característica destaca perquè permet als usuaris modificar vídeos existents amb extrema precisió. Usant un model que combina la generació de vídeos amb eines avançades d’edició d’imatges, és possible realitzar canvis localitzats, com la inclusió o eliminació d’elements, o modificacions globals com ajustos d’estil o canvis de fons. A diferència de les eines tradicionals que requereixen habilitats especialitzades, Movie Gen facilita aquest tipus d’edició sense comprometre la qualitat ni afectar el contingut original.

Generació d’àudio:

A més de la generació d’imatges i vídeos, Movie Gen inclou un model d’àudio amb 13 mil milions de paràmetres, capaç de generar àudio d’alta fidelitat a partir de vídeos i, opcionalment, textos. Aquesta eina permet crear so ambiental, efectes de so (Foley) i música de fons instrumental, tots sincronitzats amb el vídeo. A més, compta amb una tècnica d’extensió d’àudio que permet generar àudio coherent per a vídeos de qualsevol durada, cosa que la converteix en una eina d’avantguarda en termes de qualitat d’àudio i alineació amb el contingut visual.

Skateboarding w/ wheels spinning, and a slamming sound as the skateboard lands on concrete.

Fluffy koala surfing

Impacte en la indústria creativa

Meta ha construït una sòlida trajectòria en el desenvolupament i la democratització de la intel·ligència artificial generativa, i Movie Gen és un reflex d’aquest compromís. Encara que les capacitats d’aquests models són impressionants, Meta subratlla que aquesta eina no busca reemplaçar el treball d’artistes i animadors, sinó més aviat amplificar la seva capacitat creativa. Movie Gen brinda l’oportunitat que més persones puguin expressar les seves visions artístiques i produir contingut audiovisual d’alta qualitat, sense necessitat de tenir habilitats tècniques avançades.

Una de les característiques més emocionants de Movie Gen és el seu potencial per a aplicacions futures. Meta imagina un futur en el qual qualsevol pugui crear i editar vídeos usant només prompts de text, des d’animacions personalitzades per a xarxes socials fins a vídeos especials per a ocasions com aniversaris. Aquest tipus de col·laboració entre tecnologia i creativitat obre noves possibilitats i formes d’expressió que abans eren impensables.

Resultats i avaluació

En termes de rendiment, Movie Gen ha superat models similars en la indústria en proves avaluades per humans, obtenint millors resultats en tasques com generació de vídeo, personalització de vídeos i qualitat d’àudio. Meta ha dut a terme avaluacions detallades, presentades en la seva investigació, que destaquen els avanços tècnics assolits en aspectes com l’arquitectura del model, els objectius d’entrenament i els protocols d’avaluació. Encara que els resultats fins ara són prometedors, els investigadors reconeixen que encara hi ha marge de millora, com l’optimització dels temps d’inferència i l’escalabilitat del model per generar contingut encara més detallat.

Personalized video from an image

Waterfall w/ Rain pours against the cliff and the person, with music playing in the background.

Futur de Movie Gen

Meta planeja seguir treballant en la millora contínua de Movie Gen i en el seu possible llançament públic en el futur. L’empresa vol col·laborar amb cineastes i creadors de contingut per refinar l’eina, garantint que compleixi amb les necessitats creatives dels usuaris. Aquesta interacció amb la comunitat serà crucial per desenvolupar un conjunt d’eines que realment potenciï la creativitat de les persones, permetent-los donar vida a idees que abans només existien en la seva imaginació.

Conclusió

Movie Gen representa una innovació en l’àmbit de la creació audiovisual en integrar text, imatges, vídeos i àudio en una sola plataforma. Amb capacitats avançades de generació i edició, aquesta eina no només facilita la creació de contingut d’alta qualitat, sinó que també obre la porta a noves formes d’expressió creativa per a una audiència més àmplia. Encara que encara està en desenvolupament, Movie Gen promet ser una eina fonamental en la creació de mitjans digitals en un futur proper.