Dream Machine – LUMA AI
Luma Labs ha presentat Dream Machine, una eina innovadora per generar vídeos d’alta qualitat i realisme a partir de prompts de text i imatges. Actualment, aquesta eina està disponible per a proves.
Dream Machine es basa en una arquitectura transformadora multimodal, eficient i escalable, entrenada directament amb vídeos. Això li permet crear escenes precises i consistents, amb accions dinàmiques. La startup assegura que el model entén la interacció entre persones, animals i objectes en el món físic, aconseguint una alta consistència de personatges i física realista. Els vídeos es generen a partir de text o imatges.
El vídeo està limitat a una durada de cinc segons, generant fins a 120 fotogrames en 120 segons. Dream Machine permet experimentar amb moviments de càmera fluids i cinematogràfics.
Hi ha algunes limitacions en la consistència, com canvis en els objectes en moviment, problemes amb el renderitzat de text i un efecte anomenat “Janus”, on els objectes generats poden tenir dos caps temporalment. Luma Labs planeja millorar aquests aspectes.
Luma AI es compromet a oferir nous models generatius líders. Dream Machine és el primer d’una sèrie de “Models Generatius Fronterers” que permetrà als usuaris crear contingut nou a partir d’imatges, vídeos i textos. Les primeres reaccions al model han estat molt positives. La versió de prova requereix un inici de sessió de Google.
LumaLabs AI és coneguda per aplicar la IA generativa en el modelatge 3D, especialment amb NeRFs. Amb l’API de vídeo a 3D i la interfície web de Luma, és possible crear models 3D a partir d’imatges o vídeos. A més, ofereixen una interfície de text a 3D anomenada Genie.
Amb Dream Machine, Luma Labs entra en un nou camp que ha vist avenços recents amb Sora i KLING, tot i que aquests generadors encara no estan disponibles al públic. S’espera que RunwayML, el generador de vídeo líder actual, llanci aviat un nou model, segons el seu CEO, Cristóbal Valenzuela. Queden dubtes sobre la consistència, el cost i el temps de generació.
Luma Labs va destacar que Dream Machine és un dels seus models més avançats. A diferència d’altres models d’animació d’imatges, Dream Machine és un generador de vídeo real. Per al seu entrenament, Luma Labs va utilitzar Amazon Web Services i la infraestructura de NVIDIA H100 SageMaker HyperPod.
