Lumiere – Un modello AI di diffusione spazio-temporale per la generazione di video realistici

 

Lumiere di Google è un nuovo modello AI di diffusione da testo a video che eccelle nella creazione di video realistici e coerenti.

A differenza dei metodi tradizionali che generano fotogrammi chiave e poi riempiono i dettagli (che possono portare a incoerenze), Lumiere utilizza un’architettura Spazio-Tempo U-Net per creare l’intero video in una volta sola.

Questo approccio garantisce una migliore coerenza nel tempo.

Il modello esegue down- e up-sampling spaziali e temporali, integrando tecniche provenienti da modelli testo-immagine pre-addestrati.

È in grado di generare video a frame rate completo e a bassa risoluzione elaborando più scale spazio-temporali.

Questa tecnologia stabilisce un nuovo standard nella generazione di testo in video e può essere utilizzata per varie attività di creazione di contenuti e editing video, come la conversione di immagini in video, l’inpainting di video e la creazione di video stilizzati.

maggiori informazioni sul sito https://lumiere-video.github.io/