Ho provato a fornire alla generazione di video con IA una semplice previz realizzata con scatole e manichini. La previz è un filmato grezzo usato per definire in anticipo la disposizione e i movimenti dei personaggi, nonché i movimenti di camera.

In conclusione, funziona piuttosto bene. Tuttavia, non riproduce ogni dettaglio esattamente com'è. Piuttosto, se le si fornisce una regia di massima, completa in modo efficace ciò che manca. Si è rivelata utile come progetto di riferimento a questo scopo.

Confronto tra previz e risultato generato

In tutti i video, in alto c'è il filmato generato dall'IA, in basso la previz originale. Ciascuno dura circa 15 secondi. Ho testato fino a che punto sia possibile trasmettere lo svolgimento di una scena senza curare nei dettagli sfondi e personaggi.

Un caffè sul mare

Da una semplice disposizione di tavolo e personaggi a un caffè al tramonto. Azioni come portare una bevanda alla bocca vengono trasformate in immagini dall'aspetto realistico.

再生

Camminare per le strade di notte

La posizione dei personaggi e la direzione di cammino vengono indicate nella previz. Un paesaggio urbano semplice e luminoso come fosse giorno viene trasformato tramite prompt in una città notturna.

再生

Una tartaruga marina sott'acqua

Da un fondale approssimativo e dal movimento della tartaruga marina a un paesaggio con luce subacquea e coralli. È un esempio che rende facile capire il completamento visivo.

再生

Correre lungo il mare

Ho indicato una persona che corre e il movimento della camera che la segue. Lo sfondo grezzo viene sostituito da una passeggiata sul mare.

再生

Una città piovosa e un tram

Partendo dalla disposizione di una persona con ombrello e di un tram, ho aggiunto l'atmosfera di una notte di pioggia.

再生

Il procedimento è semplice

Per questa produzione, ho seguito questo flusso.

1. Con Python＋Blender 4.2, creare una previz usando scatole e forme semplici. Per i movimenti dei personaggi ho usato anche Mixamo.
2. Preparare immagini di riferimento per i personaggi e altro con la generazione di immagini di Codex.
3. Fornire a MiniMax-H3 Ref2VA la previz, le immagini di riferimento e l'audio di riferimento, quindi generare un video di circa 15 secondi.
4. Preparare i dialoghi con HiggsAudio v3, gli effetti sonori con Stable Audio 3 Medium e la musica con ACE-Step 1.5, quindi mixare e montare con ffmpeg. Per gli script di produzione e la gestione dell'esecuzione ho usato Claude Code.

Il punto chiave delle istruzioni è separare il ruolo dei riferimenti. Si chiede di usare «le immagini per il volto e gli abiti» e «la previz per la disposizione, le azioni e i movimenti di camera», specificando che l'aspetto dei manichini e delle scatole non deve essere mantenuto. La resa finale, come notte, pioggia e illuminazione, viene indicata a parole.

Utile, ma i dettagli cambiano parecchio

La disposizione dei personaggi, la direzione degli spostamenti, l'ordine delle azioni e i movimenti generali della camera vengono trasmessi bene; al contrario, istruzioni dettagliate come «fermarsi dopo quanti secondi» o «di quanto zoomare» talvolta risultavano sfasate o non venivano recepite. Non è possibile bloccare con precisione ogni dettaglio.

Inoltre, lo sfarfallio delle luci nella previz o sfondi disposti in modo troppo regolare potevano rimanere anche nel risultato generato. Sembra quindi meglio mantenere semplici sia l'illuminazione sia le forme della previz, concentrandosi sui movimenti che si vogliono comunicare.

Ciononostante, è comodo che riesca a completare istruzioni grossolane fino a ottenere un video gradevole. I dettagli possono cambiare parecchio, ma è più che sufficiente per trasmettere l'impianto generale della regia. Non serve realizzarla alla perfezione: anche se è approssimativa, è meglio usare una previz, questa è la mia impressione dopo questa prova.