AnimateDiff: porta il movimento a qualsiasi modello Stable Diffusion
In una frase Shanghai AI Lab pubblica AnimateDiff: un motion module plug-in che aggiunge consistenza temporale a qualsiasi checkpoint SD esistente, trasformando ogni modello image-only in un generatore video senza riaddestrarlo.
Stable Diffusion nel 2023 aveva un problema: ogni fine-tune, ogni checkpoint, ogni LoRA produceva immagini bellissime ma statiche. Per animarli, bisognava ripartire da zero con un modello video dedicato.
AnimateDiff risolve questo con un approccio a "plug-in": si inserisce un modulo aggiuntivo — il motion module — nella rete neurale esistente. Questo modulo impara solo il movimento, non lo stile. Una volta addestrato su un grande dataset video, può essere collegato a qualsiasi modello SD senza modificarlo.
Il risultato: se hai un checkpoint che genera splendidi paesaggi in stile anime, puoi animarlo subito. Se ne hai uno addestrato su illustrazioni fantasy, funziona anche lì. Tutta la creatività dell'ecosistema SD diventa animabile in pochi minuti. Questo è stato il motore principale della generazione video open source per tutto il 2023-2024.
Aziende
Shanghai AI Lab
Tool
—
Tag
Fonti