ControlNet: controllo strutturale per Stable Diffusion senza ritraining
In una frase Zhang et al. presentano ControlNet, un adapter che aggiunge controllo di posa, profondità e bordi a Stable Diffusion senza modificare i pesi del modello base.
Stable Diffusion genera immagini da testo, ma con poco controllo sulla composizione: vuoi un personaggio in una posa precisa? Difficile. ControlNet risolve questo problema aggiungendo un layer di controllo visivo sopra al modello esistente.
L'utente può fornire uno scheletro di posa, una mappa di profondità o i bordi di un'immagine, e il modello genera il risultato rispettando quella struttura. Il personaggio generato seguirà esattamente la posa indicata.
Il bello è che ControlNet funziona come un "plug-in": non serve riaddestrare Stable Diffusion da zero, si aggiunge sopra. Questo ha aperto una stagione di adapter specializzati e ha rivoluzionato il workflow degli artisti digitali.
Aziende
Lvmin Zhang, Stanford University
Tool
ControlNet, Stable Diffusion
Tag
Fonti