IP-Adapter: trasferisci stile e soggetto da una foto di riferimento
In una frase Tencent AI Lab pubblica IP-Adapter, un adapter leggero per Stable Diffusion che condiziona la generazione su un'immagine reference senza riqualificare il modello base.
Generare un'immagine "nello stile di questa foto" o "con questo personaggio" era complicato: servivano DreamBooth, LoRA o altri processi di fine-tuning lunghi e costosi. IP-Adapter cambia l'approccio: è un piccolo modulo aggiuntivo che si inserisce nel modello esistente senza toccarlo.
Funziona come un "traduttore": prende l'immagine di riferimento, ne estrae le caratteristiche visive con CLIP, e le inietta nel processo generativo attraverso uno strato di cross-attention separato. Testo e immagine guidano la generazione in modo indipendente.
Il risultato pratico è immediato: si può usare la foto di un prodotto, di una persona o di un dipinto come guida visiva, e il modello rispetta sia il contenuto testuale che le caratteristiche visive del riferimento.
Aziende
Tencent AI Lab
Tool
IP-Adapter, Stable Diffusion
Tag
Fonti