Latent Consistency Models: immagini da Stable Diffusion in 2-4 passi
In una frase Ricercatori della Tsinghua University presentano i Latent Consistency Models: distillando un modello di diffusione latente come Stable Diffusion si ottengono immagini 768x768 in 2-4 passi di inferenza invece di decine, con circa 32 ore GPU A100 di addestramento.
Un modello di diffusione come Stable Diffusion genera un'immagine ripulendo il rumore in molti passaggi successivi, e ogni passaggio è un'esecuzione completa della rete. Per questo la generazione è lenta.
I Latent Consistency Models (LCM) partono da un modello già addestrato e lo distillano: un modello studente impara a prevedere direttamente il risultato finale del processo, saltando i passaggi intermedi. Così bastano 2-4 passi per ottenere un'immagine.
Secondo gli autori, l'addestramento costa poco (circa 32 ore di GPU A100 per il modello a 768x768) e i risultati con pochi passi sono allo stato dell'arte. Il metodo include anche una tecnica per adattare gli LCM a dataset di immagini personalizzati.
Aziende
Tsinghua University
Tool
—
Tag
Fonti