Salta al contenuto
AImpact
IT EN
Addestramento Intermedio Anche noto come: Low-Rank Adaptation

LoRA

/lor-ah/

Tecnica di fine-tuning che addestra solo un piccolo set di parametri aggiuntivi invece di tutto il modello, riducendo costi di calcolo e dimensione del file risultante.

CondividiLinkedInX

In pratica

Permette di personalizzare un modello da 70 miliardi di parametri su una GPU consumer. Si salvano adapter da pochi MB che si applicano sopra il modello base. È lo standard pratico per adattare modelli open weight a casi d'uso specifici.

Termini collegati

Fine-tuning Quantization

Visto in azione

3 voci che lo citano
  1. Attacchi alla supply chain AI: modelli avvelenati, LoRA malevoli e backdoor nei file GGUF
    Alto
  2. bitsandbytes 0.43: QLoRA e quantizzazione NF4/FP4 per fine-tuning 4-bit
    Medio
  3. S-LoRA e Punica: serving di centinaia di fine-tuning LoRA da un singolo modello base
    Alto
← Tutti i termini