Salta al contenuto
AImpact
IT EN
Addestramento Intermedio Anche noto come: Quantized LoRA

QLoRA

/kew-lor-ah/

Variante di LoRA che mantiene il modello base in formato quantizzato a 4 bit durante il fine-tuning, riducendo drasticamente la memoria GPU richiesta.

CondividiLinkedInX

In pratica

Permette di adattare modelli da 13B-70B parametri su una singola GPU consumer (es. RTX 4090 o A100 da 24-40 GB). È la tecnica preferita per fine-tuning amatoriale o aziendale a basso budget. La perdita di qualità rispetto a un fine-tuning full-precision è quasi trascurabile.

Termini collegati

LoRA Quantization Fine-tuning SFT

Visto in azione

1 voci che lo citano
  1. bitsandbytes 0.43: QLoRA e quantizzazione NF4/FP4 per fine-tuning 4-bit
    Medio
← Tutti i termini