Addestramento Intermedio Anche noto come: Funzione di perdita · Funzione di costo

Loss Function

Formula che misura quanto la previsione del modello è lontana dalla risposta corretta: più è alta, più il modello sta sbagliando.

CondividiLinkedIn X

In pratica

Negli LLM la più usata è la cross-entropy sui token successivi. Il valore di loss visualizzato durante il training è il segnale numero uno per capire se sta convergendo o se c'è un bug. Una curva che non scende quasi sempre indica problemi di dati o iperparametri.

Termini collegati

Gradient Descent Pretraining SFT Logits

Visto in azione

0 voci che lo citano

Nessuna voce dell'archivio lo cita esplicitamente. Compare in contesti più ampi.

← Tutti i termini