Modelli Intermedio Anche noto come: Encoding posizionale · Codifica posizionale

Positional Encoding

Informazione aggiunta a ogni token per dire al modello in che posizione si trova nella sequenza, perché l'attenzione di base non ha senso dell'ordine.

CondividiLinkedIn X

In pratica

Senza encoding posizionale "il cane morde l'uomo" e "l'uomo morde il cane" avrebbero lo stesso significato per il modello. Le prime versioni usavano funzioni seno/coseno; oggi quasi tutti gli LLM usano RoPE perché si estende meglio a contesti lunghi.

Termini collegati

Transformer Attention RoPE Context window

Visto in azione

0 voci che lo citano

Nessuna voce dell'archivio lo cita esplicitamente. Compare in contesti più ampi.

← Tutti i termini