Salta al contenuto
AImpact
IT EN
Modelli Avanzato Anche noto come: Rotary Position Embedding · Embedding posizionale rotatorio

RoPE

/rope/

Tecnica di encoding posizionale che ruota i vettori dei token in funzione della loro posizione, codificando l'ordine direttamente dentro l'attenzione.

CondividiLinkedInX

In pratica

È diventato lo standard de facto: lo usano Llama, Mistral, Qwen, DeepSeek e GPT-4 class. Permette di estendere il contesto oltre la lunghezza vista in training con trucchi come NTK-aware o YaRN. Per chi fa fine-tuning su contesti lunghi, capire RoPE è quasi obbligatorio.

Termini collegati

← Tutti i termini