Salta al contenuto
AImpact
IT EN
Inferenza Base Anche noto come: Finestra di contesto · Context length

Context window

Numero massimo di token che il modello può leggere e tenere in memoria in una singola chiamata, sommando prompt e risposta.

CondividiLinkedInX

In pratica

Se hai un contratto di 200 pagine e una finestra da 200k token spesso ci sta dentro tutto. Se no devi spezzettare il testo o usare RAG. Più contesto pesa di più sul costo e sulla latenza della risposta.

Termini collegati

← Tutti i termini