Vocabolario di token
Verificato
Significato di «Vocabolario di token»
Insieme dei simboli. Elenco finito di unità testuali che un modello sa riconoscere e produrre.
Fonti: Insieme finito dei token noti al modello. Hugging Face, Tokenizer docs; Jurafsky & Martin, Speech and Language Processing. Verifica web 2026-08-03. · Verificato il 2026-08-03