SentencePiece
Verificato
Significato di «SentencePiece»
Tokenizzatore agnostico. Sistema che tratta il testo come flusso grezzo di byte o caratteri, senza dipendere da spazi o lingua specifica.
Fonti: Tokenizzatore language-independent che processa testo grezzo (spazio come simbolo dedicato). Kudo & Richardson, SentencePiece (2018), arXiv:1808.06226; Hugging Face, Tokenizer summary. Verifica web 2026-08-03. · Verificato il 2026-08-03