Unigram Language Model
Verificato
Significato di «Unigram Language Model»
Tokenizzazione probabilistica. Metodo che parte da un vocabolario ampio e rimuove i token meno utili secondo un modello unigramma.
Fonti: Tokenizzazione top-down: pruning EM dei token meno utili da un vocabolario ampio. Kudo, Subword Regularization / Unigram LM (2018), arXiv:1804.10959; Hugging Face, Unigram tokenization. Verifica web 2026-08-03. · Verificato il 2026-08-03