Byte Pair Encoding (BPE)
Verificato
Significato di «Byte Pair Encoding (BPE)»
Algoritmo di tokenizzazione. Tecnica che fonde iterativamente le coppie di simboli più frequenti per costruire un vocabolario di subword.
Fonti: Tokenizzazione subword che parte dai caratteri e fonde in modo iterativo la coppia di simboli più frequente fino alla dimensione di vocabolario voluta. Fonti: Sennrich et al. 2016 'Neural Machine Translation of Rare Words with Subword Units' (arXiv:1508.07909); documentazione Hugging Face, tokenizer summary (BPE). verifica web 2026-08-03 · Verificato il 2026-08-03