RoBERTa
Verificato
Significato di «RoBERTa»
Variante di BERT (Robustly Optimized BERT Approach) addestrata più a lungo, con batch più grandi e molti più dati, che rimuove il compito di next sentence prediction e adotta il masking dinamico, ottenendo prestazioni migliori.
Fonti: Riottimizzazione del pretraining di BERT (no NSP, dynamic masking, più dati). Fonti: Liu et al., "RoBERTa: A Robustly Optimized BERT Pretraining Approach" (arXiv:1907.11692); Hugging Face (docs RoBERTa). Verifica web 2026-08-03. · Verificato il 2026-08-03