Self-Supervised Pretraining
Verificato
Significato di «Self-Supervised Pretraining»
Fase in cui il modello apprende da grandi quantita di dati non etichettati risolvendo compiti pretesto costruiti dai dati stessi (parole mascherate, porzioni da predire), producendo rappresentazioni riutilizzabili nei compiti a valle.
Fonti: Pre-addestramento auto-supervisionato alla base di BERT/GPT. Fonti: Devlin et al., 'BERT' (arXiv:1810.04805, NAACL 2019); documentazione PyTorch/TensorFlow su transfer learning e pretraining. Verifica web 2026-08-03. · Verificato il 2026-08-03