Distillazione della conoscenza
Verificato
Significato di «Distillazione della conoscenza»
Distillazione della conoscenza: tecnica di compressione in cui un modello piccolo (studente) viene addestrato a imitare le uscite di uno più grande (insegnante), apprendendo dalle sue distribuzioni di probabilità per ottenere prestazioni simili con meno risorse.
Fonti: Hinton et al. 2015, Distilling the Knowledge in a Neural Network (arXiv:1503.02531); Hugging Face, DistilBERT docs. Verifica web 2026-08-03. · Verificato il 2026-08-03