Distillazione della conoscenza

Verificato

Significato di «Distillazione della conoscenza»

Distillazione della conoscenza: tecnica di compressione in cui un modello piccolo (studente) viene addestrato a imitare le uscite di uno più grande (insegnante), apprendendo dalle sue distribuzioni di probabilità per ottenere prestazioni simili con meno risorse.

Fonti: Hinton et al. 2015, Distilling the Knowledge in a Neural Network (arXiv:1503.02531); Hugging Face, DistilBERT docs. Verifica web 2026-08-03. · Verificato il 2026-08-03

Preferenze cookie

Gestisci i cookie usati su Glossario Italiano. Puoi modificare le preferenze in qualsiasi momento dal link "Gestisci preferenze" in fondo a ogni pagina.

  • Necessari
    Login, sicurezza (CSRF), preferenze cookie. Sempre attivi.
    Sempre on
  • Statistici
    Misurano in forma aggregata come viene usato il sito. Nessun profilo personale.
  • Marketing
    Cookie di reti pubblicitarie esterne, se attivati in futuro. Oggi GLS non usa script di terze parti e i nostri sponsor sono editoriali, non profilano.