Weight Tying
Verificato
Significato di «Weight Tying»
Tecnica che condivide un'unica matrice tra l'embedding dei token in ingresso e la proiezione lineare in uscita di un modello linguistico; riduce il numero di parametri e spesso migliora le prestazioni della rete.
Fonti: Condivisione embedding-proiezione nei modelli linguistici. Fonti: Press, Wolf, 'Using the Output Embedding to Improve Language Models' (arXiv:1608.05859, EACL 2017); Inan et al., 'Tying Word Vectors and Word Classifiers' (ICLR 2017). Verifica web 2026-08-03. · Verificato il 2026-08-03