Positional Encoding
Verificato
Significato di «Positional Encoding»
Informazione aggiunta agli embedding dei token per indicarne la posizione nella sequenza, necessaria perché l'attenzione dei Transformer è di per sé invariante all'ordine; nella formulazione originale usa funzioni seno e coseno a frequenze diverse.
Fonti: Iniezione dell'informazione posizionale nei Transformer. Fonti: Vaswani et al., 'Attention Is All You Need' (2017), sez. 3.5; documentazione Hugging Face Transformers. Verifica web 2026-08-03. · Verificato il 2026-08-03