Positional encoding
Verificato
Significato di «Positional encoding»
Informazione aggiunta agli embedding dei token per rappresentarne la posizione nella sequenza, necessaria perché l'attenzione del Transformer e di per se invariante all'ordine. Può essere fissa, con funzioni sinusoidali, oppure appresa.
Fonti: Iniezione dell'ordine dei token nel Transformer. Fonti: Vaswani et al., "Attention Is All You Need" (arXiv:1706.03762); Jurafsky & Martin, "Speech and Language Processing". Verifica web 2026-08-03. · Verificato il 2026-08-03