Rotary Positional Embedding (RoPE)
Verificato
Significato di «Rotary Positional Embedding (RoPE)»
Codifica posizionale che rappresenta la posizione ruotando i vettori query e chiave di un angolo proporzionale alla posizione; inserisce così la dipendenza posizionale relativa direttamente nel calcolo dell'attenzione. Introdotta con RoFormer.
Fonti: Rotary Position Embedding usata in LLaMA e molti LLM. Fonti: Su et al., 'RoFormer: Enhanced Transformer with Rotary Position Embedding' (arXiv:2104.09864, Neurocomputing 2024); documentazione ufficiale (implementazioni di riferimento). Verifica web 2026-08-03. · Verificato il 2026-08-03