Sparse Attention
Verificato
Significato di «Sparse Attention»
Variante dell'attenzione che, invece di collegare ogni posizione a tutte le altre, calcola i pesi solo su un sottoinsieme selezionato di posizioni; riduce così il costo computazionale, tipicamente quadratico, nelle sequenze molto lunghe.
Fonti: Attenzione sparsa per contesti lunghi. Fonti: Child et al., 'Generating Long Sequences with Sparse Transformers' (arXiv:1904.10509, 2019); Beltagy, Peters, Cohan, 'Longformer' (arXiv:2004.05150, 2020). Verifica web 2026-08-03. · Verificato il 2026-08-03