ALiBi
Verificato
Significato di «ALiBi»
Bias di attenzione. Metodo che penalizza linearmente l'attenzione in base alla distanza tra i token.
Fonti: Attention with Linear Biases: sostituisce gli embedding posizionali con un bias negativo proporzionale alla distanza query-key, favorendo l'estrapolazione a sequenze lunghe. Fonti: Press, Smith, Lewis 2021 'Train Short, Test Long' (arXiv:2108.12409, ICLR 2022); repo ufficiale ofirpress/attention_with_linear_biases. verifica web 2026-08-03 · Verificato il 2026-08-03