Il glossario italiano di tecnologia e automotive
Glossario Italiano

Grouped-query attention

Verificato
Salva nei preferiti 0

Significato di «Grouped-query attention»

Grouped-query attention (GQA): variante dell'attenzione multi-testa in cui gruppi di teste di query condividono le stesse teste di chiave e valore; riduce la dimensione della cache KV e la banda di memoria in inferenza, con qualità vicina all'attenzione multi-testa completa.

Fonti: Ainslie et al. 2023, GQA: Training Generalized Multi-Query Transformer Models (arXiv:2305.13245); Hugging Face, attention/Llama docs. Verifica web 2026-08-03. · Verificato il 2026-08-03

Preferenze cookie

Gestisci i cookie usati su Glossario Italiano. Puoi modificare le preferenze in qualsiasi momento dal link "Gestisci preferenze" in fondo a ogni pagina.

  • Necessari
    Login, sicurezza (CSRF), preferenze cookie. Sempre attivi.
    Sempre on
  • Statistici
    Misurano in forma aggregata come viene usato il sito. Nessun profilo personale.
  • Marketing
    Cookie di reti pubblicitarie esterne, se attivati in futuro. Oggi GLS non usa script di terze parti e i nostri sponsor sono editoriali, non profilano.