Scaled Dot-Product Attention
Verificato
Significato di «Scaled Dot-Product Attention»
Meccanismo di attenzione che calcola i prodotti scalari tra query e chiavi, li divide per la radice della dimensione delle chiavi per stabilizzare i gradienti, applica la softmax e pesa i valori corrispondenti. E il nucleo del Transformer.
Fonti: Nucleo dell'attenzione del Transformer. Fonti: Vaswani et al., 'Attention Is All You Need' (arXiv:1706.03762, NeurIPS 2017); documentazione PyTorch, torch.nn.functional.scaled_dot_product_attention. Verifica web 2026-08-03. · Verificato il 2026-08-03