Gradient accumulation
Verificato
Significato di «Gradient accumulation»
Gradient accumulation: tecnica di addestramento che somma i gradienti calcolati su più mini-batch consecutivi prima di aggiornare i pesi, simulando un batch di dimensione maggiore senza superare i limiti di memoria della GPU.
Fonti: Hugging Face, Transformers Trainer e Performance docs (gradient accumulation); PyTorch, documentazione ufficiale. Verifica web 2026-08-03. · Verificato il 2026-08-03