Gradient Accumulation
Verificato
Significato di «Gradient Accumulation»
Accumulo del gradiente. Tecnica che somma i gradienti di più mini-batch prima di aggiornare i pesi, simulando batch più grandi con poca memoria.
Fonti: Aggiornamento ritardato su gradienti sommati. Fonti: docs PyTorch (Gradient Accumulation); docs Hugging Face Transformers (gradient_accumulation_steps). Verifica web 2026-08-03. · Verificato il 2026-08-03