Activation Checkpointing
Verificato
Significato di «Activation Checkpointing»
Tecnica di risparmio memoria che nel forward conserva solo un sottoinsieme delle attivazioni e ricalcola le altre durante il backward invece di memorizzarle. Scambia calcolo aggiuntivo con minor uso di memoria, permettendo reti più profonde o batch più grandi.
Fonti: Ricalcolo selettivo delle attivazioni per ridurre la memoria in addestramento. Fonti: Chen et al. 2016 'Training Deep Nets with Sublinear Memory Cost'; documentazione PyTorch (torch.utils.checkpoint). Verifica web 2026-08-03. · Verificato il 2026-08-03