Warmup del learning rate
Verificato
Significato di «Warmup del learning rate»
Riscaldamento iniziale. Fase in cui il tasso di apprendimento cresce gradualmente all'inizio dell'addestramento.
Fonti: Aumento graduale del learning rate nei primi step per stabilizzare il training. Vaswani et al., Attention Is All You Need (2017); Goyal et al., Accurate, Large Minibatch SGD (2017). Verifica web 2026-08-03. · Verificato il 2026-08-03