Learning Rate Warmup
Verificato
Significato di «Learning Rate Warmup»
Fase iniziale del training in cui il learning rate parte da un valore basso e cresce gradualmente fino a quello nominale nelle prime iterazioni, riducendo l'instabilità dovuta a gradienti grandi e imprecisi tipica dell'addestramento dei Transformer.
Fonti: Crescita graduale del learning rate a inizio training. Fonti: Vaswani et al., 'Attention Is All You Need' (2017); Goyal et al., 'Accurate, Large Minibatch SGD' (arXiv:1706.02677, 2017). Verifica web 2026-08-03. · Verificato il 2026-08-03