Leaky ReLU
Verificato
Significato di «Leaky ReLU»
Variante della ReLU che, invece di azzerare i valori negativi, li moltiplica per una piccola pendenza fissa (per esempio 0,01), mantenendo un gradiente non nullo per gli input negativi ed evitando così il problema dei neuroni morti.
Fonti: ReLU con pendenza negativa non nulla. Fonti: Maas, Hannun, Ng, 'Rectifier Nonlinearities Improve Neural Network Acoustic Models' (2013); documentazione PyTorch torch.nn.LeakyReLU. Verifica web 2026-08-03. · Verificato il 2026-08-03