GELU
Verificato
Significato di «GELU»
Funzione di attivazione GELU (Gaussian Error Linear Unit). Non linearità liscia usata nei Transformer che pesa ogni input per la probabilità data dalla CDF gaussiana.
Fonti: x moltiplicato per la CDF normale standard. Fonti: Hendrycks, Gimpel, "Gaussian Error Linear Units (GELUs)", 2016 (arXiv:1606.08415); docs PyTorch (torch.nn.GELU). Verifica web 2026-08-03. · Verificato il 2026-08-03