Swish
Verificato
Significato di «Swish»
Funzione di attivazione liscia e non monotona definita come x moltiplicato per la sigmoide di x (self-gated); nelle reti profonde spesso migliora leggermente le prestazioni rispetto a ReLU. Nota anche come SiLU.
Fonti: Attivazione self-gated di Google Brain. Fonti: Ramachandran, Zoph, Le, 'Searching for Activation Functions' (arXiv:1710.05941, 2017); documentazione PyTorch, torch.nn.SiLU. Verifica web 2026-08-03. · Verificato il 2026-08-03