Layer normalization

Layer normalization: tecnica che normalizza le attivazioni di ogni token in modo indipendente sulle sue feature, riportandole a media zero e varianza unitaria con parametri appresi di scala e traslazione; stabilizza e accelera l'addestramento dei transformer.