ELECTRA

ELECTRA: modello encoder pre-addestrato con il compito di replaced token detection, in cui un generatore sostituisce alcuni token e il modello impara a distinguere quelli reali da quelli sostituiti; applicando la supervisione a tutti i token risulta più efficiente del masked language modeling.