Positional Encoding

Informazione aggiunta agli embedding di input dei Transformer per indicare la posizione di ciascun elemento nella sequenza, poiché l'attenzione di per sé ne ignora l'ordine. Nei Vision Transformer codifica la posizione spaziale delle patch nell'immagine.