KV cache

KV cache (cache chiave-valore): meccanismo che memorizza i tensori di chiave e valore già calcolati per i token precedenti durante la generazione autoregressiva, evitando di ricalcolarli a ogni passo e velocizzando così l'inferenza.