Direct Preference Optimization

Direct Preference Optimization (DPO): metodo di allineamento che ottimizza direttamente un modello linguistico sulle preferenze umane, a partire da coppie di risposte preferita e rifiutata, senza addestrare un modello di ricompensa separato né usare reinforcement learning come nell'RLHF.