优惠 自对齐使用DPO隐式奖励DICE：利用了直接偏好优化（DPO）训练后的隐式奖励模型来进一步优化语言模型

···q新加坡管理大学、新加坡Sea AI实验室、新加坡国立大学和罗格斯大学的研究人员推出自对齐使用DPO隐式奖励DICE，这个方法利用了直接偏好优化（DPO）训练后的隐式奖励模型来进一步优化语言模型。实验结果表明，DICE在保持模型大小不变的情况下，显著提高了语言模型的性能，甚至在某些方面超过了需要额外人类反馈的封闭... 阅读全文