偏好对齐已成为提高大语言模型（LLM）性能的重要方法，但其对多模态大语言模型（MLLM）的影响仍未得到充分探索。与语言模型类似，用于图像理解任务的 MLLM 也会遇到幻觉等挑战。在 MLLMs 中，幻觉不仅可能通过陈述错误的事实而产生，也可能通过产生与图像内容不一致的反应而产生。MLLMs 对齐的一个主要目的是鼓励这些模型将响应与图像信息更紧密地结合起来。
最近，有多项研究为 MLLMs 引入了偏好数据集，并研究了不同的对齐方法，包括直接偏好优化（DPO）和近端策略优化（PPO）。然而，由于数据集、基础模型类型和对齐方法的不同，目前仍不清楚哪些具体要素对这些工作中报告的改进效果更有效。
在这项工作中，来自苹果公司的研究团队分析了 MLLM 中偏好对齐的各个方面。首先，他们将对齐算法分为离线（如 DPO）和在线（如 online-DPO）两类，并说明在某些情况下，结合离线和在线方法可以提高模型的性能。他们回顾了各种已发布的多模态偏好数据集，并讨论了其构建细节如何影响模型性能。基于这些见解，他们介绍了一种创建多模态偏好数据的新方法，称为偏差驱动幻觉采样（BDHS），这种方法既不需要额外的注释，也不需要外部模型，并表明它可以在一系列基准中实现与以前发表的多模态模型对齐工作相媲美的性能。
论文链接：
https://arxiv.org/abs/2407.02477
关注博鱼·综合体育
