位置偏差（Position bias）问题，会导致语言模型（LM）根据内容在给定上下文中的位置确定其优先级。这种偏差往往会导致意想不到的模型故障，并损害各种应用中的性能、鲁棒性和可靠性。
在这项工作中，来自伊利诺伊大学香槟分校、哈佛大学、得克萨斯农工大学的研究团队，将位置偏差归因于几乎所有 SOTA LM 所采用的两个组成部分：因果注意力（causal attention）和相对位置编码（relative positional encodings）。具体来说，他们发现因果注意力通常会导致模型偏向于远处的内容，而相对位置编码（如 RoPE）则偏向于近处的内容。此外，他们对物体检测的实证研究表明，位置偏差也存在于视觉语言模型（VLMs）中。
因此，他们提出了一种无训练零样本的方法来消除不同输入片段顺序（比如，LM-as-a-judge 中的选项，QA 中的检索文档）造成的位置偏差。他们的方法将片段间的因果注意力改为双向注意力，并利用模型注意力值来决定片段的相对顺序，而不是使用输入提示中提供的顺序，因此可以在片段级别实现位置不变推断（PINE）。
通过消除位置偏差，模型在广泛存在位置偏差的下游任务（如 LM-as-a-judge 和 retrieval-augmented QA）中获得了更好的性能和可靠性。值得注意的是，PINE 在调整 LM 以评估推理对时特别有用：它在大多数情况下都能持续提高 8 到 10 个百分点的性能，并使 Llama-3-70B-Instruct 在 RewardBench 推理子集中的表现甚至优于 GPT-4-0125-preview。
论文链接：
https://arxiv.org/abs/2407.01100
GitHub 地址：
https://github.com/wzq016/PINE
关注博鱼·综合体育
