百度的研究团队最近发布了一个名为“自我推理(Self-Reasoning)”的端到端框架,提升了检索增强语言模型(RALM)的性能!
工作原理嘛,有点像博鱼·综合体育通过记录工作日志来减少犯错一样。
简单来说,检索增强语言模型就是结合外部知识来回答问题的AI模型。虽然这类模型性能出色,但仍然面临一些问题,比如很难准确判断信息的可靠性。
针对这些问题,团队提出了自我推理框架,通过生成推理轨迹,可以辅助模型更好地判断哪些信息是有价值的。
这个框架包含三个主要步骤:
1.相关性判断:模型首先会判断检索到的文档是否与用户的问题相关。
2.证据选择:接下来,模型会从相关文档中选择并引用重要内容,确保答案有据可依。
3.轨迹分析:最后,模型会整理这些信息,给出明确的答案。
经过在四个公共数据集上的测试,这个自我推理框架的表现超越了现有的最先进模型,在仅使用了2000个训练样本的情况下,达到了与GPT-4不相上下的效果!
也就是说,未来AI在回答复杂问题时会更加可靠和智能了!
论文地址:https://arxiv.org/abs/2407.19813