本文是LLM系列文章,针对《KNOWLEDGE SOLVER: TEACHING LLMS TO SEARCH FOR DOMAIN KNOWLEDGE FROM KNOWLEDGE GRAPHS》的翻译。
摘要
大型语言模型(LLM),如ChatGPT和GPT-4,由于其涌现能力和可推广性,是通用的,可以解决不同的任务。然而,LLM有时缺乏特定领域的知识来执行任务,这也会在推理过程中引起幻觉。在之前的一些工作中,图神经网络(GNN)等附加模块是根据从外部知识库中检索到的知识进行训练的,旨在缓解缺乏特定领域知识的问题。然而,合并额外的模块:1)当遇到新的领域时,需要重新训练额外的模块;2) 将成为一个瓶颈,因为LLM的强大能力没有完全用于检索。在本文中,我们提出了一种称为知识求解器(KSL)的范式,教LLM通过利用自身强大的可推广性,从外部知识库中搜索基本知识。具体来说,我们设计了一个简单而有效的提示,将检索转换为多跳决策序列,使LLM能够以零样本的方式搜索知识。此外,KSL能够提供完整的检索路径,从而提高LLM推理过程的可解释性。我们在三个数据集上进行了实验:CommonsenseQA、OpenbookQA和MedQA USMLE,发现我们的方法以相对较大的幅度提高了LLM基线性能。
1 引言
2 相关工作
3 问题定义
4 方法
5 实验
6 结论
在本文中,我们提出了知识求解器(KSL),它可以帮助LLM以零样本和微调的方式更好地执行特定领域的知识需求任务。有了外部知识,LLM可以利用自己的能力搜索必要的知识和信息来执行相关任务,而无需额外的训练或模块。我们的交互式推理方法不仅可以显式地将知识注入LLM,还可以指导LLM解决任务。我们还证明,性能改进主要来自于我们专门设计的推理方法(用于零样本)和任务(用于微调),而不是指令调整。目前,我们的交互式推理方法的初始问题实体是随机选择的。我们将如何选择第一个实体来初始化执行任务留给进一步研究。