php网站绑定域名,wordpress更改主机,专业网站制作推荐,建站到网站收录到优化原文地址#xff1a;Time-Aware Adaptive RAG (TA-ARE) 2024 年 3 月 1 日 介绍 随着大型语言模型#xff08;LLM#xff09;的出现#xff0c;出现了新兴能力的概念。前提或假设是LLMs具有隐藏的和未知的能力#xff0c;等待被发现。企业家们渴望在LLMs中发现一些无人知晓… 原文地址Time-Aware Adaptive RAG (TA-ARE) 2024 年 3 月 1 日 介绍 随着大型语言模型LLM的出现出现了新兴能力的概念。前提或假设是LLMs具有隐藏的和未知的能力等待被发现。企业家们渴望在LLMs中发现一些无人知晓的竞争优势。 事实证明新兴能力只是海市蜃楼。但LLMs的特殊能力被发现是情境学习ICL。当在推理时提供上下文数据时LLMs有能力在生成响应时引用上下文数据。因此根据提示的指示LLMs将丢弃模型训练数据并利用推理数据。 时间感知自适应检索 (TA-ARE) 是一种简单而有效的方法可帮助LLMs评估检索的必要性而无需校准或额外培训。 检索增强生成 (RAG) 在推理时向LLMs提供上下文数据被称为 RAG。LLM 响应生成通过推理时检索到的补充数据进行补充或增强的概念。 无论输入问题如何标准 RAG 始终进行检索而自适应检索仅在必要时进行检索。 时间感知自适应 RAG (TA-ARE) 研究结果 研究提到RAG 总体上提高了问答的性能。这已经被一再证实现在被视为理所当然。 时间意识该研究发现许多查询与时间相关用户提出问题时会指定时间范围作为定义问题的函数。普通提示的有效性各不相同并且不随模型大小而变化。考虑下图为了使提示能够很好地扩展需要引入复杂性从步骤 1 到步骤 8。 尽管LLMs可以被描述为知识密集型但LLMs确实很难应对知识密集型用户任务有两个原因。 LLMs通常缺乏也不掌握什么可以称为新世界知识。长尾知识更难解决这个问题类似于意图分布的长尾问题。 TA-ARE 标准 RAG 方法不加区别地进行检索并且不对输入查询执行分类。这种一揽子方法可能会导致任务绩效不佳。这也会加剧推理成本。 自适应 RAG的概念动态地确定检索的必要性并且在认为不必要时仅依赖于LLMs的参数知识。 ARAG方法可以分为基于校准的判断和基于模型的判断。问题在于需要调整不同数据集和模型的阈值以平衡任务性能和推理开销。 TA-ARE 研究LLMs可以在多大程度上通过提示执行免校准自适应检索。 为了回答这个问题需要评估LLMs是否只在必要时检索。 这就需要一个基准来区分可以使用LLMs参数知识回答的问题和需要通过检索获得外部信息的问题。 研究贡献 创建一个新的数据集RetrievalQA来评估用于短格式开放域 QA 的自适应 RAG (ARAG)。 对现有方法进行基准测试发现普通提示不足以指导LLMs做出可靠的检索决策。 TA-ARE 是一种概念化的简单而有效的方法可以帮助LLMs评估检索的必要性而无需校准或额外培训。 结论 显而易见的是为了框架的扩展需要引入复杂性。 在分配进程之前对用户输入进行分类的自适应 RAG 需要对各种阈值进行校准。 时间感知自适应检索 (TA-ARE) 的承诺是它是一种简单而有效的方法可以帮助LLMs评估检索的必要性而无需校准或额外培训。 RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering
