临沂市建设局网站改版,绿化公司和苗圃做网站,网站开发公司会计处理,网站使用说明书模板如何将大语言模型的强大能力融入实际业务、产生业务价值#xff0c;是现在很多公司关注的焦点。在零售场#xff0c;大模型应用也面临很多挑战。本文分享了京东零售技数中心推出融合Agent、SFT与RAG的大模型基础应用框架#xff0c;帮助业务完成大模型微调、部署和应用… 如何将大语言模型的强大能力融入实际业务、产生业务价值是现在很多公司关注的焦点。在零售场大模型应用也面临很多挑战。本文分享了京东零售技数中心推出融合Agent、SFT与RAG的大模型基础应用框架帮助业务完成大模型微调、部署和应用落地场景的实践经历供大家参考。 本文为2023京东零售技术年度盘点深度文章系列的第5篇共11篇欢迎持续关注。 一、前言
2023年大语言模型以前所未有的速度和能力改变我们对智能系统的认知成为技术圈最被热议的话题。但“百模大战”终将走向“落地为王”如何将大语言模型的强大能力融入实际业务、产生业务价值成为致胜关键。
在零售场大模型应用面临的核心挑战包括以下三点
1模型缺乏零售领域的专业知识建设业务专属大模型训练成本高
2模型内容生产伴有幻觉而检索海量业务信息又缺乏有效技术检索成本高
3在商家问答等多流程复杂业务场景下模型缺乏自主规划能力需要大量人工干预
为了应对上述三点挑战九数算法中台推出了一整套大语言模型应用解决方案一种融合基于ReAct框架的AI Agent、SFT指令微调与RAG检索增强生成技术的应用框架不仅赋予大模型学习领域知识的能力还显著提升了模型的自主决策和信息处理精确度为业务人员高效落地大模型的微调、部署和应用提供了落地保障。 九数算法中台大模型基础应用框架 二、高效微调SFT
通用大模型虽然在处理通用知识方面表现出色但缺乏针对零售垂直领域的知识理解。为此需要引入经过人工标注的领域数据对已完成预训练的通用大模型进行微调从而得到具有该领域知识的零售垂域大模型。这个过程就是“有监督微调Supervised Fine-Tuning”简称SFT。
【2.1 SFT流程介绍】
SFT的流程包括数据生产、模型选型、模型微调、效果验证几个环节每一步都存在相应的技术挑战
1数据生产创建用于微调预训练模型的高质量数据集数据集质量对模型训练的效果至关重要。在零售场京东沉淀了丰富的领域数据比如电商营销策略、消费者行为数据、商品信息数据等这些数据往往格式不统一、噪声多如何以这些业务数据为基础高效构建可用于微调训练的数据集是数据生产环节的痛点。
2模型选型根据对中文的支持程度、参数量级、性能等选择合适的预训练模型作为微调的起点。高速发展的开源社区为业务方提供了大量可供选择的预训练模型但不同模型擅长不同任务需要实验对比模型表现。而开源模型存在样本标注、模型标准不统一的问题将开源方案应用在企业环境中也需要一定的适配工作量给业务方带来了较高的模型选型成本。
3模型微调使用准备好的数据集对选定的预训练模型进行微调。训练时需要设置适当的学习率、批次大小和训练周期等参数同时监控模型的性能如损失函数和准确率等指标。在算力资源紧缺的背景下不少业务方面临算力资源不足的问题如何用最小的算力资源实现最优的模型训练性能至关重要。
4效果验证使用独立的验证数据集对模型进行测试评估模型训练效果。关键是建立系统的模型评估指标并选择合适的方法高效进行效果评估。 SFT流程介绍 【2.2 九数算法中台SFT框架的优势】
九数算法中台通过自研的SFT高效微调框架从高质量数据集的构建到灵活的模型选择训练过程中的算力优化到效果验证都提供了创新的解决方案确保了SFT技术的高效实施。主要优势如下
1数据生产通过使用开源基座大模型能力构建通用大模型数据增强LLM Data Augmentation简称LDA工具使用场景覆盖Self-Instruct、Query扩展Query2DocDoc2Query等。帮助业务方高效创建可用于SFT训练的标准样本集。
2模型选型集成15个左右的主流LLM模型如言犀、ChatGLMLlama等 统一模型的样本标准和训练模式实现一份样本在多模型间随意切换同时开源LLM模型经过中台工程师的适配可在九数的环境下开箱即用帮助业务方灵活进行模型选型实验。
3模型微调
①支持方法广支持对LLM模型的预训练Pretrain和高效微调SFT微调方面支持全参微调Full-Parameter Fine-Tuning和LoRA等参数高效微调PEFT方法Parameter-Efficient Fine-Tuning 。支持人类反馈强化学习RLHF训练Reinforcement Learning from Human Feedback支持PPO(Proximal Policy Optimization)、DPODirect Preference Optimization等强化学习算法。
②训练性能高通过编译优化、算子优化、网络和IO优化等方法相比纯开源的代码性能提升40%左右支持70B超大规模模型微调
③支持SFT模型蒸馏建设模型知识蒸馏组件在模型效果无损或损失较小的同时缩小模型规模降低模型线上运行的成本帮助业务方节约算力资源未来可在端上使用。
4效果验证支持高性能批量离线推理与客观主观评估方式。通过手动融合kernel、triton编译优化、通信压缩等手段提升批量离线推理性能。通过建立客观评估维度与用户自定义主观维度实现生成效果验证。
目前九数算法中台自研SFT框架已于京东内部多个业务试点应用实现SFT技术的低成本应用。 三、检索增强生成RAG
大型语言模型通过监督式微调SFT补充了特定领域知识的不足但在获取时效性知识、减少内容幻觉以及确保数据安全等方面依然存在挑战。在零售场景中无论是来自C端用户的商品咨询还是来自B端商家的平台规则咨询对生成答案的时效性、专业度、准确性要求都更高还需要大模型具备多轮对话的理解能力。
检索增强生成技术Retrieval-Augmented Generation简称RAG的引入有效减轻了这些问题。RAG的核心是根据用户提问Query从外部数据库检索相关信息并基于此生成回答Answer相当于给大模型装上了“知识外挂”基础大模型不用再训练即可随时调用特定领域知识。 这不仅提升了回答的时效性和准确性还增加了答案的可解释性和可扩展性。此外企业可以将数据库在本地维护无需上传至开源模型确保了数据安全性。
当用户询问“某两款不同品牌手机有什么不同时”时RAG技术通过索引为大模型“外挂”两款手机不同参数和属性数据、最新热门趋势等知识库通过检索技术在商品知识库中找到准确的商品参数等信息通过大模型生成能力对比两款手机在哪些重要维度有所不同高效、精准地向用户输出两款手机差异性。
【3.1 RAG流程介绍】
RAG的流程包括检索数据增强、检索过程增强、效果增强三个阶段。
1检索数据增强阶段构建用于检索的语料库的过程包括“数据提取与处理—文本向量化—创建索引—导入向量数据库”几步。这一阶段的关键是如何通过各类技术构建有效的语料库以提供给模型用于生成文本的信息。
2检索过程增强阶段根据用户查询Query在语料库中进行检索召回相关信息并通过LLM服务生成摘要内容的过程。检索环节中通过文本检索与向量检索的方式计算问题与语料库内文档块之间相似度来召回相似度最高的top K个文档块。为了提升检索的精度往往会在首次召回后加上过滤Filter、排序Rank等环节。摘要生成环节中结合prompt工程利用大模型对用户问题与检索完成的答案进行总结生成答案摘要。为提升结果准确度大模型可根据问题范围提前进行SFT微调训练。
3效果增强阶段针对RAG检索和生成结果可进行效果评估通过客观主观方式对RAG模式进行批量标注与评分评价结果可用于进一步优化检索质量与生成质量。 RAG流程介绍 【3.2 九数算法中台RAG技术优势】
九数算法中台的RAG技术覆盖检索数据增强、检索过程增强、效果增强三个阶段力求通过全流程技术方案的设计提升RAG的效率和性能。 九数算法中台RAG架构 1检索数据增强阶段
①知识库构建
基于Data Warehouse构建知识库通过增强数据粒度、对齐优化等优化策略增强知识库可用性。 增强数据粒度策略加强数据源可读性。通过推行数据标准化流程去除无关信息、特殊字符、歧义及重复内容对数据内容进行修订和简化重点建设结构化知识索引促进信息的高效检索与利用。对齐优化策略解决用户问题与文档内容不一致问题引入假设性问题生成机制针对语料库中每个文档设计相应的问题Query并嵌入文档中提升用户问题/Query的召回率有效解决了文档间的对齐挑战。
②数据索引优化
数据索引优化旨在通过对索引结构优化和元数据信息整合等策略提升索引内容的质量确保数据检索的效率和精度。 索引结构优化策略提升知识库内答案相关上下文被召回概率通过块优化技术Chunk optimization调整切词大小和参数最小化噪声数据的影响还可以通过改变索引路径并引入图结构信息来进一步优化索引结构。添加元数据信息策略提升检索相关性特别是在处理时间敏感的数据如电子邮件查询时强调最新信息的相关性而不仅是内容相似性。通过在索引块中嵌入关键元数据属性如时间戳和章节编号等结构标识进行精细化过滤从而提升检索效率与相关度。
③优化Embedding模型
Embedding模型将用户查询Query和语料块Doc文本转换成为向量。通过选取动态EmbeddingDynamic Embedding模型并微调EmbeddingFine-tuning Embedding 优化Embedding效果提高其精确度和适应性。
通过选取动态Embedding模型可将用户查询Query与知识库内容结合上下文内容转化为向量并进行匹配提升匹配精准度。动态Embedding模型利用基于Transformer架构的深度学习模型、细粒度的语义捕获和多任务学习能力根据对同一词汇的上下文理解动态调整其向量表示使得模型能够生成反映全局语义特征的向量优化了词义多样性和歧义词汇的精准表征。为提升模型对垂域内容理解可微调Embedding通过对预训练Embedding模型如BGE、Voyage等进行微调训练增强模型在垂直领域任务中的表现。包括针对特定领域微调帮助模型捕捉到该领域的术语和微妙差异以及针对具体的检索任务微调使之精准匹配用户查询Query和相关文档块Doc。
④兼容向量数据库
支持包含Vearch、Milvus、Pinecone等在内的多种向量数据库。
2检索过程增强阶段
检索过程增强检涉及对搜索引擎检索流程的综合优化包括深度理解用户查询Query、改进召回策略、优化过滤和排序机制以及改进生成摘要等环节。
①查询Query改写
通过知识推理、关键词识别、属性抽取等技术深入理解用户查询Query意图并通过查询改写Query Rewrite提高检索的相关性和精度。
②召回策略
召回策略优化的目标包括准确率提升和性能提升两方面。准确率提升方面我们采用多跳检索Multi-hop Retrieval和相关性召回策略执行多次连续且逐渐深入的检索以便从不同的数据源中获取更全面深刻的信息从而提升召回的准确率性能提升方面引入检索结果缓存机制Retrieval Cache以优化系统性能减少查询响应时间。
③过滤/排序Filtering/Ranking
采用排序算法和过滤机制根据用户行为和上下文信息对召回的文档进行精准排序排除不相关或低质量的内容。
④摘要生成
利用提示词工程Prompt Engineering技术给用户提供相应的Prompt模板优化文档摘要的自动生成结果并通过模型微调Fine-tuning提升生成摘要的相关性和丰富度。
3效果增强阶段
①建立效果评估机制
效果增强阶段旨在通过多轮评估明确现有RAG方案的优化方向优化最终生成效果。我们支持主观客观相结合的评估方式针对检索质量和生成质量分别建立相应的评估维度使用多种主流评估框架对RAG效果进行评估。
②针对检索质量优化
针对检索质量采取检索策略选择与检索精度调优的双重途径。基于评估反馈筛选与当前数据集和任务目标最匹配的检索策略包括关键词匹配、语义搜索、图数据库检索等并对检索参数进行精细调整以优化检索结果的准确率和相关度。
③针对生成质量优化
针对生成质量进行模型微调和数据结构重组两方面优化。根据评估效果反馈进一步微调Embedding模型和生成模型精确适配特定语料库和任务。此外优化的数据结构与处理流程以提高模型的学习效率和生成质量。
4联邦RAG
除上述常规RAG流程外针对当前私域数据分散私域数据无法在保护数据隐私的前提下参与大模型训练、RAG检索等问题京东试点联邦RAG模式将联邦学习Federated Learning和RAG相结合支持用户私域数据在本地构建知识库延续联邦学习数据可用不可见原则支持异构数据分布式安全模型训练与微调实现保障私域数据隐私的联邦RAG模式。 四、AI智能体AI Agent
通过SFTRAG技术已经可以实现相对固定流程复杂业务问题的解决。面向未来九数算法中台致力于实现“基于意图的结果指定”这一全新的产品交互方式通过AI Agent智能体赋予大模型自主规划和执行能力高效解决多流程复杂的业务问题。
【4.1 AI Agent介绍】
AI Agent可以理解为一个可以感知环境并能够基于当前场景做出决策的“智能体”。 当下大模型应用大多仅具备类似ChatGPT 的对话式能力无法自主执行复杂任务。为了拓展大模型的能力可以为其添加各类组件如Planning/Proflie /Memory/Action等实现复杂任务的拆解、规划和执行。AI Agent常见组件如下
①Planning将复杂的任务分解为更易处理的子任务并制定出有效的策略。
②Proflie描述了Agent的各种属性如角色、目标、能力、知识和行为方式等。
③Memory存储和组织从环境中获取的信息以指导未来行动。
④Action将抽象的决策转化为具体的行动。 AI Agent四类组件 就交互形式而言基于大型语言模型的AI代理可以分为两大类单一智能体Single Agent和多智能体系统Multi-Agents。
早在20世纪80年代计算机科学家已着手探索类似AI Agent这样能与人类交互的智能软件。在大模型能力的加持下AI Agent已成为既具有想象空间又贴近应用的AI行业爆点。从交互形式上看基于大语言模型的AgentLLM-based Agent可分为单智能体Single Agent和多智能体系统Multi-Agents
1单一智能体Single Agent在其运行环境中独立作用专注于一个特定的任务或服务领域能够接收人类以自然语言提出的指令并基于这些指令执行一些简单的任务如数据查询、日程管理等扮演人类智能助手的角色。目前比较成熟的产品包括AutoGPT、BabyAGI等等。
2多智能体Multi-Agents涉及多个Agent协同工作以解决单Agent难以独立处理的复杂问题。Agents们有不同的角色和专长通过有效的协作共同实现目标。协作方式可以是合作型的即通过共享信息、观点和资源来解决问题也可以是对抗型的比如通过竞争、谈判和辩论来优化决策过程淘汰错误策略。这种多元化的互动模式使得多智能体系统能够应对更为复杂和动态的环境展现出比单一智能体更加强大和灵活的问题解决能力。 【4.2 京东零售的AI Agent应用】
在复杂业务模型自主规划层面京东零售基于ReAct范式构建Agent LLM帮助大语言模型理解上下文精确把握用户意图并在复杂情况下做出决策、执行任务和使用工具。 ReAct范式结合了推理Reasoning与行动Acting机制通过生成交替的推理路径和特定行动优化模型的决策制定和执行流程以及与外部资源的有效交互。此过程中推理路径为模型提供了对行动计划的追踪与更新机制而具体的行动则使模型能够与外部工具进行直接交互。这种交替机制增强了模型在复杂情景下的决策和多应用调度的精确度。
以常见的商家助手场景为例随着越来越多的商家入驻京东平台关于平台入驻规则、产品营销策略等方面的提问逐渐增多传统的智能客服、人工回复等方式无法精准回复商家提问且运营成本较高。京东零售基于Multi-Agents理念搭建的商家助手大模型在线推理服务架构打通数据系统、算法系统和业务系统不仅能够帮助商家快速了解平台规则、优化经营策略还能通过自然语言交互提供个性化、多轮次的即时沟通服务。 这一系统的核心是算法层多个定制的AI Agents每个Agent都有专门角色和功能可以调用不同的工具来解决相应的问题。例如当商家就如何提升某个商品的销量提出问题AI Agent首先对商家提问进行语义理解精准识别出商家的具体需求然后调用商品信息查询的API接口快速获取所需的数据和信息并据此给出个性化的销量提升建议。 商家助手大模型在线推理服务架构
目前京东零售的Agent LLM已经应用于零售业务知识库构建成功服务于商家、消费者、企业、门店等多类的用户群体涵盖多种复杂使用场景并支持通过工具调用来解决多流程的复杂业务问题。 五、结语
综上九数算法中台的大模型基础应用框架融合基于ReAct框架的AI Agent、SFT指令微调与RAG检索增强生成技术显著提高了大语言模型在零售业务的应用效率和效果。通过这一系列技术融合和创新京东零售成功地将大模型的强大能力应用于人、货、场场景中在人场提供面向用户与商家的智能助手服务如商家助手、用户增长等在货场提供面向商品的知识问答服务如知识问答等在场域提供面向场域的智能运营服务如舆情风险挖掘、数据分析等。 零售大模型应用不仅提升了用户体验优化了运营效率还为零售行业的数智化转型提供了有力支撑展现了大模型技术在零售领域广泛应用的巨大潜力和价值。 作者京东零售技数中心 来源京东零售技术 转载请注明来源 更多年度盘点文章
端智能面向手机计算环境的端云协同AI技术创新
亚洲唯一京东荣获2024年度Gartner供应链技术创新奖背后的创新探索
万字干货-京东零售数据资产能力升级与实践
2023京东零售技术年度盘点
