网站建设 网站推广,网站备案需要提交什么资料,网站建设包含专业,服装网站建设费用预算来源#xff1a;AI科技大本营作者#xff1a;张俊林本文经作者授权发布#xff0c;原文地址#xff1a;https://zhuanlan.zhihu.com/p/589533490作为智能对话系统#xff0c;ChatGPT最近两天爆火#xff0c;都火出技术圈了#xff0c;网上到处都在转ChatGPT相关的内容和…来源AI科技大本营作者张俊林本文经作者授权发布原文地址https://zhuanlan.zhihu.com/p/589533490作为智能对话系统ChatGPT最近两天爆火都火出技术圈了网上到处都在转ChatGPT相关的内容和测试例子效果确实很震撼。我记得上一次能引起如此轰动的AI技术NLP领域是GPT 3发布那都是两年半前的事了当时人工智能如日中天如火如荼的红火日子今天看来恍如隔世多模态领域则是以DaLL E2、Stable Diffusion为代表的Diffusion Model这是最近大半年火起来的AIGC模型而今天AI的星火传递到了ChatGPT手上它毫无疑问也属于AIGC范畴。所以说在AI泡沫破裂后处于低谷期的今天AIGC确实是给AI续命的良药当然我们更期待估计很快会发布的GPT 4愿OpenAI能继续撑起局面给行业带来一丝暖意。说回ChatGPT例子就不举了在网上漫山遍野都是我们主要从技术角度来聊聊。那么ChatGPT到底是采用了怎样的技术才能做到如此超凡脱俗的效果既然ChatGPT功能如此强大那么它可以取代Google、百度等现有搜索引擎吗如果能那是为什么如果不能又是为什么本文试图从我个人理解的角度来尝试回答上述问题很多个人观点偏颇难免还请谨慎参考。我们首先来看看ChatGPT到底做了什么才获得如此好的效果。ChatGPT的技术原理整体技术路线上ChatGPT在效果强大的GPT 3.5大规模语言模型LLMLarge Language Model基础上引入“人工标注数据强化学习”RLHFReinforcement Learning from Human Feedback 这里的人工反馈其实就是人工标注数据来不断Fine-tune预训练语言模型主要目的是让LLM模型学会理解人类的命令指令的含义比如给我写一段小作文生成类问题、知识回答类问题、头脑风暴类问题等不同类型的命令以及让LLM学会判断对于给定的prompt输入指令用户的问题什么样的答案是优质的富含信息、内容丰富、对用户有帮助、无害、不包含歧视信息等多种标准。在“人工标注数据强化学习”框架下具体而言ChatGPT的训练过程分为以下三个阶段ChatGPT:第一阶段第一阶段冷启动阶段的监督策略模型。靠GPT 3.5本身尽管它很强但是它很难理解人类不同类型指令中蕴含的不同意图也很难判断生成内容是否是高质量的结果。为了让GPT 3.5初步具备理解指令中蕴含的意图首先会从测试用户提交的prompt(就是指令或问题)中随机抽取一批靠专业的标注人员给出指定prompt的高质量答案然后用这些人工标注好的prompt,answer数据来Fine-tune GPT 3.5模型。经过这个过程我们可以认为GPT 3.5初步具备了理解人类prompt中所包含意图并根据这个意图给出相对高质量回答的能力但是很明显仅仅这样做是不够的。ChatGPT:第二阶段第二阶段训练回报模型Reward Model,RM。这个阶段的主要目的是通过人工标注训练数据来训练回报模型。具体而言随机抽样一批用户提交的prompt(大部分和第一阶段的相同)使用第一阶段Fine-tune好的冷启动模型对于每个prompt由冷启动模型生成K个不同的回答于是模型产生出了prompt,answer1,prompt,answer2….prompt,answerK数据。之后标注人员对K个结果按照很多标准上面提到的相关性、富含信息性、有害信息等诸多标准综合考虑进行排序给出K个结果的排名顺序这就是此阶段人工标注的数据。接下来我们准备利用这个排序结果数据来训练回报模型采取的训练模式其实就是平常经常用到的pair-wise learning to rank。对于K个排序结果两两组合形成 (k2) 个训练数据对ChatGPT采取pair-wise loss来训练Reward Model。RM模型接受一个输入prompt,answer给出评价回答质量高低的回报分数Score。对于一对训练数据answer1,answer2我们假设人工排序中answer1排在answer2前面那么Loss函数则鼓励RM模型对prompt,answer1的打分要比prompt,answer2的打分要高。归纳下在这个阶段里首先由冷启动后的监督策略模型为每个prompt产生K个结果人工根据结果质量由高到低排序以此作为训练数据通过pair-wise learning to rank模式来训练回报模型。对于学好的RM模型来说输入prompt,answer输出结果的质量得分得分越高说明产生的回答质量越高。ChatGPT:第三阶段第三阶段采用强化学习来增强预训练模型的能力。本阶段无需人工标注数据而是利用上一阶段学好的RM模型靠RM打分结果来更新预训练模型参数。具体而言首先从用户提交的prompt里随机采样一批新的命令指的是和第一第二阶段不同的新的prompt这个其实是很重要的对于提升LLM模型理解instruct指令的泛化能力很有帮助且由冷启动模型来初始化PPO模型的参数。然后对于随机抽取的prompt使用PPO模型生成回答answer 并用上一阶段训练好的RM模型给出answer质量评估的回报分数score这个回报分数就是RM赋予给整个回答由单词序列构成的整体reward。有了单词序列的最终回报就可以把每个单词看作一个时间步把reward由后往前依次传递由此产生的策略梯度可以更新PPO模型参数。这是标准的强化学习过程目的是训练LLM产生高reward的答案也即是产生符合RM标准的高质量回答。如果我们不断重复第二和第三阶段很明显每一轮迭代都使得LLM模型能力越来越强。因为第二阶段通过人工标注数据来增强RM模型的能力而第三阶段经过增强的RM模型对新prompt产生的回答打分会更准并利用强化学习来鼓励LLM模型学习新的高质量内容这起到了类似利用伪标签扩充高质量训练数据的作用于是LLM模型进一步得到增强。显然第二阶段和第三阶段有相互促进的作用这是为何不断迭代会有持续增强效果的原因。尽管如此我觉得第三阶段采用强化学习策略未必是ChatGPT模型效果特别好的主要原因。假设第三阶段不采用强化学习换成如下方法类似第二阶段的做法对于一个新的prompt冷启动模型可以产生k个回答由RM模型分别打分我们选择得分最高的回答构成新的训练数据prompt,answer,去fine-tune LLM模型。假设换成这种模式我相信起到的作用可能跟强化学习比虽然没那么精巧但是效果也未必一定就差很多。第三阶段无论采取哪种技术模式本质上很可能都是利用第二阶段学会的RM起到了扩充LLM模型高质量训练数据的作用。以上是ChatGPT的训练流程主要参考自instructGPT的论文ChatGPT是改进的instructGPT改进点主要在收集标注数据方法上有些区别在其它方面包括在模型结构和训练流程等方面基本遵循instructGPT。可以预见的是这种Reinforcement Learning from Human Feedback技术会快速蔓延到其它内容生成方向比如一个很容易想到的类似“A machine translation model based on Reinforcement Learning from Human Feedback”这种其它还有很多。但是我个人认为在NLP的某个具体的内容生成领域再采用这个技术意义应该已经不大了因为ChatGPT本身能处理的任务类型非常多样化基本涵盖了NLP生成的很多子领域所以某个NLP子领域如果再单独采用这个技术其实已经不具备太大价值因为它的可行性可以认为已经被ChatGPT验证了。如果把这个技术应用在比如图片、音频、视频等其它模态的生成领域可能是更值得探索的方向也许不久后我们就会看到类似“A XXX diffusion model based on Reinforcement Learning from Human Feedback”,诸如此类这类工作应该还是很有意义的。另外一个值得关注的采取类似技术的工作是DeepMind的sparrow这个工作发表时间稍晚于instructGPT如果你仔细分析的话大的技术思路和框架与instructGPT的三阶段基本类似不过明显sparrow在人工标注方面的质量和工作量是不如instructGPT的。反过来我觉得sparrow里把回报模型分为两个不同RM的思路是优于instructGPT的至于原因在下面小节里会讲。ChatGPT能否取代Google、百度等传统搜索引擎既然看上去ChatGPT几乎无所不能地回答各种类型的prompt那么一个很自然的问题就是ChatGPT或者未来即将面世的GPT4能否取代Google、百度这些传统搜索引擎呢我个人觉得目前应该还不行但是如果从技术角度稍微改造一下理论上是可以取代传统搜索引擎的。为什么说目前形态的ChatGPT还不能取代搜索引擎呢主要有三点原因首先对于不少知识类型的问题ChatGPT会给出看上去很有道理但是事实上是错误答案的内容参考上图的例子from Gordon Lee,ChatGPT的回答看着胸有成竹像我这么没文化的基本看了就信了它回头查了下这首词里竟然没这两句考虑到对于很多问题它又能回答得很好这将会给用户造成困扰如果我对我提的问题确实不知道正确答案那我是该相信ChatGPT的结果还是不该相信呢此时你是无法作出判断的。这个问题可能是比较要命的。其次ChatGPT目前这种基于GPT大模型基础上进一步增加标注数据训练的模式对于LLM模型吸纳新知识是非常不友好的。新知识总是在不断出现而出现一些新知识就去重新预训练GPT模型是不现实的无论是训练时间成本还是金钱成本都不可接受。如果对于新知识采取Fine-tune的模式看上去可行且成本相对较低但是很容易产生新数据的引入导致对原有知识的灾难遗忘问题尤其是短周期的频繁fine-tune会使这个问题更为严重。所以如何近乎实时地将新知识融入LLM是个非常有挑战性的问题。其三ChatGPT或GPT4的训练成本以及在线推理成本太高导致如果面向真实搜索引擎的以亿记的用户请求假设继续采取免费策略OpenAI无法承受但是如果采取收费策略又会极大减少用户基数是否收费是个两难决策当然如果训练成本能够大幅下降则两难自解。以上这三个原因导致目前ChatGPT应该还无法取代传统搜索引擎。那么这几个问题是否可以解决呢其实如果我们以ChatGPT的技术路线为主体框架再吸纳其它对话系统采用的一些现成的技术手段来对ChatGPT进行改造从技术角度来看除了成本问题外的前两个技术问题目前看是可以得到很好地解决。我们只需要在ChatGPT的基础上引入sparrow系统以下能力基于retrieval结果的生成结果证据展示以及引入LaMDA系统的对于新知识采取retrieval模式那么前面提到的新知识的及时引入以及生成内容可信性验证基本就不是什么大问题。基于以上考虑在上图中展示出了我心目中下一代搜索引擎的整体结构:它其实是目前的传统搜索引擎ChatGPT的双引擎结构ChatGPT模型是主引擎传统搜索引擎是辅引擎。传统搜索引擎的主要辅助功能有两个一个是对于ChatGPT产生的知识类问题的回答进行结果可信性验证与展示就是说在ChatGPT给出答案的同时从搜索引擎里找到相关内容片段及url链接同时把这些内容展示给用户使得用户可以从额外提供的内容里验证答案是否真实可信这样就可以解决ChatGPT产生的回答可信与否的问题避免用户对于产生结果无所适从的局面。当然只有知识类问题才有必要寻找可信信息进行验证很多其他自由生成类型的问题比如让ChatGPT写一个满足某个主题的小作文这种完全自由发挥的内容则无此必要。所以这里还有一个什么情况下会调用传统搜索引擎的问题具体技术细节完全可仿照sparrow的做法里面有详细的技术方案。传统搜索引擎的第二个辅助功能是及时补充新知识。既然我们不可能随时把新知识快速引入LLM那么可以把它存到搜索引擎的索引里ChatGPT如果发现具备时效性的问题它自己又回答不了则可以转向搜索引擎抽取对应的答案或者根据返回相关片段再加上用户输入问题通过ChatGPT产生答案。关于这方面的具体技术手段可以参考LaMDA其中有关于新知识处理的具体方法。除了上面的几种技术手段我觉得相对ChatGPT只有一个综合的Reward Modelsparrow里把答案helpful相关的标准比如是否富含信息量、是否合乎逻辑等采用一个RM其它类型toxic/harmful相关标准比如是否有bias、是否有害信息等另外单独采用一个RM各司其职这种模式要更清晰合理一些。因为单一类型的标准更便于标注人员进行判断而如果一个Reward Model融合多种判断标准相互打架在所难免判断起来就很复杂效率也低所以感觉可以引入到ChatGPT里来得到进一步的模型改进。通过吸取各种现有技术所长我相信大致可以解决ChatGPT目前所面临的问题技术都是现成的从产生内容效果质量上取代现有搜索引擎问题不大。当然至于模型训练成本和推理成本问题可能短时期内无法获得快速大幅降低这可能是决定LLM是否能够取代现有搜索引擎的关键技术瓶颈。从形式上来看未来的搜索引擎大概率是以用户智能助手APP的形式存在的但是从短期可行性上来说在走到最终形态之前过渡阶段大概率两个引擎的作用是反过来的就是传统搜索引擎是主引擎ChatGPT是辅引擎形式上还是目前搜索引擎的形态只是部分搜索内容Top 1的搜索结果是由ChatGPT产生的大多数用户请求可能在用户看到Top 1结果就能满足需求对于少数满足不了的需求用户可以采用目前搜索引擎翻页搜寻的模式。我猜搜索引擎未来大概率会以这种过渡阶段以传统搜索引擎为主ChatGPT这种instruct-based生成模型为辅慢慢切换到以ChatGPT生成内容为主而这个切换节点很可能取决于大模型训练成本的大幅下降的时间以此作为转换节点。未来智能实验室的主要工作包括建立AI智能系统智商评测体系开展世界人工智能智商评测开展互联网城市大脑研究计划构建互联网城市大脑技术和企业图谱为提升企业行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。 如果您对实验室的研究感兴趣欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”
