网站产品关键词导出,品牌建设方案范文,免费虚拟机安卓版,自己制作网站app一、AI大语言模型进入爆发阶段 2022年12月ChatGPT突然爆火#xff0c;原因是其表现出来的智能化已经远远突破了我们的常规认知。虽然其呈现在使用者面前仅仅只是一个简单的对话问答形式#xff0c;但是它的内容化水平非常强大#xff0c;甚至在某些方面已经超过人类了#…一、AI大语言模型进入爆发阶段 2022年12月ChatGPT突然爆火原因是其表现出来的智能化已经远远突破了我们的常规认知。虽然其呈现在使用者面前仅仅只是一个简单的对话问答形式但是它的内容化水平非常强大甚至在某些方面已经超过人类了这是人工智能板块的重大突破。 近半年来整个行业都在致力于研发和应用大型模型。这涉及到算力的提升、大型模型算法的优化以及相关语料和数据的准备。行业对此非常关注各个参与者都铆足干劲特别是一些大型企业纷纷下水担心被AI浪潮拍在沙滩上。 在这张图中我们可以看到一些主要的玩家比如Meta即Facebook、OpenAI和谷歌以及国内的华为、阿里巴巴和百度。尤其是在大型模型领域它们都在做相应的投入和研发。最近有一个名为Stable Diffusion的技术非常令人震撼。它可以让你无限地放大和缩小一张图片甚至将其放大到地球的大小这对整个行业都是一个巨大的挑战。 另外值得一提的是Meta两年前Facebook将其名称改为Meta并宣布将全力发展元宇宙。但是为什么元宇宙还没有崛起呢因为元宇宙需要人们用工具去创造其中的3D内容。但是现在如果将Stable Diffusion技术与元宇宙技术结合起来所有的场景都不需要手动创造了。这是非常令人震撼的也可能会推动元宇宙的爆发。因为在这之前元宇宙最大的瓶颈就是内容。如果人工智能能够与之很好地结合并生成内容对元宇宙的推动将是非常巨大的。所以我们可以无限地想象这个技术将如何改变我们的生活。 二、什么是大语言模型 大语言模型是AI中的一个重要组成部分它主要用于生成内容。我们可以通过这个模型给定一段文字然后生成相应的文字、图片或图生图以及将文字转换为声音或视频等等。这个模型的架构被称为Transformer它是一种深层次的生成式模型。在卷积神经网络中有许多层和参数通过降维计算和权重来生成每个节点的可能性。虽然理解这个模型可能对于数学不太好的人来说有些复杂但我们可以大致了解它的工作原理、功能和优势以便在后续的应用开发中打下基础。 总结下来大模型其实就是三块大的能力自然语言理解与生成推理能力以及通识能力。 首先最重要的是自然语言的理解能力。在过去我们经常进行各种搜索包括在电商网站上进行搜索。当你在输入框中输入想要购买的物品比如电脑系统会给你返回一大堆相关的结果。这种搜索的本质是什么呢其实它是通过给每个商品打上标签的方式进行的比如只要是电脑系统就会给它打上电脑的标签。当你输入电脑时系统会命中所有带有电脑标签的商品然后给你返回搜索结果。所以从本质上说这种搜索是基于你的输入进行分词和命中而没有理解你的意图。 但现在自然语言理解的技术已经得到了很大的进步在搜索层面上可以实现更多的功能。我们可能都尝试过ChatGPT、文心一言等等当你输入一段话时它会给你返回一系列相关的信息。这是因为它真正地理解了你的语言含义理解了你的意图然后才进行相应的操作。所以在搜索方面实现这种真正的理解并提供相关结果是可能的。 比如你要去购买电脑你可以对着AI输入“我是一个程序员平时主要用来写Python程序现在要购买一台1万元左右的电脑”这是会自动给你推荐符合的商品这就是体验方式的不一样。这个模型他理解了你的需求然后再去完成特定的任务。 第二个很重要的是推理能力。同样是上文买电脑的例子我只是描述了我的职业属性以及使用需求而大语言模型会根据我提供的信息来推理出我需要购买电脑或者电脑的配件。这是它在基于我的语言理解去做的推理。 很典型的一个例子是ChatGPT-4发布时的一个举例将一个有气球的图片传给ChatGPT这时候你问ChatGPT “如果我把气球的绳子剪断会怎样”
“气球会飞走” 对于人类来说这些回答很正常但对于机器来说却是令人震撼的这意味着AI已经能够理解物理世界的一些现象。 例如当给AI展示一张烧红的铁的图片并问它如果用手去碰会怎样它能回答“你要当心受伤”。这个回答展示了AI的通识能力它知道烧红的铁温度很高然后进行推理得出碰到它会受伤的结论并知道人的手不能碰高温物体。这些都属于通识知识对我们来说很基本。但在这个大型模型出现之前这个问题一直困扰着科学界很长时间即使像AlphaGo这样的强大AI也不知道烧红的铁不能用手碰。 但现在这个问题已经得到解决。 三、大语言模型的核心要素
算法和模型是区分大语言模型研发的核心要素。算法和模型影响的模型丰富度、模型准确性、能力涌现等都成为评价大语言模型优劣的核心指标。 目前LLM市场有三大方向分别是OpenAI、Google和Meta。 ChatGPT的回答更注重模拟人类表达因此在准确性方面可能会有一定欠缺有时会出现所谓的“一本正经的胡说八道”这在专业术语中称为“幻觉”。相比之下Google追求100%的准确性所以它的训练更加困难。这也解释了为什么OpenAI先出现并且更快流行因为它的回答相对更巧妙难度没有那么大。 而Meta的LLaMA则是另一条完全不同的路线它是完全开源并且可以商用的因此围绕这一个模型会出现成百上千的模型很多个人或者大厂都会基于这个模型进行一定的改进比如ChatGLM等等。 四、如何构建大语言模型 大模型的本质除了是Transformer算法它还需要进行数据训练。这与人类类似孩子出生后就自然拥有了算力而随着大脑中的神经元不断增长算力也会增强。 无论是对于人类还是对于大模型来说学习都是一个过程。实质上对于大模型来说学习的过程就是消耗数据和语料的过程。在训练中所有的数据都被称为语量。 将大语言模型从一个Transformer算法训练成一个类似ChatGPT的模型需要经过三步预训练、指令微调和RLHF。 预训练是指进行大量的无监督学习这个概念可以用一个例子来解释。就像训练一个鹦鹉一样你给它一个开着的电视让它去看不管电视上放什么内容只要鹦鹉看着就好。经过一段时间鹦鹉就会学会很多话。当然这种训练资料不是完全随机还是会进行一定的选择。 指令微调是一种技术通过向模型提供特定的指令或约束来进一步调整模型的行为和生成结果。通常用于去除预训练过程中不安全数据这些数据包括但不限于黄赌毒等等违法内容。AI在面对关于违法行为的问题时会避免回答。同时指令微调还涉及一些伦理问题它会尽量排除对人类有害的内容。 然而传统数据库中可以查找到有害数据的位置但在大模型中由于存储的内容太多不知道具体位置。因此无法通过穷举的方式检查出所有有害内容特别是在开源大模型中隐藏的有害内容更难察觉,需要更加小心谨慎。 RLHF是Reinforcement Learning From Human Feedback的缩写意为从人类反馈中进行强化学习。这是整个过程的最后一步引入专家或其他人在不同时间点问同样的问题观察回答的差异尽管可能有些微差别但意思可能是一样的。然后需要评估回答选择最好的回答并给予相应的权重。这实际上是一个强化学习的过程。 五、大模型时代下企业应用痛点 随着进入大模型时代越来越多的企业将加入这一浪潮现有的几家独大的局面必将很快被打破。在这个时代企业应用发展同样面临着众多挑战。 例如ChatGPT在通识领域表现出很强的能力这是因为ChatGPT的语料来源于公开网络所以它会成长为通识领域的领先选手。 然而每个行业最专业的资料都是在企业或行业协会的私域中不对外公开的。所以ChatGPT在回复中经常会存在事实性错误部分原因就是这些特定的行业机密是无法在公有网络中获取的。这些行业协会或企业可以使用自己的数据来训练模型从而成为该领域的专家专注解决特定问题。可以预见的是未来将会有各种大模型涌现如医生模型、投资模型、生产制造模型等。我们可以想象将各种大模型与各个行业结合从而对传统应用进行重构和升级实现更好的效果。 另一方面是企业应用面临着数据和信息泄露的风险。由于AI大模型的应用无法签订保密协议无法保证企业数据的安全性也无法保证内容不会外流。这给企业带来了一定的安全隐患和控制风险。 六、大模型究竟能做什么 大模型应用可以轻松生成文字比如广告文案、客服等。虽然目前大多数应用将其用于客服问答但它的能力远不止于此特别是在企业场景中它具有强大的推理和分析能力。例如在自动驾驶领域人工智能也发挥了重要作用但目前仍存在100%正确性的问题因此智能驾驶还不能完全取代人类控制。然而一旦突破了这一问题将对整个行业产生颠覆性的影响释放出与蒸汽机一样重要的生产力实现机器设备的无人驾驶和操控。 我们现在才刚进入大模型时代更多的应用可能其实还需要不断地去尝试挖掘。
七、AI企业应用开发 一开发工具及资源 目前我们已经拥有了很多模型回到我们的本质我们要开发一些应用更重要的是如何去运用它们。现在业界有一些框架、思路和工具来开发这些AI应用。在这个过程中我们可以看到有一些层次顺序。最底层是模型的能力它是不可或缺的而它的算力则是由CPU支撑在这之上还有一些框架。 //脚手架 AI应用脚手架软件是一种用于构建和部署AI应用的工具。它提供了一个基本框架帮助开发者快速搭建AI应用的基础结构。 很火的脚手架如AutoGPT和LangChain其实都采用了同一种代理思路即基于思维链的循环往复过程。当面对复杂任务时大模型具备拆解能力将任务拆解为小任务并提前包装好API工具让模型知道每个API的功能。整个过程相当于自动化的步骤模型会根据任务的拆解和工具的匹配来完成相应的任务。 //向量数据库 在传统的应用中我们使用了Claude框架和Java语言。然而这些还不够我们还需要记忆体也就是关系型数据库。在AI应用中它也有相应的记忆体即向量。在大型模型中它通过计算来存储自然的向量并通过向量来表示各个节点之间的关系。向量数据库并不是现在才出现的它的优势在于处理非结构化的数据因为我们知道结构化数据对机器来说更友好。非结构化数据是指文档、文字、声音、视频等无固定格式的数据。与之相对的是结构化数据例如表格或数据库中的数据。在过去我们能够录制和存储视频、音频等非结构化数据但一直没有一种基于这些数据进行计算的方式。 为了解决这个问题我们引入了向量数据。向量数据库将现实中的非结构化数据转化为向量形式每个数据都成为一个向量。当进行计算时将数据转化为向量的原因是它已经变成了数值可以进行计算。可以计算两个向量之间的距离这个距离在向量化过程中具有实际意义它表示相似度。 例如如果将两句话“今天天晴”和“今天天气很好”存储在向量数据库中它们将成为两个不同的向量。但是这两个向量之间的距离非常接近通过使用向量引擎将它们向量化可以得到非常接近的距离。这具有实际意义可以对非结构化的数据进行大量计算。 //大模型运行环境 大模型通常需要大量的计算资源来进行训练和推理。强大的硬件算力如高性能的CPU、GPU或TPU可以提供更快速和高效的计算能力加速大模型的运行。较低的算力可能会导致运行速度变慢或无法完成任务。 目前市场上提供的算力服务包括Google Colab、Hugging Face以及国内公有云等等可为学习和开发提供长期算力支持。 业界中有很多大厂正在努力降低AI和大模型对算力的要求有人表示这一趋势符合摩尔定律将会迅速下降。同时还有各种算法优化和并行处理的可能性。虽然这些可能超出了我们目前个人的能力范围但我们可以关注未来的发展说不定哪一天在笔记本上都能够运行。 //大模型获取方式 获取想要的大模型非常简单。像Hugging Face提到的类似于GitHub的开源模型库提供了大量的开源数据集和预训练的大模型。开发者可以直接在这些库中搜索并下载所需的大模型然后在本地环境中进行使用和运行。 二AI应用架构 各位小伙伴可以关注公众号“神州数码云基地”回复关键词【AGI通识及应用开发】获取原文PPT材料 AI应用的基本框架是用户输入在左边完成后下方可以连接外部数据库和向量数据库。在中间是一个大模型我们可以通过API的形式调用AI或者国内的文心一言等等来完成任务。另外我们也可以选择自己部署一个开源的大模型例如ChatGPT来进行基础的开发工作这已经足够使用了。 模型层的代理层其实就是一个脚手架通过代理机制利用大模型理解用户的需求并将其切分为多个小任务然后调用各种已知的工具来完成任务当然这些工具需要事先告知给代理层。如何告诉工具需要做什么呢一种常见的方式是通过查询和调用搜索引擎的API。在这个API中你只需要用自然语言写一段话告诉它你想搜索人、事、物等方面的信息。当大模型在分解任务时如果某个步骤需要查询某个人的信息它会自主地调用这个工具。 注册过程实际上是将每个现有应用或外部系统的API进行简单的自然语言包装以便在任何时候调用底层机制。它会观察结果并根据满足要求与否来判断是否继续执行任务直到任务完成。 整个机制还配合着向量数据库该数据库专门为个人或特定场景提供服务。在企业场景中大量的数据都是私有的无论是结构化还是非结构化的例如企业文档、规章制度、报告等都可以存储在向量数据库中。这样这个系统就能够成为企业私有的定制AI系统用于回答内部问题。 八、说在最后 在AGI通用人工智能时代的到来之际大模型成为了推动AI技术发展和应用的关键驱动力。通过大模型我们可以探索和实现更加复杂、智能的任务和应用为人类社会带来巨大的变革。
正如我们在上文所说获取想要的大语言模型已经变得非常简单。开源模型库、数据科学平台、云计算服务以及自行训练等方式都为我们提供了丰富的资源和工具让我们能够轻松地学习和探索大模型的世界。
通过学习大语言模型的原理、应用和开发技术我们能够更好地理解和应用这一强大的工具。不论是从事研究、开发还是应用学习和掌握AGI的知识和技能都将为我们的职业发展和个人成长带来巨大的机会和潜力。 分享者胡浩文 | 神州数码云基地 开发总监 版权声明:本文由神州数码云基地团队整理撰写若转载请注明出处。
公众号搜索神州数码云基地回复关键词【AGI通识及应用开发】获取原文PPT材料
