小米网站建设书,设计公司怎么开,网站地域分站怎么做,莱芜金点子广告电子版2024文章目录 每日一句正能量前言什么是大模型的开源与闭源开源与闭源的定义和特点开源的意义开源和闭源的优劣势比较不同的大模型企业#xff0c;开源、闭源的策略不尽相同。企业在开发垂类模型时选择开源还是闭源大模型开源vs 闭源#xff1a;两者并非选择题后记 每日一句正能量… 文章目录 每日一句正能量前言什么是大模型的开源与闭源开源与闭源的定义和特点开源的意义开源和闭源的优劣势比较不同的大模型企业开源、闭源的策略不尽相同。企业在开发垂类模型时选择开源还是闭源大模型开源vs 闭源两者并非选择题后记 每日一句正能量 依赖别人的人等于折断了自己的翅膀永远体会不到飞翔的快乐。 前言
在当今快速发展的技术和商业环境下大模型在各个领域都有着广泛的应用。然而开源和闭源两种不同的开发模式一直是业界争论的热点。本篇文章将探讨这两种模式对大模型未来发展的影响以及其中的利弊和走向。
什么是大模型的开源与闭源
“开源”一词起源于软件开发领域其全称为“开放源代码”在版权限制范围内任何人都可以公开获取源代码并进行修改甚至重新开发。与之相反在闭源的情况下只有源代码所有者掌握代码修改的权力其他人只能向其购买软件。
在企业竞争中开源和闭源是两种完全不同的竞争策略如互联网时代下开源Linux和闭源Windows之争移动互联网时代下开源Andriod和闭源iOS之争。
如今人工智能大模型也出现了开源、闭源之争大模型的开源和闭源主要是指模型的源代码和训练数据是否公开。大模型的闭源是指模型的源代码和训练数据不公开只有模型所属企业企业才能使用和修改它们如OpenAI的GPT-4。大模型的开源是指公开模型的源代码和训练数据任何人都可以查看、使用。在实际应用中很多企业选择部分开源如Meta的LLaMA 2开放了源代码但没有公开训练数据。
开源与闭源的定义和特点 开源软件是指源代码对公众开放并且允许用户查看、使用、修改和分发的软件。它通常由一个社群或组织开发和维护可以免费使用。开源软件在透明性、灵活性和社区参与度方面具有优势因此能够迅速演进和改进。 闭源软件则是指源代码不对公众开放的软件由公司或组织私下开发、销售和使用。闭源软件通常需要付费购买或订阅并受到知识产权保护。闭源软件在商业化和技术支持方面具有优势因为它们往往由专业团队负责开发和维护。
开源的意义
开源的意义在哪里小米副总裁崔宝秋曾指出开源的本质是协同和创新协同是全世界所有人各方开源力量的协同创新是一个技术的创新。
简单来说开源大模型将能汇聚更多的技术创新力量在这里全球开发者、研究机构、科技企业将一同协同共建大家一块让模型的数据更加丰富、模型更加优化、工具更加完善、应用更加全面…可以说是“众人拾柴火焰高”从而加速大模型技术的迭代升级、应用的丰富发展为大模型的发展方向打开更多的可能性同时也惠及更多的人群。
此外开源也就意味着个人开发者和中小型企业能够以最低的成本调用大模型而不是花费高昂的成本采购闭源大模型这也有利于开源大模型用户的吸纳与培养以及大模型开源生态的构建。
可以说开源是吸纳、培养用户、确定行业标准的重要途经也是避免当下AI大模型企业一轮又一轮重复造轮子、低成本试错的理想商业化手段。
开源和闭源的优劣势比较 开源的优势由于开源软件的透明性和社区参与度它在技术社群中得到了广泛的推崇和支持。开源软件能够快速迭代和改进吸引了大量开发者和用户的参与形成了强大的生态系统和产业链。此外开源软件还可以降低成本提高可定制性和可移植性。 闭源的优势闭源软件通常由专业团队开发具有较高的稳定性和性能。由于付费购买或订阅的原因闭源软件通常提供更全面的技术支持和服务。此外闭源软件还可以保护知识产权防止源代码被恶意使用或篡改。
不同的大模型企业开源、闭源的策略不尽相同。
第一从开源走向闭源最典型的即为OpenAI。2018年其发布的GPT-1完全对外开源2019年发布GPT-2分四次开源完整代码2020年发布GPT-3通过论文公开了技术细节同时用户可通过调用API的方式使用模型资源属于部分开源2022年11月推出GPT-3.5官方没有发布论文披露细节2023年3月开放API最近的GPT-4目前也仅处于开放API状态技术细节不得而知。
第二坚持开源最典型的即为Meta。2023年3月Meta发布开源大模型LLaMA可免费用于研究研究人员向Meta提出申请和审核后即可使用2023年7月Meta发布LLaMA 2公开了技术论文和源代码可免费用于研究和商业。
第三坚持闭源最典型的即为华为。在发布盘古大模型3.0时华为云公开表示盘古大模型全栈技术均是由华为自主创新的没有采用任何开源技术盘古大模型在未来也不会开源。
第四从闭源走向开源、闭源并行最典型的即为智谱。根据智谱AI的官网GLM2不限实例不限推理或微调工具包的私有化报价此前是一年30万。2023年7月智谱AI和清华KEG发布公告称为了更好地支持国产大模型开源生态ChatGLM-6B和ChatGLM2-6B权重对学术研究完全开放并且在完成企业登记获得授权后允许免费商业使用。同时ChatGLM2-12B、ChatGLM2-32B、ChatGLM2-66B、ChatGLM2-130B 等模型仍为闭源。
从我国大模型来看超半数已开源。根据《中国人工智能大模型地图研究报告》截至2023年5月28日我国大模型数量已达79个超半数已开源如清华大学的ChatGLM-6B、复旦大学的MOSS。
部分国内外大模型企业的开源、闭源情况如下图所示。 表1 部分国内外大模型企业的开源、闭源情况
企业在开发垂类模型时选择开源还是闭源大模型
任何一家企业如果自己从零开发大模型对算力、数据的要求极高研发投入很大。根据Meta发布的数据参数量最大的LLaMA-65B模型使用2048块A100-80GB的GPU训练数据量1.4万亿tokens耗时为21天如果采取租用云计算方式来训练算法按照Microsoft Azure以1.36美元/小时提供A100租用价计算训练成本约140万美元。
因此企业一般会选择基于已有大模型来开发针对某一垂直领域或垂直场景的垂类模型。这类模型通常基于通用大模型底座用垂类数据进行训练进行模型微调后形成。 图1 从通用模型到垂类模型 资料来源北京大学人工智能研究院公众号
那么在这一过程中模型底座选择开源大模型还是闭源大模型通过访谈调研我们发现大部分企业一般从以下几个维度综合考虑使用成本、场景容错率、技术能力、客户响应、数据安全等。
使用成本闭源大模型提供明确报价开源大模型二次开发成本自主把控
在选择大模型时企业需要根据自己的财务预算结合闭源大模型和开源大模型的使用成本进行综合考虑。
一般来说闭源大模型有直接的报价体系。如果直接调用大模型一般会衡量千token的费用比如ChatGPT API接入的模型——GPT 3.5-turbo收费标准是0.002美元/1K tokens。1个token大约等于4个英文字符大约等于3/4个单词假定每天需要处理1000个小文本块每个文本块对应一页文本500个单词约667个token日均成本约为1.3美元。但如果每天需要处理上百万份这类文档日均约1300美元每年约50万美元。而中文要用的token数是英文数量的1.2到2.7倍。随着垂类企业用户量的攀升这会成为一笔不小的费用。
也有一些闭源大模型也提供私有化服务如智谱提供云端私有化服务ChatGLM-12B、ChatGLM-32B、ChatGLM-66B、ChatGLM-130B的报价分别为25万元/年、50万元/年、100万元/年、120万元/年。同时智谱也提供本地私有化服务ChatGLM-12B、ChatGLM-32B、ChatGLM-66B、ChatGLM-130B的报价分别为180万元/年、680万元/年、1680万元/年、3960万元/年。
而对于开源大模型企业主要需要考虑的则是二次开发成本主要表现在迁移学习和微调的成本。对于迁移学习以基于LLaMA-65B进行二次开发、训练拥有100亿tokens的行业数据的垂直大模型为例如果采用租用云计算的方式训练算力费用为100/14000*1401万美元。如果采用自有算力前期算力集群初始投入费用会比较高NVIDIA DGX A100每台售价约20万美元但此时单大模型的成本仅包含平摊的硬件成本和能耗这两部分费用训练成本可大幅降低。对于微调斯坦福大学发布的模型Alpaca是基于LLaMA-7B底座使用5.2万指令8块80GB的A100微调耗时仅3小时总成本还不到600美元由于性能接近GPT-3.5有“平替版GPT-3.5”之称。
就目前而言尚不能笼统定义开源、闭源的成本一定孰高孰低不同企业的需求不同所需成本也就不同。因此对于企业来说更重要的是根据预算标准和使用场景等诸多因素综合选择性价比较高的模型。
场景容错率与闭源大模型相比开源大模型更适合容错率更高的场景
现有的开源、闭源模型中闭源模型的准确度均高于开源模型。如果企业垂类模型的应用场景容错率低、对大模型准确性要求较高那么选择闭源大模型是更好的选择反之可以选择开源大模型。
目前大模型技术最顶尖的即为OpenAI闭源的GPT-4其率先解决了模型架构设计、调参方式及多模态的探索。Meta将Llama 2-70B 的结果与GPT进行了比较结果在MMLU和GSM8K上接近GPT-3.5但在编码基准上还存在显著差距不少数据在多样性和质量方面有所欠缺。同时Meta 在其研究论文中承认LLaMA 2 和 GPT-4 之间在性能上仍有很大差距。由斯坦福大学计算机系研究团队发表的《Holistic Evaluation of Language Models》论文中作者对国外30个主流语言模型在准确率、鲁棒性、公平性、推理等主要指标进行评测后发现开源模型在大多数指标上表现弱于闭源或部分开源的模型如下图所示。
多数非开源模型准确率高于已完全开源模型 资料来源《Holistic Evaluation of Language Models》
开源大模型虽然性能没有达到顶尖水平但对于很多容错率较高的场景也可以满足企业开发垂类模型的需求。开源大模型LLaMA 2-70B在MMLU大模型评测数据集之一和GSM8K大模型评测数据集之一上接近 GPT-3.5。正如美国斯坦福大学基金会模型研究中心主任 Percy Liang表示“LLaMA 2不是GPT-4但对于许多应用场景来说你不需要GPT-4。相较于一个庞大、复杂的专有模型一个更可定制、更透明的模型比如LLaMA 2可能会帮助公司更快地创造产品和服务。”
技术能力与闭源大模型相比部署开源大模型对企业技术能力要求高
闭源大模型具有完整的工具链和工具平台企业可以直接调用其接口同时能够获得大模型企业及时的、高效的技术支持例如智谱为垂类企业提供了PLM、GLM等多个预训练大模型同时能够提供模型微调、数据处理、模型训练、模型部署、模型推理等工具包以及技术咨询服务等因此对企业技术能力要求相对较低。
基于开源大模型企业往往需要进行二次开发对机器学习、自然语言处理、数据科学等方面的专业能力要求高。现在一些大模型第三方服务商的出现一定程度上降低了企业对开源大模型的部署难度。如阿里云在国内推出针对Llama2全系列版本的训练和部署方案便于开发者进行再训练搭建专属大模型并支持开发者在云上进行模型微调通过Web UI及API的方式部署Llama2。
因此企业在选择大模型时应综合考虑自身技术能力水平和开发垂类模型的具体需求选择与自身能力水平更适配的模型。
客户响应与闭源大模型相比开源大模型能够减小客户响应时间
与闭源大模型相比基于开源大模型开发垂类模型能够有效减小客户响应时间。
大模型主要涉及两类延迟一个是计算延迟指模型处理输入和生成输出所需的时间一个是网络延迟指远程托管下数据传输所需的时间。如果垂类企业想要提升客户体验对客户实时响应这两类延迟越小越好。
如果用闭源大模型企业无法控制延迟模型提供者倾向于选择批处理请求可能导致高延迟还可能遇到违反速率限制导致的API延迟和中断。如果用开源大模型企业可以通过优化模型来降低计算延迟还可以改变批处理请求的设置以降低网络延迟从而减小客户响应时间。此外基于开源大模型企业还可以构建参数更少的小模型在保证模型准确率的情况下提升客户响应速度。
数据安全与闭源大模型相比开源大模型可更好保护数据隐私
一些闭源大模型无法进行私有化部署客户数据都会流经大模型企业的服务器可能引发数据泄漏风险。例如ChatGPT产生的所有数据都会流经OpenAI和微软的公共服务器据韩国媒体《economist》报道三星引入聊天机器人ChatGPT不到20天发生三起涉及ChatGPT误用与滥用案例包括两起“设备信息泄露”和一起“会议内容泄露”。报道称半导体设备测量资料、产品良率等内容或已被存入ChatGPT学习资料库中。
开源大模型可被垂类企业进行私有化部署能够更好地保护数据隐私。数据成为生产要素之后数据资产成为企业生产、经营、管理的命脉。开源大模型初创企业Huging Face表示有大量客户希望把自己的私有数据或专业数据用来训模型并不想把这些数据给到 OpenAI。开源大模型允许企业定制化开发、私有化部署、定向训练数据不禁止用户修改模型后闭源能够有效保护企业的数据隐私。如果企业在数据安全方面有较高需求且自身数据安全保护做得相对较好开源大模型不失为一种更好的选择。
开源vs 闭源两者并非选择题
开源大模型出现后随之而来的便是一道选择题模型的底座选择到底是开源还是闭源
尽管开源“免费的饭很香”但也并非不存在问题或者说在很多层面闭源大模型仍保持着领先优势。
一方面在模型质量上闭源大模型的质量更高比如说最前沿的GPT-4便是闭源大模型正如前文所言哪怕是当下可以说是最强势的Llama-2 还与GPT-3.5存在显著差距。
数据显示在学术界广为引用的、由斯坦福大学计算机系研究团队发表的《Holistic Evaluation of Language Models》论文中对国外30个主流语言模型在准确率、鲁棒性、公平性、推理等主要指标进行评测便发现开源Open模型在大多数指标上表现弱于闭源Close或部分开源Limited的模型。
另一方面大模型最终指向的还是产业落地在商业化落地上闭源大模型的能力更强。大模型要想落地就必须与企业业务相结合这需要专业的人提供专业的服务能力让大模型的能力与业务场景完美融合并非一朝一夕的事情需要长期赋能这不是免费的开源大模型能做到的事情。
此外大多数的开源大模型是“站在巨人肩膀上”推出的也就是说处于领先水平的开源模型都是由大企业开发话语权也都掌握在他们手中繁荣的背后也存在着一丝不确定性。
换言之着眼当下闭源大模型是大模型落地商业化更优的选择但这不代表只能选择闭源大模型放眼未来开源大模型是让AI普惠化实现的重要方向。
俗话说小孩子才做选择大人的世界是全都要开源与闭源并非选择题也正如百川智能创始人王小川所言“今天不能简单的说我们未来大模型就是走向OpenAI——闭源的中心化的模型。开源实际上是具备着很大的可能性有可能蕴含着极大商业模式和价值。”
市场需求驱使下开源与闭源之间的战争不断演绎并在大模型领域中取得竞争优势。开源的灵活性和社区力量使其在人工智能和机器学习社群中占据重要地位而闭源软件则通过保护知识产权和提供全面支持来吸引企业和组织的选择。
未来随着技术的不断发展和市场的变化开源和闭源之间的竞争将继续进行。无论是开源还是闭源大模型都将在满足用户需求和推动技术进步方面发挥重要作用。最终市场需求将决定开源与闭源谁主导了大模型的未来。
总言之在大模型这场竞赛中我们期待看到闭源大模型深扎产业让AI的智能力量真正飞入“千万家”也期待着开源大模型根深叶茂肆意生长为大模型的迭代、AI产业的发展开拓更多的想象空间。
后记
无论是开源还是闭源都有其存在的价值与意义。中国大模型要高水平发展既要有全球领先的闭源大模型打头阵也要有具备世界影响力的大模型开源社区。
对于大模型企业来说既可以开发闭源大模型也可以开发开源大模型就像百川智能对于想要开发垂类模型的企业来说既可以调用闭源大模型又可以基于开源大模型进行私有化部署。开源与闭源并非企业必做的二选一的选择题而是要结合实际情况明确企业的具体需求再做决策。
转载自https://blog.csdn.net/u014727709/article/details/134450984 欢迎 点赞✍评论⭐收藏欢迎指正
