为网站做外链的方式,深圳团购网站设计价格,wordpress使用相对路径,广东东莞旅游必去十大景点这篇文章探讨了谁将从生成式人工智能(Generative AI)市场中创造价值。作者分析了生成式AI技术栈,包括计算基础设施、数据、基础模型、微调模型和应用程序,找出了有利可图的领域。基于Transformer架构的大型语言模型(LLM)如GPT-4成为这一领域的基础模型。微调这些通用模型以适应… 这篇文章探讨了谁将从生成式人工智能(Generative AI)市场中创造价值。作者分析了生成式AI技术栈,包括计算基础设施、数据、基础模型、微调模型和应用程序,找出了有利可图的领域。基于Transformer架构的大型语言模型(LLM)如GPT-4成为这一领域的基础模型。微调这些通用模型以适应特定任务和行业的需求也带来了商机。此外,基于LLM构建应用程序和编辑工具等产品是另一价值实现途径。总的来说,掌握这些关键要素的企业和新进参与者都有机会在生成式AI市场获利。 在 ChatGPT 公开发布后的几个月里风险投资公司向生成式人工智能初创公司投入了大量资金企业也加大了对该技术的投入希望实现工作流程的自动化。这种兴奋是值得的。早期研究表明生成式人工智能可以显著提高生产率1。这些提高有些来自于增强人力有些来自于替代人力。
但问题是谁将从这一爆炸性市场中获取价值获取价值的决定因素又是什么为了回答这些问题我们分析了生成式人工智能堆栈–大致可分为计算基础设施、数据、基础模型、微调模型和应用–以确定差异化的成熟点。虽然文本、图像、音频和视频都有生成式人工智能模型但我们在讨论中始终使用文本大型语言模型或 LLM作为说明背景。
1.解构生成式AI的技术实现
自从 ChatGPT 向公众推出以来投资激增。风险投资公司正在向生成式人工智能初创公司注入资金而公司则增加在该技术上的支出以简化其运营。人们对这项技术的热情是有道理的因为初步研究表明生成式人工智能有潜力大大提高生产力。这些生产率的提高可能源于人力投入的增加和替代。
挥之不去的疑问围绕着谁将抓住这个快速扩张的市场带来的机会以及哪些因素有助于获取这种价值。为了深入研究这些查询我们深入研究了生成式人工智能堆栈领域其中包括计算基础设施、数据、基础模型、微调模型和应用程序。我们的目标是找出有潜力脱颖而出的领域。尽管存在适合文本、图像、音频和视频等各种领域的生成式人工智能模型但我们仍将文本特别是大型语言模型即 LLM作为我们讨论的中心主题。
专业的计算基础设施 – 构成了生成式人工智能技术的基础。该基础设施由高性能 GPU 驱动用于训练和执行机器学习模型。希望开发新的生成式人工智能模型或服务的公司可以选择投资 GPU 和相关硬件为本地 LLM 培训和执行建立必要的基础设施。然而这种方法可能会带来经济负担且不切实际因为可以通过 Amazon Web Services (AWS)、Google Cloud 和 Microsoft Azure 等领先的云服务提供商轻松访问等效的基础设施。
专有数据 – 生成式人工智能模型的力量来自广泛的互联网规模数据。以 OpenAI 的 GPT-3 背后的训练数据为例它是 Common Crawl、开放网络存储库以及来自维基百科、在线文学作品和各种其他来源的数据的混合体。 Common Crawl 等数据集的合并表明在模型开发过程中需要吸收来自《纽约时报》和 Reddit 等不同网络来源的数据。此外基础模型利用从网络爬行活动、合作伙伴关系或雪花市场等平台的数据采购中提取的特定领域信息。尽管模型的训练过程是透明的但开发人员经常隐瞒有关其数据源来源的复杂细节。尽管如此研究人员还是利用了即时注入攻击等策略来发现一系列数据源这些数据源为这些人工智能模型的训练提供了动力。
基础模型 – 是在大量数据集上训练的神经网络没有针对特定领域或任务例如生成法律文档或提供技术产品信息进行特定优化在人工智能领域发挥着至关重要的作用。这些模型例如 OpenAI 的 GPT-4 和 Google 的 Gemini都基于 Vaswani 等人在 2017 年发表的一篇开创性论文中介绍的 Transformer 架构。虽然创建新的基础模型有潜力进入生成人工智能领域但需要大量数据、计算能力和专业知识等重大障碍限制了高质量大型基础模型的开发。基础语言模型的著名例子包括闭源模型例如 Meta 的 Llama-2 和阿拉伯联合酋长国技术创新研究所的 Falcon 40B以及开源替代方案。
RAGs和模型微调 – 基础模型以其在各种语言任务中的多功能性和强大性能而闻名然而他们可能并不总是在特定的环境或任务中表现出色。为了提高特定于上下文的任务的性能可能需要合并特定于域的数据。当将大型语言模型 (LLM) 用于特定目的时例如帮助用户解决产品的技术问题有两种可能的方法可供考虑。第一种方法涉及创建一个服务该服务检索与用户查询相关的相关信息片段并将该信息附加到提供给基础模型的提示中。例如在帮助用户解决问题的场景中这种方法需要开发代码从产品手册中提取相关细节与用户的问题紧密结合并指导法学硕士根据提取的信息生成响应。这种方法通常称为检索增强生成RAG。虽然基础模型对其可容纳的提示长度有限制但它们通常可以处理最多大约 100,000 个单词的提示。与这种方法相关的费用包括基础模型的 API 成本该成本根据输入提示的大小和 LLM 生成的输出而增加。因此从产品手册中获取的信息输入到 LLM 中的信息越多实施成本就越高。
微调模型代表了一种替代策略但初始计算费用更高。该方法不是简单地向模型提供产品手册中的上下文信息而是通过利用特定领域的数据来增强基本模型的神经网络。此过程使 ChatGPT 能够处理指令并与用户进行对话。微调过程包括使用针对特定领域定制的数据集重新训练现有的基础模型例如 Llama 或 GPT-4。
RAG 方法虽然由于模型需要冗长的提示而可能导致较高的 API 成本但比微调更容易执行。此外它还消除了在新数据集上重新训练神经网络所需的费用。这意味着 RAG 方法需要较低的设置成本但在每次用户提出查询时将数据传输到基本模型时会增加可变费用。相反微调方法虽然最初成本较高但有望产生优异的结果并且一旦完成可以在将来使用而无需像 RAG 那样为每个问题提供上下文。拥有技术敏锐度的企业可能会发现扩展生成式人工智能工具层的价值促进微调和 RAG 等选项无论是用于内部产品开发还是作为向其他企业提供的服务。
LLM 应用. 该结构的最上层包括可以在基础模型或改进模型上构建的应用程序以满足特定需求。各种初创公司开发了用于生成法律文档 (Evisort)、压缩书籍和电影脚本 (Jumpcut) 或解决技术查询 (Alltius) 的应用程序。这些应用程序遵循典型软件即服务产品的定价模型按月收费其额外成本主要与基础模型的云托管和 API 费用相关。
最近来自科技巨头和各级投资者的大量投资涌入。引入了许多新的基础模型以及使用独特的数据集进行微调的特定任务模型以获得竞争优势。此外许多初创企业正在积极创建基于不同基础模型或定制模型的应用程序。
2.云计算的经验教训
哪些企业能从这些投资中获得最大价值在过去的几个月里已经有数十种基础模型面世其中许多都能提供与更流行的基础模型相媲美的性能。不过我们认为基础模型市场很可能会在少数几家公司之间进行整合就像云服务的大部分市场份额和价值被亚马逊、谷歌和微软等公司所占据一样。
大多数云基础设施初创企业失败或被更大的竞争对手收购有三个原因这些原因也适用于生成式人工智能。首先是创建、维持和改进高质量技术基础设施所需的成本和能力。由于训练这些模型所需的数据和计算资源成本非常高昂这就进一步加剧了 LLM 的情况。这其中就包括 GPU 的成本而 GPU 的供应量相对于需求量来说是很低的。根据外部估算仅谷歌 5400 亿参数 PaLM 模型最终训练运行的计算成本就在 900 万到 2300 万美元之间总训练成本可能是这一数字的数倍。同样Meta 在 2023 年和 2024 年对 GPU 的投资估计也将超过 90 亿美元。此外建立基础模型需要获取海量数据以及大量的实验和专业知识所有这些都可能非常昂贵。
其次是需求方的网络效应。随着围绕这些基础设施的生态系统不断壮大新市场进入者面临的障碍也会随之增加。以 PromptBase 为例这是一个为 LLM 提供提示信息的在线市场。这里提供最多的提示是 ChatGPT 和流行的图像生成器 Dall-E、Midjourney 和 Stable Diffusion。从技术角度看新的 LLM 可能很有吸引力但如果用户有大量在 ChatGPT 中运行良好的提示而新的 LLM 却没有经过验证的提示那么他们很可能会坚持使用 ChatGPT。虽然不同 LLM 的底层架构相似但它们都经过了大量设计在一种 LLM 上行之有效的提示策略在其他 LLM 上可能并不适用。同时用户数量是源源不断的礼物 ChatGPT 凭借其庞大的用户群吸引了开发人员在其基础上开发插件。此外LLM 的使用数据还能形成反馈回路使模型不断改进。一般来说最受欢迎的 LLM 会比较小的 LLM 改进得更快因为它们有更多的用户数据可供使用而这些改进会带来更多的用户。
第三个因素是规模经济。资源池和需求聚合带来的供应方优势将使拥有庞大客户群的本地语言托管服务的每次查询成本低于初创本地语言托管服务。这些优势包括能够从 GPU 供应商和云服务提供商那里谈判到更优惠的价格。
基于上述原因尽管新的基础模型会定期发布但我们预计基础模型市场将围绕几个主要参与者进行整合。
3.构建还是租用
希望打入生成式人工智能服务市场的公司必须决定是在 GPT-4 等第三方基础模型之上构建应用还是构建和托管自己的 LLM要么在开源替代模型之上构建要么从头开始训练。在第三方模型上构建应用程序可能会带来安全风险例如可能会暴露专有数据。使用可信的云计算和 LLM 提供商可以部分降低这种风险因为它们可以保证客户数据的机密性不会用于训练和改进其模型。
另一种方法是利用开源 LLM如 Llama 2 和 Falcon 40B而不依赖 OpenAI 等第三方提供商。开源模型的吸引力在于它们为公司提供了对模型完整而透明的访问权限通常成本更低而且可以托管在私有云上。不过开源模型目前在代码生成和数学推理等复杂任务方面的性能落后于 GPT-4。此外托管此类模型需要内部技术技能和知识而使用第三方托管的 LLM 则非常简单只需注册一项服务并使用提供商的应用程序接口即可访问其功能。云提供商已开始越来越多地托管开源模型并通过 API 提供访问权限以解决这一问题。 由于文章篇幅有限原文链接请点击
创新指南解构企业AI价值如何实现 - 从5个关键策略着手 延展文章
1. A创新指南 | 如何利用人工智能技术实现企业营销效率提升10倍上
2. 入门指南营销中人工智能生成内容的主要类型 [新数据、示例和技巧]
3. 创新指南如何将人工智能应用于未来的创新管理——并不断付诸实践
