做软装素材从哪些网站找,做系统和做网站的区别,多语言网站建设推广,百度 营销推广多少钱无论是向量数据库#xff0c;还是大模型#xff0c;归根结底#xff0c;大家在追捧它时的心态#xff0c;焦虑大于需求。 向量数据库的热潮#xff0c;在一定程度上“外化”了人们的焦虑。
但这并不能否定向量数据库的实际价值#xff0c;甚至更长远来看#xff0c;向… 无论是向量数据库还是大模型归根结底大家在追捧它时的心态焦虑大于需求。 向量数据库的热潮在一定程度上“外化”了人们的焦虑。
但这并不能否定向量数据库的实际价值甚至更长远来看向量数据库正走在证明自己的路上。
作者|思杭
编辑|皮爷
出品|产业家 每逢淘金热最后的赢家都是卖铲人而非淘金者。
这是著名的铲子理论。在今年大模型的风口下向量数据库就成了这把铲子。
在此之前向量数据库经历了几年的沉寂期现在似乎终于成为资本的“宠儿”。这个曾经冷却的赛道如今在半年间就收获了10亿元融资然而资本“无节制”的追捧对于向量数据库赛道究竟是奖励还是惩罚是终于等到机会可以放手一搏还是前路漫漫遥遥无期
判断一条赛道是否真的有潜力资本的注入虽是前提但更重要的还有市场的态度。大模型应用的逐步落地于向量数据库而言无疑是最好的催熟剂。
然而任何新技术的到来都需要更长的时间才能得到市场的接受。 对此产业家通过了解多家目前已发布向量数据库的厂商从他们口中可以窥见出目前的市场态度。
于星环科技而言从5月份正式发布向量数据库产品至今已走过近半年的时间。在他们的观察中发现客户对大语言模型等深度学习应用非常感兴趣。然而客户目前仍处于学习和选型的阶段。在将新技术引入实际业务之前客户也需要时间来适应和了解这些新概念。
另外在近期腾讯云也更是宣布了向量数据库的产品升级。在发布会当天腾讯云数据库副总经理罗云对媒体表示向量数据库产品目前的对外客户数已过千家。
据了解目前腾讯云在向量数据库的发力点是从已有客户开始拓展如今客户也正处于拥抱和适应新技术的阶段。
一份关于向量数据库更真实的市场调查是随着AI应用场景加速落地据西南证券分析预计2025年向量数据库渗透率约为30%其中中国向量数据库市场规模约为82.56亿元。而据中国信通院测算到2025年中国数据库市场规模将达688亿元。这意味着两年后向量数据库在中国的渗透率将超过10%。
在国内不少数据库厂商都在尝试推出向量数据库产品然而从市场验证阶段走向实现盈利中间还需要一段更漫长的时间。
在此过程中不乏有质疑声出现。比如前段时间流数据库公司 RisingWave创始人CEO吴英骏公开发文“为什么你不应该押注向量数据库”。在文中吴英骏表示尽管他对向量数据库的前景颇有信心但目前并不鼓励进入向量数据库市场。
向量数据库究竟是虚火过旺还是星辰大海在向量数据库这条赛道能否看到更远的未来在这一命题下笔者试图从向量数据库的市场应用和演进历程来揭开这一神秘的面纱。
一、“单打独斗” VS ”团队协作“
大模型解决的是计算问题而向量数据库则解决存储问题。
这是从2023年初向量数据库崛起开始至今为止行业内公认的看法。
“绝大多数人工智能研发的项目从未投入生产这其中的关键原因是缺乏正确的工具。而大语言模型与非结构化数据的结合可以为AI应用相关的创业者打开新世界。”
在最吸金的海外向量数据库创业公司中Qdrant正是其中一家。其CEO兼联合创始人Andre Zayarni对于当前向量数据库与大语言模型的结合发表了上述观点。
一个更恰当的比喻是向量数据库充当了连接非结构化数据与AI应用的桥梁作用。也可以说向量数据库是专为AI量身定制的。
实际上在Gartner的调查报告中曾表示过当前非结构化数据的增长速度。现在90%的新数据都属于非结构化数据而非结构化数据的增速更是结构化数据增速的三倍以上。
然而非结构化数据需求的激增是否真的能带来向量数据库需求的增长两者也许未必能划上等号。
在向量数据库赛道中一个更大的争议点是是否真的有必要单独设计一款向量数据库的产品还是仅仅将向量化搜索能力嵌入到传统数据库当中即可。
回答这一问题前理解究竟什么是向量数据库以及向量数据库的具体应用则十分必要。
首先向量数据库的“向量”也可以理解为一种“标签”或某种”属性“。在AI应用中这些标签可以准确地帮助AI找到问题的答案从而通过提取标签来提取数据。 一个生动的比喻是向量就像一张地图任何对象都可以根据时间序列信息在列表和表格中找到答案。
对此星环科技基础架构部副总经理刘熙给出了更具体的诠释。与传统的数据库不同向量数据库处理的是非结构化数据如图片、视频、长文本和音频等。这些数据的意义不在于其物理表示并不仅仅是一堆字节真正有意义的地方在于隐藏的语义。
而向量数据库在其中发挥的作用是通过AI技术例如典型的神经网络来识别、提取和编码非结构化数据背后的语义特征。最终将这种数据的语义映射或嵌入到高维的向量空间中。
这样做的好处是将数据库无法直接处理的语义问题转化为向量空间中的一个搜索问题。简而言之利用AI技术将数据库无法直接处理的数据背后的语义转化为一个结构化的过程。
放在更具体的场景里比如大语言模型要如何与向量数据库建立连接
对此百度智能云大数据技术负责人李莅之前曾表示从多个方面来看向量数据库都是大模型的必要设施。首先大模型自身能够存储的数据是有限的而大量的知识数据需要被存储起来以供大模型在问答时使用。
所以向量数据库在其中的作用是它可以让大模型回答出更实时的内容。倘若让大模型根据最新的消息做回答这时候就需要通过一些外置的数据库将这些外置数据库中存储的数据直接输给它这样大模型就可以结合这些数据去做更准确的回答。
而在大模型与向量数据库结合的应用方面星环科技提供了一个真实案例。在其开发的金融大模型中向量数据库就派上了用场。
刘熙告诉产业家在金融大模型的开发场景中从财经新闻中通过实体识别算法可以提取企业法人等信息。这些信息并不仅仅是向量它们更像是一些属性标签。类似地在以前的电商场景中对于商品图片除了特征向量外还可能提取价格、颜色等结构化标签。
所以关于单独设计向量数据库产品还是将向量化搜索能力嵌入到传统数据库中这是一个”单打独斗“和”团队协作“的话题。
在刘熙看来基于传统关系型数据库封装向量计算功能和专业的向量数据库是两条的技术路线。“如果只是小数据量、访问并发延迟这类要求也不⾼的情况下从原有数据库⾥封装向量计算的方法可能是可行的但如果数据规模、访问并发等指标达到一定级别出于性能、扩展性、资源弹性方面的原因这时则需要专业的向量数据库。”
同样地罗云也认为这两者并不互斥。但至于单独设计向量数据库产品也是一种必然。
具体来看向量在未来是一种通用人工智能背后的数据格式。也就是说向量需要桥接关键数据库、非关键数据库等所有结构的数据。但将不同结构的数据放在一个数据管理平台上最后的结果是不同数据格式的差异会导致没有办法更好地利用非结构化数据。
因此在这种模式下将向量化搜索能力插件到传统数据库中是很难的。比如在一个分布式数据库里去支持向量化插件让它来处理腾讯云存储的数据那么它最后也会变成一个独立的向量数据库。
但如果数据库的场景只是在MYSQL里检索部分的向量那么将向量化搜索能力嵌入传统数据库这样的解决方案也成立。 对此李莅的看法是大模型的核心需求就是向量检索的能力。按逻辑来讲传统数据库加上向量引擎这样的解决方案能够行得通。
但问题也在于业务规模发展壮大后这时就单独的向量数据库产品来支持上亿用户访问量的大模型应用。其中这里面还要各种架构考量比如存算分离等技术来保证大模型的规模化扩展。
因此综合来看得出的结论则是短时期内在大语言模型还未规模化使用时“团队协作”的方案还能够解决一些问题。
但站在更长远的角度向量数据库这条赛道一定会在数据库领域中占有一席之地。
二、向量数据库的前世今生
从2017年到2019年于向量数据库的发展而言是一段更为重要的时间。
如果说2023年大模型的爆火让向量数据库进入到发展期那么20172019年就是它的萌芽期。
根据产业家了解腾讯云、星环科技、百度智能云、京东科技等也恰都是在这个时间段将向量数据库的相关组件应用到具体的业务之上。
这些都是目前市面上已发布向量数据库产品的厂商。
实际上20172019年这段时间所对应的背景也正是非结构化数据需求的激增。
一个具有代表性的事件是2017年短视频的爆火催生了新媒体行业各种结构数据也随之出现。这一现象就导致了不同结构数据的处理需求。
除此之外京东、腾讯和百度的内部产品也有更多类似的需求。而向量化引擎也正是从这一时间点开始萌芽。
2018年星环科技内部的AI团队有了向量数据库这一需求。
然而当时向量数据库的赛道还是一片沉寂对于是否要专门研发处理向量数据的数据库星环科技内部也在谨慎考虑。
当时的场景是星环科技AI团队提出向量数据管理对于其AI业务非常重要。虽然当时有Faiss向量库来处理这类数据但由于当时Faiss的版本还处于比较早期的阶段AI团队需要自己编写代码来管理这些向量数据基本上每个项目都需要重复进行这样的工作非常费时费力而且可能无法保证高可用性和安全性。
因此向量数据库的需求也早在当时就诞生了。和现在不同的是当时并看不到太大的市场尽管在星环科技的眼中这项技术有十足的潜力。
于是他们内部做出了一个决定。“即使向量数据库可能不能立即商业化但我们仍然认为有必要为将来做这样的技术储备。”刘熙回忆道。
那时星环还专注于开发多模型统一处理技术逐步将一些数据库的通用功能如分布式存储、分布式计算、安全性和资源管理等功能从紧耦合的架构转化为松耦合的架构目标是通过统一的架构来更好地支持各种数据库例如图数据库和时序数据库。
同时内部团队不需要太多考虑面向客户的问题需求相对明确因此星环科技很快就完成了从0到1的第一个版本并交付给AI团队。之后随着AI团队的深入使用星环科技向量数据库开始持续迭代最终成为一个成熟产品走向市场。 类似的故事也发生在京东、腾讯云和百度智能云的内部。
京东的故事则发生于2017年。当时团队内部正在着手处理一些以图搜图的应用场景。为了解决京东的搜图场景团队构建了一个十亿规模的向量数据库主要的场景是针对京东每天上架大量商品时需要即时展示商品图片。而实时性成为了当时的重要问题。
而这正是京东向量数据库vearch的诞生背景。
而相比之下百度智能云的故事就显得不太一样。
2019年百度智能云也将注意力转移到了向量检索技术的身上。他们计划在Elastic Search公有云场景上去做一些向量的能力。
Elastic SearchES属于NoSQL数据库的一种。如果再细分它是文档型或搜索型数据库。由于有各种搜索场景的需求所以它会存向量的数据。而既然存了向量的数据ES又是一个搜索型的数据库自然也要搜索向量的数据。这也是百度智能云在此基础上加向量检索能力的背景。
具体来讲百度智能云在ES上做了两点改造一是支持向量数据列式存储格式二是基于社区开源的向量相似度引擎做了一些搜索加速的改进。
四年后的今天向量数据库终于迎来自己了的光辉时刻。而在各种欢呼声和质疑声下向量数据库也在逐渐完成蜕变。
三、向量数据库展望AGI时代
从某种程度上而言无论是向量数据库还是大模型归根结底大家在追捧它时的心态焦虑大于需求。而这种焦虑则来源于“害怕被落下”。
大模型、多模态、OpenAI的新应用等等新技术、新应用的出现正在迅速刷新着人们对AGI时代的期待仿佛它下一刻就会到来。
而向量数据库的热潮在一定程度上“外化”了人们的焦虑。但这并不能否定向量数据库的实际价值甚至更长远的价值。 虽然目前向量数据库仍处于发展初期但可以确定的是向量数据库与大模型一定是捆绑关系。因此未来其演进方向也一定随着大模型能力的演进而发生变化。
在罗云看来“未来向量数据库解决的是整个智能世界的智能存储和管理问题。”
而在具体的演进方向上向量数据库一定会考虑多模态数据的表达以及数据的智能化管理。
首先在大模型应用百花齐放的背景下向量数据库对于多模态数据的处理意义变得十分重要。
一个生活化的例子是吃饭、看电影、听音乐等等娱乐事项这些记录了你的一天。接下来你想通过自然语言将其全部调取出来。
那么如果没有一个单独的向量数据库参与以及没有合理的多模态数据处理方式这种情况下是无法查询出这些数据的。而所谓的多模态也正是除了文字以外的照片、视频、音频等数据。
但随着多模态数据规模上的提升另一个问题也随之出现。不同数据库中数据如何将其统一管理并让数据流通起来这其中涉及到的智能化管理也是向量数据库未来的发力点。
因此未来的向量数据库需要承载的是智能化数据平台。
另外在星环科技向量数据库产品Hippo过去的研发过程中刘熙对于扩展性、成本、易用性和路径优化方面都提出了挑战。
首先在扩展性和成本方面大模型的普及让向量数据的规模不断增大。对于向量数据的存储和索引也提高了对硬件资源的要求成本也自然随之提升。
而在易用性方面则涉及到了多种参数的挑战。与传统的关系型数据库不同向量搜索涉及到更多维度的考量包括性能和召回率等。而为了平衡性能和召回率需要调整各种参数但这对用户来说并不友好。因此简化参数选择提高用户体验是更加重要的挑战。
最后则是混合搜索中的路径优化问题。与传统的优化器相比向量搜索的优化器更加复杂因为它需要考虑多维度的因素。如何设计一个能够描述向量搜索代价的模型以实现性能和召回率的平衡是一个需要解决的难题。
不可否认的是向量数据库的未来有星辰大海也有曲折的前路。
背靠大模型向量数据库在2023年成为了资本的“宠儿”。然而在未来的AGI时代向量数据库还有更多实事要干。
