北京网站建设最便宜的公司,网页免费版,html5网站开发公司,曲阳网站建设在哪原文#xff1a;Build a search engine, not a vector DB
作者#xff1a;
Panda Smith 在过去 12 个月中#xff0c;我们见证了向量数据库#xff08;Vector DB#xff09;创业公司的迅猛增长。我此刻并不打算深入探讨它们各自的设计取舍。相反#xff0c;我更想探讨和…原文Build a search engine, not a vector DB
作者
Panda Smith 在过去 12 个月中我们见证了向量数据库Vector DB创业公司的迅猛增长。我此刻并不打算深入探讨它们各自的设计取舍。相反我更想探讨和解释一些关于向量数据库的常见理解——它是什么、它的功能用途以及在解决问题时我们应如何恰当地利用向量数据库。
向量数据库不等于存储器
很多向量数据库的主要作用被描述为解决大语言模型 (LLM) 缺乏长期记忆的问题或者无法将一个问题的全部上下文放入提示语中。 Chroma raises $18M seed round
然而向量搜索实质上只是搜索的一种特殊形式。虽然让大语言模型 (LLM) 能够写入和检索数据库非常有用但最终这更像是提供给智能体一个搜索引擎的权限而非真正“增加了存储空间”。
假设你是一家企业想要建立一个由 LLM 驱动的文档查询体验。如果你将向量数据库仅看作是为语言模型提供更多存储空间那么你可能会把公司的所有产品文档都嵌入其中然后让用户向你的机器人提问。用户按下回车键时系统会对他们的查询进行向量搜索找到相关片段加载到上下文中然后让语言模型尝试回答问题。实际上这正是我在 Stripe 工作时开发他们的 AI 文档产品 时最初尝试的方法。
但我最终发现这种方法并不理想。关键在于尽管向量搜索在某些方面优于传统搜索但它并非万能。就像常规搜索一样你可能会在搜索结果中遇到不相关或遗漏的文档。语言模型就像人类一样只能利用它们所拥有的信息而这些不相关的文档很可能会导致误导。
如果你想打造一个优秀的基于文档的 RAG 工具你首先应该构建一个足够优秀的搜索引擎让人类也能轻松使用。这可能是你们组织之前已经考虑过的如果尚未实现那是因为打造一个高效的搜索引擎通常是一项颇具挑战的工作。
好消息
当你坐下来打算构建一个高效的搜索系统时你该如何下手呢在这个问题上大语言模型 (LLM) 可以成为你的救星。
虽然嵌入技术 (Embeddings) 并非灵丹妙药但它们的确令人惊叹。相比于关键词搜索高质量的嵌入式搜索能显著降低假阴性的比率。而将嵌入式搜索与关键词搜索结合使用其性能远胜于任何纯文本搜索。事实上谷歌多年来一直在这方面利用 [BERT](https://blog.google/products/search/search-language-understanding
-bert/?refblog.elicit.com) 技术。此外嵌入技术本身及其在大规模搜索中的应用工具已经得到了巨大的改进。市面上有许多经过实战检验的数据库能够结合关键词和向量搜索我强烈建议使用这些数据库之一例如在 Elicit 我们使用 Vespa而像 Chroma 这样的向量数据库现在通常也支持这一功能。
在将嵌入技术与传统方法结合以改善整体搜索之后你将迎来一些真正有趣的挑战。一个精于搜索技巧的用户知道如何构造查询以确保找到相关信息曾有一时期Google-fu高效使用谷歌的技巧被视为一种强大的技艺语言模型也能做到这一点。例如如果你的模型想寻找“疟疾疫苗最新动态”你可以让它构建一个包含日期过滤器的查询语句。这里充满了尚未开发的潜力而且在此基础上通过无穷无尽的微调可以实现令人惊叹的高质量搜索。就像在其他许多情况下一样虽然在大语言模型出现之前这些都是可能实现的但它们需要大量的专业技能和努力。现在你只需几小时的时间和一些计算资源就能实现有竞争力的性能。
在传统搜索流程中最后一个阶段通常是重新排序re-ranking。过去要实现重新排序我们需要基于用户在特定搜索结果页面的点击行为等信号训练一个相关性模型然后用这个模型对首要结果进行排序。对于没有专门团队来构建搜索引擎的人来说这是一个难以解决的问题。但现在借助于语言模型language models你可以向模型提供查询与结果之
间的细节信息从而获得一个相关性评分这种评分甚至能超越大多数专业定制的系统。
归根结底AI 的最新进展极大地简化了构建先进搜索引擎的过程比起以往所需的努力大幅减少。因此投入时间和精力来认真打造高效的搜索引擎所带来的回报是极其可观的。
如果你打算开发一个基于 RAG 的工具RAG-based tool那么首先需要着手构建搜索功能。
附言不太好的消息
你已经利用上述技术成功构建了一个优秀的搜索引擎接下来就是部署的时刻了。然而遗憾的是语言模型并不能帮你解决搜索引擎建设的另一大挑战评估问题。
具体来说这包括能够解答以下问题
“在何种情况下进行搜索是恰当的”“当你进行搜索时你真正想找到的内容是什么”“这些内容在搜索结果中的排名有多高”
要回答这些问题你需要构建一套评估和监控系统通过这套系统来对你的搜索流程进行迭代优化并判断所做的更改是否真正带来了提升。关于如何评估搜索引擎的更多内容我推荐阅读这一系列精彩的博文。
