购物网站模板带后台,谷歌商店paypal下载官网,为何有的网站打不开,服务器租用网站模版简介#xff1a; 搜索行为在后端都会有大量的数据计算和处理才会召回符合用户需求的搜索结果#xff0c;本次分享结合自建搜索业务中查询分析服务常见的问题及难点#xff0c;介绍阿里云开放搜索查询分析具备的能力及解决方案#xff0c;并深度解读阿里巴巴查询分析服务架构…简介 搜索行为在后端都会有大量的数据计算和处理才会召回符合用户需求的搜索结果本次分享结合自建搜索业务中查询分析服务常见的问题及难点介绍阿里云开放搜索查询分析具备的能力及解决方案并深度解读阿里巴巴查询分析服务架构和兼容Elasticsearch的架构是如何实现的
特邀嘉宾
项招贵项公--阿里巴巴高级技术专家
视频地址开放搜索_新版本_开源兼容版-阿里云
查询分析介绍
查询分析在搜索中的作用 在搜索请求的处理过程中可以在工程实现上分为两个阶段召回和排序。在召回阶段需要尽可能的把用户想要的文档在引擎中找到在排序阶段需要将最满足需求的文档排在最前面去返回给用户。 通过查询分析可以快速进行处理和分析比如往往在实际的生产环境中用户往往会有一些错误的输入需要进行query纠错。 其次我们需要对query分词并且识别其中不同词的重要程度这有助于我们在召回和排序中去使用。 同时由于实际的环境中存在一词多意所以要进行同义词的扩展。 其次需要对用户的query进行改写去帮助引擎更高效的去执行召回。在query处理的阶段会输出一些信息去以帮助我们在排序时候跟文档去算一些文档的相关性、类目相关性、以及通过一些将文本进行向量化去算它的语义相关性等。 查询分析链路
总的来说查询分析的作用就是对用户输入的query进行分析和改写去提升我们系统的召回的准确率和排序的相关性。 下面通过简单的例子介绍开放搜索的查询分析的功能。 自建搜索服务面临的问题
需要行业领域知识不断积累缺少大量行业样本数据自研难度大算法调优、工程开发、日常运维需要持续的人力投入
开放搜索查询分析特点
面向行业提供完整的查询分析解决方案
针对特定领域提供算法功能以及对某些特定的算法功能进行优化。例如电商行业开放搜索提供了实体识别。教育行业往往不仅是文本也有可能是副文本或图片所以对query进行了一个文本向量化的功能。有些功能在不同的行业里面我们也会针对性的去做优化像拼写纠错或同义词的挖掘等等。
查询分析每一个功能均可干预
干预是实时生效的 包含实体识别、拼写纠错、停用词、词权重同义词类目预测等。
轻量化的去定制服务
根据客户不同的业务场景去配置他的查询分析的能力开放搜索提供这些能力功能的全集用户可以根据实际需求选择其中一部分能力在实际生产环境中使用。 其次支持用户使用多种不同类型的查询分析或者说是不同的查询分析的配置。
免运维
免除用户日常的运维的持续的投入。 查询分析服务架构
算法服务中心
算法功能的发布迭代用户模型的增删改查算法模型的训练算法模型的回流
干预功能
用户干预数据的增删改查实时同步干预数据到查询分析服务中
查询分析和类目预测服务
加载词典、模型、数据、配置不同行业通过不同的服务链配置来实现加载用户干预数据
查询过程
根据用户配置的功能执行对应的查询分析链改写的query发给引擎执行查询DIIRuntime框架
支持多种不同类型的索引满足算法对各种不同类型数据的高效访问索引构建、分发、加载、查询统一降低开发和运维成本链式服务框架灵活组链支持不同场景的功能算法开发只需要关注算法功能本身逻辑的实现简单快捷Elasticsearch兼容架构
开放搜索Elasticsearch引擎查询分析功能
基本对齐开放搜索的查询分析能力具备行业分词能力
可干预支持扩展分词
具备行业查询分析能力
可配置可干预实现架构
1.创建实例
创建开放搜索实例关联Aliyun Elasticsearch的实例安装插件
2.配置查询分析
Mapping中设置使用响应的分析器插件功能
提供通用、行业的分词能力访问查询分析服务获取query改写结果改写Elasticsearch的查询query原文链接 本文为阿里云原创内容未经允许不得转载。
