帮忙做宴会的网站,手机销售网站怎么做的,优化工具箱下载,品牌包装建设网站最近在工作中大量使用到了淘系的在线分发服务体系#xff0c;可以快速高效的实现个性化内容分发#xff0c;其技术架构的概览在这里分享给大家。AIOS(Artificial Intelligence Online Serving)是阿里巴巴集个性化搜索、推荐、广告三位一体的在线服务平台。在大型互联网公司里… 最近在工作中大量使用到了淘系的在线分发服务体系可以快速高效的实现个性化内容分发其技术架构的概览在这里分享给大家。AI·OS(Artificial Intelligence Online Serving)是阿里巴巴集个性化搜索、推荐、广告三位一体的在线服务平台。在大型互联网公司里使用一套技术来支撑搜索、推荐乃至广告是比较少见的。之所以能成为统一的AI·OS体系是因为阿里巴巴把搜索、推荐、信息流、广告、深度学习这几项从技术到业务场景都不同的东西非常好地结合到了一起得以形成了有实质内涵能相互借助合体发力的基础引擎平台。阿里的平台技术战略本质上是两样东西一是电商技术(包括商品管理、类目管理、运营管理、交易链路)另一个是和电商配合的大数据 AI 技术的应用。在当今时代AI的投放、搜索推荐甚至广告的投放已经是独立于传统电商的技术场景。纵观整个业务场景可以做如下划分对于技术层面的划分由上至下分为三层分布式引擎系统需要具备的能力。无论是搜索、推荐、广告都需要召回、排序系统做大之后需要分布式通信高性能索引的存储要有比较高效率的支持索引灵活构建更新的能力以上是基础能力。深度学习时代沉淀出来的技术要求和场景要求。比如深度学习需要做样本处理做训练在线预测同时与之相应的是个性化投放这在搜索、推荐、广告都有所体现。最后索引的部分还应该支持实时更新整个体系内有资源管理高可用性相应的计算引擎的支撑运维的管控和插件的支持。AI·OS 工程体系技术在这个组件的最下层是资源的管理叫 Hippo是一个非常高效的资源管理系统。右侧是系统里的中间件是更为基础的组件跟实际的业务功能都直接相关。左侧的算法平台、离线平台、训练平台、计算平台是在深度学习时代新的开拓。星云是面向大规模商业化场景的一站式深度学习建模平台。借助星云用户可以快速完成从特征引入、样本特征变换到模型训练及评估再到模型交付整个算法建模闭环。在此基础上星云提供了完善的数据模型校验体系确保用户的离线建模和模型交付具备生产级别的可靠性。星云支持全量学习、增量学习和在线学习并通过高层抽 象实现了各种学习模式之间的低成本切换。XDL是以开源框架为基础面向广告、搜索、推荐等场景打造的分布式深度学习框架针对高维稀疏特征、互联网结构化数据和结构化模型进行了专门设计与优化。中间在线服务和业务密切相关。HA3 搜索引擎的服务是阿里云最经典的具有全文本检索能力的引擎。商业化引擎是与 HA3 相对应的支持广告业务、关键词匹配带广告或者支持定向场景投放的召回引擎。iGraph 图引擎是具备在线图计算和图检索能力在业界规模较大的图检索引擎它里面具备的用户个性化关系、知识图谱的在线推导能力都是很大规模的。这些引擎都是支持数据实时更新的这个能力的来源就是AI·OS Framework支持对数据的管理对更新的管理是对右侧整套技术的依赖也有延伸出来的深度学习的能力。预测引擎 RTP把 TensorFlow 的能力集成进来让深度大模型支持实时更新充分利用实时数据分布提升 CTR/CVR 预估精度获取业务效果。模型特征支持实时更新模型可以增量训练通过对 RTP 在线 graph 分解提取可更新模型 weights 成最大不连通可执行子图实时发送模型数据消息真正实现了模型离线流式训练在线实时更新的效果。TPP(The Personalization Platform阿里个性化平台)为集团众多的个性化业务提供开放、一致的解决方案让搜索、推荐技术轻松服务于业务发展业务也能快速得在平台找到需要的技术是 AI·OS(Online Serving)大数据深度学习在线服务体系中的入口之一。在线服务技术架构演进AI·OS 在线服务架构对逐步走向规模化的初创公司具备一定的参考意义。在 2013 年至 2015 年期间主要在搜索引擎上做性能优化在阿里体系内部做搜索引擎平台化。搜索搭建主要是运用比较经典的架构——Query 的处理搜索引擎摘要服务Query 的部分会有一些个性化存储当时是用简单的 KV 来完成。这个架构是很多初创型企业选用的架构也是云产品提供的一个经典解决方案。2015 年到 2018 年随着信息流业务的进入将搜索底层(Suez 或 AI·OS framework)数据抽象沉淀出来在沉淀的数据上面衍生了图引擎、预测引擎、搜索引擎、推荐引擎形成了今天 AI·OS 的主体框架。2018 年~2019 年推进了全图化的架构。在业务逻辑调整、场景迭代、功能调整如粗排、精排、统计、过滤这些功能都用图化的方式来表达在业务迭代效率上有了质的飞越。随着集团内部进一步贯彻中台战略不管是在软件的抽象还是在能力的衍生都需要在云上发挥。践行平台化、通用化的思路用最高效的方式解决问题并打造出了海神(一站式选品投放系统)、开放搜索(一站式内容智能搜索服务)等经典应用产品。AI·OS 云原生产品与实践依托于 AI·OS 体系构建的产品矩阵如下所示。开放搜索(OpenSearch)源于阿里巴巴 AI·OS 体系技术是免运维、一键式的云上平台将搜索平台服务化、产品化完全屏蔽了搜索系统的底层复杂度以标准化产品的方式支持业务。智能推荐(AIRec)提供一站式的个性化推荐服务服务使用者在提交内容和用户行为在确保数据保密的前提下按照不同行业的模板应用个性化推荐算法实时调整效果为用户提供服务。还有围绕开源生态的 Elasticsearch由阿里巴巴和 Elastic 公司合作推出。将 Elasticsearch 的灵活易用和阿里巴巴调度管控系统的稳定高效相结合并根据用户需求不断迭代自研的创新性功能.在后续文章我将通过展示这些系统的具体使用方法欢迎大家关注。[1]淘系千人千面分发体系全拆解 https://developer.aliyun.com/topic/download?spma2c6h.12873639.0.0.a7253263pFVo5cid8619SignaturenqC%2Fc8BvldkxgJ21cQBlOgQe7Kk%3D
