东山网站建设,安徽省住建厅网站官网,如何建立自己的网站步骤,网站优化之站外优化技巧阿里妹导读#xff1a;信息流作为手淘的一大流量入口#xff0c;对手淘的浏览效率转化和流量分发起到至关重要的作用。在探索如何给用户推荐其喜欢的商品这条路上#xff0c;我们首次将端计算大规模应用在手淘客户端#xff0c;通过端侧丰富的用户特征数据和触发点#xf… 阿里妹导读信息流作为手淘的一大流量入口对手淘的浏览效率转化和流量分发起到至关重要的作用。在探索如何给用户推荐其喜欢的商品这条路上我们首次将端计算大规模应用在手淘客户端通过端侧丰富的用户特征数据和触发点利用机器学习和深度神经网络在端侧持续感知用户意图抓住用户转瞬即逝的兴趣点并给予用户及时的结果反馈。通过大半年的不断改进手淘信息流端上智能推荐在9月中旬全量并在双十一当天对信息流的点击量和GMV都带来了大幅的提升。下文将给大家分享我们在探索过程中发现的问题对其的思考和解决方案。 背景
现状与解决方案
手淘上以列表推荐形式为主的业务场景有不少以手淘信息流为例进入猜你喜欢场景的用户兴趣点常常是不明确的用户浏览时往往没有明确的商品需求而是在逛的过程中逐渐去发现想买的商品。而推荐系统在用户逛到买的过程中往往会下发并呈现不同类型商品让用户从中挑选推荐系统这个过程中会去捕捉用户的兴趣变化从而推荐出更符合用户兴趣的商品。然而推荐系统能不能做到用户兴趣变化时立刻给出响应呢推荐系统以往的做法都是通过客户端请求后触发云端商品排序然后将排序好的商品下发给用户端侧再依次做商品呈现。这样存在下面两个问题
云端推荐系统对终端用户推荐内容调整机会少往往都在分页请求时而简单请求并不能灵活做内容的增删改。云端推荐系统不能及时获取到用户当前时刻的偏好意图快速给出反馈。
我们总结发现目前推荐系统的弊端是用户偏好的变化与推荐系统对用户感知和对内容的调整时机并不能匹配会出现推荐的内容并非用户当前时刻想要的用户浏览和点击意愿都会下降。那么怎样能够让推荐系统及时感知到用户偏好并及时的给出用户想要的内容呢
我们先透过现象看本质以上问题的本质在于推荐系统和用户交互过程中的实时性差以及决策系统可调整性差。实时性差体现在两个方面推荐系统对终端用户的感知实时性差以及对用户的干预实时性差。而决策系统可调整性差体现在决策系统对用户内容的调整时机依赖端侧的固定规则请求可调整的内容局限于当前次下发的内容。如果我们能够解决实时性问题推荐系统能够实时感知用户偏好并在任何时机实时调整用户所见内容推荐的内容可以更符合用户当前的偏好如果我们能够解决决策系统可调整性差问题推荐系统可以决定合适的时机去调整用户内容可以决定用更优的方式去调整具体的内容。那么解决的方案是什么呢 我们在手淘信息流中引入机器学习和深度神经网络模型结合端侧用户特征在端侧持续感知用户意图实时决策并实时反馈结果给用户这样解决了实时性差以及决策系统可调整性差的问题。我们把这个解决方案称之为端智能。
端智能带来的改变
端智能的本质是“端”“智能”。首先“智能”不是一个新鲜的东西“智能”不管是在云端或终端解决的问题是通过机器学习数据的内在机制并推理出最终结论“端”解决的问题是将”智能“工程化并落地到具体的应用场景“端”有机的整合端侧数据以及云端下发内容决定何时触发“智能”做决策最终决定怎样给用户以反馈。
端智能带来的改变则是让端上具备了“独立思考”的能力这让部分决策和计算不再依赖于云端端侧可以更实时、更有策略的给出结果。说到实时性5G时代的到来其低时延特性极大的降低了端和云的交互时间但这并不影响我们利用端智能实现更低成本的决策和快速响应反而对于端智能来说好处是能和云端结合的更紧密。另外由于在端侧能够秒级感知用户意图做出决策产品和用户贴的更近了这催生了更多实时性的玩法产品将不再局限于要到固定的时机如分页请求让云端去给到新的内容反馈而是思考当用户表达出来特定的用户意图时产品应该如何提供与意图相匹配的内容。
端智能与传统差异比较
尽管端智能带来了很多好的改变但这里依然需要强调一点并不是说有了端智能就不再需要云智能怎样做到云端协同智能才是未来。
端智能的优势在于
端侧有着丰富的用户特征和触点有着更多的机会和条件去做决策实时性高在端侧处理可节省数据的网络传输时间节省的时间可用于更快的反馈结果节省资源在端侧处理利用端侧算力和存储空间可以节省大量的云端计算和存储资源隐私性好从产生数据到消费数据都在端侧完成避免传输到云端引起隐私泄露风险
端智能的不足在于
设备资源有限端侧的算力、电力、存储是有限的不能做大规模高强度的持续计算。算法规模小端侧算力小而且单用户的数据在算法上并不能做到最优用户数据有限端侧数据并不适合长期大量存储端侧可用数据有限
云智能的优势在于
大数据云端可以通过长期大量的来自不同人群的数据进行计算设备资源充足云计算的算力、电力、存储都可以根据需求进行配置算法规模大可以通过足够的大规模模型计算出最优解
云智能不足在于
响应速度慢受传输带宽影响不能稳定提供较高的响应速度用户感知弱端侧产生的数据同步到云端数据量限制和传输时间的约束都会削弱云端对用户的感知
从以上云智能和端智能的对比可以看出端智能适合于依赖端侧用户触点的小规模低时延的计算而云智能更适合中长期数据大规模计算。同时端智能往往需要云端提供的长期特征及内容而云智能也往往需要端上的特征和丰富的触发点两者优势互补才能发挥出更好的效果。
端智能基础设施建设
高楼起于平地打造端智能这幢摩天大楼需要很多基础设施剥除各种各样边角料和锦上添花的东西后我们认为构成支撑起端智能体系的骨架组成部分主要有数据、端计算、端计算引擎、端智能决策框架、算法研发平台。其中端侧数据 、端计算、端计算引擎这三块的作用是实时感知用户计算出贴合用户的结果端智能决策框架是触达用户的通道通过端上实时智能决策衔接用户意图和端计算最后通过一定的干预手段展现到用户眼前算法研发平台是开发过程主要接触的平台能有效提升研发效率。通过一个简单的示意图也许能更好的理解这五大块 数据-BehaviX
无论计算是发生在云端还是终端数据始终是执行所有计算的基本要素之一端计算的本质也是计算数据当然也是他的要素之一。在淘宝或者其他阿里系App里我们已经有很多数据沉淀这些数据包括但不限于商品、商品特征、用户特征等。这些数据同样可以作为端计算的输入来源但如果只有这些端计算和云计算相比在数据上似乎没有什么明显优势了所以我们需要回过头看下端计算作为端智能的重要部分他的在数据上的核心优势是什么端计算运行在端上天然能获取端上的数据而且是实时获取。我们希望这部分数据是和已有数据是互补的、对端计算是有价值的端计算的目的之一是千人千面端上丰富的用户特征能体现当前用户的实时意图。所以我们在构建了端侧用户特征数据中心BehaviX。
BehaviX作为整个端智能的数据基础提供给算法特征数据作为模型数据输入源支持了特征实时同步云端让云端能够秒级感知到端侧用户特征提供了算法基于端侧用户特征数据做意图分析的能力。
端智能决策框架-BehaviR
从用户角度来看用户感知到的不是一堆数据和计算而是能够被感知到的结果因此即使计算出来的结果无比贴合用户意图如果无法及时触达用户也是无用功。触达用户方式多种多样我们需要基于实际场景放开手大胆探索合理的产品设计会让用户觉得是在和一个“智能”的App交流反之不合理的产品设计会打扰用户、对用户造成困扰。从技术角度来说我们要设计和做的其实是一条触达通道通过感知用户触点我们能根据运营规则配置或者本地模型决策出此时要给用户什么类型的反馈然后通过下面要讲述的端计算能力计算出贴合用户的结果并展示给用户以此将端计算和用户连接在一起。
端智能决策框架能简化业务方接入端智能流程帮助业务方真正做到实时感知、及时干预。
端计算-EdgeRec
端计算简单理解起来可以认为是跑在端上的一段逻辑这段逻辑可以是一个预置的Native任务也可以是一个脚本当然在最终我们希望他是一个算法模型。算法模型是目前做到千人千面的有效手段之一其他优势不再累述了详见下面的友情链接。
回到这里的主角EdgeRec-边缘计算算法他在在端上实时建模了用户的异构特征序列为端上决策提供通用的用户状态表达。通过多任务学习共享通用的用户状态表达在端上建模多种决策模型。另外边缘计算算法SDK也提供端上深度学习算法开发的通用解决方案如端上深度学习模型库、端上模型拆分部署、端上模型版本控制、端上样本生成等。
端计算引擎-WalleMNN
端计算引擎是端智能体系中重要的一环是算法模型的基础环境。无论是iOS还是Android目前都提供了一套环境但两端差异性比较大限制也比较多。构建一套端计算引擎的成本是非常高的但长远来看统一两端引擎、抹平差异是有非常有必要的。Walle和MNN作为当前我们端计算引擎很好地做到了这一点。
Walle是端上整体的Runtime他为算法的Python脚本、深度模型以及Jarvis的EFC、ESC等特征样本计算库提供运行环境另外也为BehaviX管理的基础数据提供存储服务。
MNN 是一个轻量级的深度学习端侧推理引擎核心解决深度神经网络模型在端侧推理运行问题涵盖深度神经网络模型的优化、转换和推理其前身为 AliNN。
算法研发平台Jarvis
算法模型的研发并不是简单地在本地IDE写一份代码那么简单我们通常需要理论调研、算法开发、模型训练、参数调优、线上验证等等步骤本地环境是远远不够的所以算法研发平台的存在能帮助算法同学更高效、更专注地进行研发工作。另外端智能要出结果一定是多团队通力合作的结果多团队合作仅靠口头沟通是远远不够的我们需要一套合理的流程去简化和规范各项工作因此在算法研发平台的基础之上我们仍旧需要一个一站式平台。
Jarvis提供一站式的开发、调试、验证、AB测试、发布、监控平台与算法同学共建一起打造了端上的特征计算、样本计算等基础库。
整体流程图
我们构建了端智能的五个基础设施通过端上调度系统将整个端智能技术体系串联起来总体来说分为用户触达和用户感知部分。用户触达部分包括端上调度和端上决策端上调度提供和业务的直接对接端上决策由端上调度系统在合适的时候拉起本地算法计算用户感知部分则对用户特征进行标准化端上用户特征提供端侧计算的数据输入。 数据效果
从年初信息流端智能立项以来我们经过最开始的小流量实验效果逐渐优化大半年的不断探索试错信息流端智能于9月中旬在首页猜你喜欢场景全量。双十一当天也取得了不错的业务效果对商品推荐的准确度提升信息流GMV和点击量都大幅提升。其实这只是信息流在端智能的开始相信后面更深入的优化探索我们将会取到更好的效果。
总结
从我们以往的经验来看端侧做的更多的是将云端内容以具体的形式呈现给用户。当端侧也具备了感知用户意图并智能做出决策时端侧的能力就不再局限于“呈现”端侧也可以”思考“。业务可以利用端侧”思考“能力将以往在云端解决起来比较困难的问题放到端上去解决如云端决策实时性问题、大数据量上报云端分析的资源消耗问题可以结合端侧本身的特性如传感器、相机、UI呈现等去思考如何去整合用户特征、数据、端侧算法去大胆尝试找到新的突破口。
原文链接 本文为阿里云原创内容未经允许不得转载。
