.net网站开发步骤,珠宝网络营销方式,杭州建设网通知公告,vue做企业网站责编 | 晋兆雨来源 |智领云科技封图 | CSDN 下载自视觉中国随着网络世界的迅猛发展#xff0c;“游戏”进入了前所未有的蓬勃发展期。根据Newzoo数据显示#xff0c;2019年全球游戏市场规模约为1521亿美元#xff0c;2015-2019年复合增长率达到13.4%#xff0c;预计2020年全… 责编 | 晋兆雨来源 |智领云科技封图 | CSDN 下载自视觉中国 随着网络世界的迅猛发展“游戏”进入了前所未有的蓬勃发展期。根据Newzoo数据显示2019年全球游戏市场规模约为1521亿美元2015-2019年复合增长率达到13.4%预计2020年全球游戏市场规模将进一步增加到1960亿美元。与此同时游戏行业竞争日益激烈游戏的种类与内容也越来越丰富多样化要想在激烈的竞争中持续扩容并非易事。仅仅在“数据”层面上就面临着不少难题例如重复性工作与资源的浪费不同游戏开发团队对数据与系统的重复开发使得开发出一款新游戏时间周期过长数据孤岛造成业务沟通壁垒业务部门想要获取一份全局的信息基本要延迟至几天最终导致玩家快速变化的需求无法及时响应数据分析难以形成有效闭环无法利用数据作出有价值的分析结果与全面的反馈……遇到“数据”方面的难题尤其是面对“重复性工作”“资源浪费”“数据孤岛”等问题其实不难想到用“数据中台”来解决上述困境。毕竟马云当年就是受到了芬兰游戏公司Supercell的启示才将“中台”引入国内。“数据中台”的魅力之大不仅游戏公司很多传统企业、中小公司也对其跃跃欲试。但往往因一开始就对它没有全面的了解亦或是没有得到清晰的规划导致实际投入中遇到不少难题最终草草收场。其实不少人有这样的疑问为什么要建设数据中台数据中台如何建设数据中台能够为企业带来哪些价值从0开始落地有什么可参考的方法论有没有一线的真实案例为解决这些棘手的问题带领大家攻克数据中台建设中的种种难点智领云联合创始人CTO前EA艺电大数据平台高级工程经理宋文欣博士特别以著名游戏公司EA艺电为例详细的讲述了EA构建数据中台的实战过程从而一次性讲透数据中台在游戏行业的应用。EA经久不衰的秘诀众所周知EA是一家著名的游戏公司闻名遐迩的《FIFA》、《战地》、《麦登橄榄球》系列等千、百万级销量的游戏大作均出自EA之手。其游戏家族分为主机/PC平台游戏和移动游戏两部分主要的游戏大类是体育类游戏例如为EA贡献营收最多的《FIFA》系列美国最热门的体育游戏《麦登橄榄球》久负盛名的战斗射击类游戏《战地》系列以及拥有20年历史仍经久不衰的《模拟人生》系列在移动端的游戏就更多了比较知名的《植物大战僵尸》《宝石迷阵》系列都是玩家爱不释手的游戏。凭借数不胜数的游戏大作口耳相传的好口碑灵气十足的作品以及超强的游戏体验让不少玩家提到最强游戏公司的时候第一个就会想到它EA至今也仍然是最赚钱手握IP最多历史最悠久的游戏公司之一。那么在如此多种类的游戏中EA是如何做到照顾到每位玩家的体验又能够不断创新呢接下来就让我们一探究竟。图游戏家族宋文欣博士首先以一名典型的EA游戏玩家在EA系统中的历程阐述了EA是如何利用数据与玩家进行交互的。图游戏玩家经历在游戏推广阶段EA会通过Facebook广告或智能推荐推送电子邮件给之前玩过EA游戏的玩家以获取对该游戏感兴趣的游戏玩家当玩家进入游戏以后数据还有几种重要的体现一是游戏中能为公司带来很大利润的广告叫做In-game Banner被要求做到既能达到广告效果又不干扰游戏体验另外Personalized features 个性化配置能够根据玩家习惯、经历与水平动态调整难度与历程从而让玩家能够获得和自己相匹配的游戏难度和剧情设置最后则是Customer Experience客服体验通过历史用户行为分析进行更多为用户着想的设计以确保玩家获得最好的游戏体验。通过EA游戏玩家在游戏前、游戏中、离开游戏后的整个过程我们可以大致看到游戏玩家与EA数据部门的交互活动。了解完EA游戏玩家与数据部门的交互后我们再来看看EA庞大的游戏数据近百种游戏品类分布在各种平台之上仅EA的几款热门游戏的数据量就十分惊人《FIFA》在2019年各平台玩家达到4500万名玩家们每90分钟完成5万场比赛3百多万脚射门接近两百万个扑救99万个进球射击类游戏《战地 battlefied 1》2017年有超过2100万的游戏玩家每天大约产生1TB的数据《模拟人生》系列在全球有超过两千万的游戏玩家Sims系列游戏20年间在PC上一共卖出两亿份去年大火的《Apex英雄》2019年2月发布8小时后玩家数达到100万72小时内达到1000万同时在线玩家峰值突破200万最终全球玩家数约达7千万。面对如此庞大的数据量EA早期的数据分析状态是什么样的从图中可以看出EA早期的数据分析状态是一个典型的数据孤岛模式不同的游戏部门、不同平台的数据分析都有一套自己的数据流水线。因为几乎无法将这些跨游戏平台的数据、跨不同游戏的数据以及跨部门的数据整合在一起来分析使得EA的业务部门要获取一个全局的信息其延时基本达到一到三天造成的问题除了不能及时的反映该游戏的经营状况对客户提出的问题也不能及时的响应游戏玩家体验差加之游戏故障频发导致用户逐渐减少。此时当务之急是如何摆脱早期这种滞后的数字化状态。图EA早期数据分析的状态为应对以上困境EA数字平台初步形成集中的数据平台使得所有不同来源的数据汇总在以Hadoop为基础的数据平台之上并通过统一的Data Warehouse、统一的算法支撑不同分析、推荐、算法报表等数据延迟从原来的几天缩短至几小时响应时间大大缩短玩家体验自然随之上升。图EA数字平台初步形成EA“数据中台”建设的步骤接下来宋文欣博士重点讲述了EA“数据中台”建设的详细步骤。图EA“数据中台”建设宋文欣博士强调数据中台的建设并不是在一开始就要建一个大而全的系统它是一个逐步迭代的过程。第一步是快速迭代其动作非常简单无需做任何数据分析工作逐渐将数据从各游戏平台汇聚到大数据平台并提供基础的数据浏览、查看和下载功能第二步是工具的开发尽管数据能够下载但由于人工计算并不是很方便所以第一阶段开发了基于Hive平台的自助数据分析工具让业务部门能够通过一些简单的操作去做自助式的数据分析第二阶段是制作出ETL作业发布工具可以简单运营ETL作业客户也可以通过自助的分析工具提交作业当该平台慢慢形成规模后平台上可以开发一些针对不同游戏部门专有的系统比如专门针对FIFA提供了EA 50%营收的游戏部门的标签系统与反欺诈模型当该系统解决完FIFA的痛点其价值得以体现后可以将系统、前端界面等开放给其他游戏部门复用这就是数据中台建设的第三步——能力复用第四个阶段是形成闭环根据用户历史行为为游戏动态推荐游戏难度动态组成游戏战队。因为数据最终还是要回到游戏中除了提供一些预测和支持的分析以便更好的获客游戏还需要用数据做出更全面的反馈。基于此EA的大数据部门通过人工智能、机器学习的算法让数据形成有价值的分析结果最终回馈到业务当中去。以上便是EA数据中台建设的四个阶段。值得强调的是EA在数据中台建设的过程中始终秉持着四大原则。首先拥抱开源不重复造轮子几乎所有的科技公司都会使用这样的方式和规则组件有开源的系统尽量使用开源在开源的基础上可以进行一些改造而不会重复去做这也是硅谷的科技公司共同遵循的一个原则第二使用基于公有云的混合架构私有云主要服务于EA的游戏服务器因为这些服务的实时性要求很高EA希望能自己掌控这些资源而公有云主要服务于离线的数据分析因为这部分服务没有那么紧急并不会对业务造成巨大的影响所以EA使用的是基于公有云的混合云架构第三汇集所有数据到统一平台由于EA的很多游戏工作室是收购过来且分布在全球所以每个游戏部门都说自己有特殊的情况需要保留己有的一套数据平台可想而知想要把所有的游戏数据全部汇聚到统一的平台操作的难度很大。尽管如此汇集所有数据到统一平台仍然是必须要坚持的关键原则 第四重点投资人工智能、机器学习“皇冠”组件包括对于人才、技术的投资将游戏数据反馈到游戏当中从而提升游戏玩家的体验感。秉持着上述四大原则EA“数据中台”终于建设完成那么结果如何呢对此宋文欣博士表示通过EA“数据中台”的建设成功解决了EA游戏以下五大难题。 游戏设计及开发游戏更新及补丁、新功能新货品、新游戏的发布游戏在线服务游戏运营状况、玩家难度推荐、反欺诈游戏市场玩家获取、跨平台推荐、游戏广告游戏客服玩家热点投诉、个性化解答高层决策月报季报、营收预测、战略决策EA的数字化驱动架构 在讲解EA数字化驱动架构之前宋文欣博士强调了建立数据中台统一的数据标准和规范的重要性。据介绍EA在建设数据平台之前首先建立了统一的数据标准术语之所以要建立统一的数据标准是因为我们知道游戏工作室是产生数据的部门业务部门是分析数据的部门两个部门之间涉及几十个部门近千人统一的语言描述同一件事情十分重要。对此大数据的产品部门花费了一年的时间建设数据标准用一本很厚的字典来讲解相关术语即对于指标统一的解释。图统一的数据标准术语同步进行的是数据规范即对数据来源的规范。比如在Telemetry Event中的通用属性即所有平台所有游戏都需要上报的数据包括玩家的ID、平台型号、游戏名称、事件编号、事件发生时间、SDK版本等。特殊属性则是每个游戏所具有的特殊属性比如射击类游戏中使用的武器编号、FIFA足球游戏中玩家所选球员号码等另外SDK的版本迭代指标体系Taxonomy与Telemetry版本同步升级在实施流程中各游戏工作室在制定游戏开发和发布计划的时候必须与EA大数据部门确定Telemetry SDK的版本集成计划相符。 图统一的数据规范有了统一的数据规范之后我们就可以放心地建设EA数字化驱动架构了。EA数字化驱动的架构如下图所示是一个称之为Wholesale Engineering的架构。这个数字化驱动架构是针对EA所有的游戏工作室、部门来制定的一个设计准则。但在实际的建设过程中并不是一开始就去做这样一个通用的系统。虽然总体原则是要保证该系统最后是服务所有的游戏工作室和部门但是具体到每个组件和子系统的时候都采用的是由特殊到一般的建设过程。这个架构首先要提的是命名的规则基本采用的是以江河湖海这样比较容易记忆的单词来描述各个子系统因为在EA这样一个全球性的公司中需要有一些比较规范的词汇来描述组件我们用River来描述数据的采集Lightning表示快速的实时采集和处理主要采集手机、游戏客户端以及PC端的实时游戏数据。Tide组件表示批处理主要是处理游戏服务器的数据。 首先有一个基于Hadoop的分布式存储称作为Ocean的不断扩展的系统在分布式存储上面构建了一个叫做Shark的组件是整个ETL作业的组件有几千个作业在同时运行不断进行各种统计分析工作。在作业调度方面使用Oozie开源软件来进行作业调度并对Oozie上面做了数据血缘分析的改造也就是无论是一个作业或者数据表都可以在很短的时间从成千上万个作业中分析出这些表的上下游等信息。为什么要得到这样的信息因为在整个运维的工作中会出现大量的工作要去做有些作业要重新运行因为游戏服务器有时候会出现一些故障那么数据输送的不及时有时候就需要补发一些数据那么一旦数据发生补送以后就要重新运行一些作业因此要很快的去定位到底有哪些作业需要进行这样的操作。第二就是作业依赖的关系不理想通常一个作业完成以后要能够通过消息机制通知下一个作业马上进行但Oozie在这方面做得并不完美便需要定义复杂的数据依赖。因此在这个机制上面也做了一些改进对于ETL作业基本上都是用Java来写MapReduce作业还有Hive作业后来还加入了一些Spark作业这三种类型的作业比较多。 在数据处理的下面一层就是各种数据仓库、数据存储的子系统。从左往右Surf是数据科学家使用的人工智能机器学习模型库Black Pearl 实时数据仓库利用Couchbase基本上类似于像Redis那样的基于内存的存储架构它主要是存储像标签系统的结果以及一些缓存的数据Pond作为数据探索工具会不断从生产系统中拉取最新的生产数据其探索能力之强大不仅可以探索最近24小时、几天内的一些热数据还能够去加载一些冷数据。在Pond的整个建设过程当中我们还做了包括优先级的管理、邮件通知以及统计分析和计费的功能。实际上Pond也是一个用来考察各个业务部门对大数据平台使用频率、频次以及价值的衡量的工具因此管理层经常需要这样的数据。同时这也是对业务部门的一种压力有了这个统计就能够对每个部门的价值进行数据的分析和衡量最后是传统的数据仓Pearl在数据仓库背后运行着各种BI工具像Superset这样的可视化工具都运行在这个传统的数据仓库之后。 接下来是数据服务层就是把数据能力开放出来以服务的方式提供给各个游戏工作室、业务部门来使用。包括BI工具、异常检测、游戏分析、实时浏览、订阅服务以及访问接口。其中异常检测有两种一种是数据的异常检测另一种是运维的异常检测比如游戏服务器的网络状况这是游戏发布以及游戏运行期间非常重要的一个指标。EA之前经常会出现区域性的网络故障玩家对此抱怨颇多而异常检测可以极大地改善这种情况减轻运维部门的压力使他们能够及时获知有网络问题的区域并及时进行修复游戏分析则是比较常规的动作比如像DAU、游戏类购买情况等很多部门做成实时大屏放在业务部门来查看自己业务相关的数据而且还可以自己定义、探索相关数据能力较强的数据分析员也可以用编程式的方式来访问这些数据并接入自己的系统。虽然是把数据分析的数据化驱动架构统一到一个平台但我们还是给了各个游戏、业务部门一定的自由度就是他们可以通过接口服务把数据拉取到他们的系统中做一些定制化的工作。最下面一层是数据应用层典型的应用包括360度玩家分析、标签系统、推荐系统、游戏实验。首先是360度玩家分析在EA的平台上每个玩家都可以跨平台的玩各种游戏。在构建数据驱动架构之前很难去掌握每个玩家全面的动态有了数字化驱动架构以后就可以清晰分析出玩家的全貌动态比如说一个玩家在不同时间不同地点与谁玩了什么游戏可以形成比较全面的玩家分析更精准的去根据玩家的兴趣推荐新的游戏甚至为玩家的朋友们推荐他们感兴趣的游戏。标签系统它能够让游戏推广部门快速的从几百万、上千万玩家中去挑选出合适的玩家并向他们发送推广邮件比如说发送折扣信息引导他们去购买更多类似游戏等。在没有标签系统之前市场推广人员需要自己去运行查询还要把电子邮件全部下载下来放到系统中做分发一天可能只能做一次这样的推送。有了标签系统以后就可以在几秒钟之内从上千万的玩家中轻松筛选出符合某种条件的玩家然后在电子邮件的模板点击发送按钮就能轻松的将一次推广工作完成而且一天中可以做很多次。这个标签系统后来推广到EA的所有游戏大大提升了游戏推广部门的效率。推荐系统是在EA的闭环里面做的比较出色的一环。推荐系统可以针对游戏进行动态的难度调整以及动态的去匹配玩家的对手推荐系统是基于人工智能、机器学习以及大数据技术结合来开发的一个应用。整个推荐系统的流程则是游戏客户端向服务器发送一些数据然后游戏客户端与游戏服务器都会向推荐系统发送推荐请求。推荐系统如何去处理反馈这些请求呢首先会通过收集所有的历史游戏数据历史数据会进入到数据仓库中那么这个推荐系统会拿到历史的数据以及24小时之内最新鲜的游戏数据对这个推荐请求做出来判断。在推荐系统后台会有两块一块是模型及服务这些模型及服务是一些代码在里面做好的模型它会根据推荐系统给出来的参数然后提醒这个模型上面给出来一个推荐的结果反馈回来推荐系统把之前的推荐反馈给游戏服务器或者客户端。 还有一种服务是A/B测试这时它会发送到服务这块A/B测试服务中这里会根据设定的参数以及它的设定进行反馈大致这样一个流程。通过游戏推荐系统最终EA游戏广告点击率提升了80%玩家游戏参与度提升了10%其效果显而易见。最后一个典型的应用是游戏实验EA游戏算法专利有动态难度调整和优化的玩家匹配模型EA将这两个专利真正用到了游戏当中并产生了价值。首先游戏的客户端发送推荐请求针对该推荐请求收集玩家的历史数据考察最近24小时内玩家的行为然后再进行推荐其原则是预测玩家留存通过动态算法分析玩家行为为玩家推荐游戏的难度或匹配合适的对手。以上就是EA整个数字化驱动架构的一个全貌。从EA的数据中台建设中我们其实能够看到对于“数据中台”的建设其实就是从一个很小的一个系统开始反复迭代抓住业务当中的痛点并进行重点解决在解决的过程中帮助企业树立一套数据标准和规范更清晰的建设数据中台。重要的是在数据中台建设过程中一定要想办法让数据中台产生价值让客户觉得数据中台真正能将业务带来质的提升从而对其进行持续的投入与扩大并不断的将数据中台应用到业务的各个层面这是EA建设数据中台的过程当然也是我们在建设数据中台中应该遵循的。更多推荐阅读30 年开源老兵10 年躬耕 OpenStack开源 1000 万行核心代码开源项目如何挣钱 Spark 商业化公司创始人曝光心路历程云原生领域首本架构白皮书你Get到了吗腾讯或推动斗鱼虎牙合并印度禁止小米浏览器Electron 9.2.0 发布| 极客头条倒计时3天和V神一起点燃这个夏天
