上海网站建设求职简历,深圳小企业网站建设设计制作,裕顺网站建设,域名永久买入要多少钱python大数据分析游戏行业中的 Apache Kafka#xff1a;用例 架构#xff01;
这篇博文探讨了使用 Apache Kafka 的事件流如何提供可扩展、可靠且高效的基础设施#xff0c;让游戏玩家开心并让游戏公司取得成功。讨论了游戏行业中的各种用例和架构#xff0c;包括在线和移…python大数据分析游戏行业中的 Apache Kafka用例 架构
这篇博文探讨了使用 Apache Kafka 的事件流如何提供可扩展、可靠且高效的基础设施让游戏玩家开心并让游戏公司取得成功。讨论了游戏行业中的各种用例和架构包括在线和移动游戏、博彩、赌博和视频流。
学习关于
游戏遥测的实时分析和数据关联实时广告和应用内购买的货币化网络投注支付引擎检测财务欺诈和欺诈游戏和跨游戏中的聊天功能监控实时操作的结果例如周末活动或限时优惠对营销活动的元数据和聊天数据进行实时分析
博彩业的演变
游戏行业必须每天实时处理数十亿个事件并确保跨游戏交互和后端分析进行一致可靠的数据处理和关联。部署必须在全球范围内运行并为数百万用户一年 365 天 24/7 工作。
这些要求适用于硬核游戏和大片包括大型多人在线角色扮演游戏 (MMORPG)、第一人称射击游戏和多人在线战斗竞技场 (MOBA)以及中核和休闲游戏。与智能手机和游戏机等消费设备的可靠且可扩展的实时集成与与 Twitch 等在线流媒体服务和博彩提供商合作一样重要。 博彩业的商业模式
游戏不再只是游戏。尽管如此即使在游戏行业玩游戏的选择也是多种多样的从游戏机和 PC 到手机游戏、赌场游戏、在线游戏和各种其他选择。除了游戏之外人们还通过专业电子竞技、$$$ 锦标赛、实时视频流和实时投注进行参与。
这是一个疯狂的进化不是吗以下是当今与游戏行业相关的一些商业模式
硬件销售游戏销售免费游戏和游戏内购买例如皮肤或冠军赌博战利品箱游戏即服务订阅季节性游戏内购买例如主题活动的通行证、季中邀请赛和世界锦标赛、竞技比赛的通行证游戏基础设施即服务商品销售社区包括电子竞技转播、门票销售、特许经营费滚球投注视频流包括广告、奖励等。
游戏中人工智能的演变
人工智能业务规则、统计模型、机器学习、深度学习对于游戏中的许多用例至关重要。这些用例包括
游戏内 AI不可玩角色 (NPC)、环境、功能欺诈检测作弊、金融欺诈、虐待儿童游戏分析保留、游戏变化实时交付或通过下一个补丁/更新研究寻找新算法改进人工智能适应业务问题 在下文中我探索的许多用例都将 AI 与事件流和 Kafka 结合使用。
使用 Apache Kafka 进行事件流的混合游戏架构
对构建开放、灵活、可扩展的平台和实时处理的巨大需求是众多游戏相关项目使用 Apache Kafka 的原因。我不会在这里讨论 Kafka 并且假设您知道为什么 Kafka 成为事件流的事实上的标准。
更有趣的是我在野外看到的不同部署和架构。游戏行业的基础设施通常是全球性的——有时仅限云有时与本地本地安装混合。投注通常是区域性的主要是因为法律和合规性原因。 游戏通常是全球性的。如果一款游戏非常出色它就会在全球范围内部署和推广。 现在让我们来看看游戏行业中的几个不同用例和架构。这些示例中的大多数都与所有与游戏相关的用例相关包括游戏、移动、博彩、赌博和视频流。
基础设施运营实时监控和故障排除
监控实时操作的结果对于每个关键任务基础设施都是必不可少的。用例包括
游戏客户端、游戏服务器、游戏服务服务健康 24/7周末锦标赛、限时优惠和用户获取活动等特殊活动
立即和正确的故障排除需要实时监控。您需要能够回答诸如“谁制造了问题客户ISP游戏本身”之类的问题。 我们来看一个游戏行业的典型例子——一个新的营销活动
“周末免费玩”可扩展性——巨大的额外流量监控——营销活动是否成功游戏/业务的盈利能力如何实时例如警报批处理例如Snowflake 的成功分析和报告
必须集成、关联和监控大量不同的数据以保持基础架构运行并解决问题。
弹性是游戏行业成功的关键
基础设施监控的一个关键挑战是所需的弹性。您不能仅仅提供一些硬件、部署软件并一年 365 天 24 小时运行它。游戏基础设施需要弹性。无论您是关心在线游戏、投注还是视频流。
Epic Games 平台总监 Chris Dyl在 2018 年 AWS 峰会上 很好地指出了这一点“我们在高峰和低峰之间的工作负载差异几乎是十倍。弹性对于我们在任何特定地区的任何特定区域都非常重要。云提供商。”
Confluent 为任何 Kafka 部署提供了弹性无论事件流平台是在边缘自行管理还是在云中完全管理。查看“在 Confluent Cloud 中将 Apache Kafka 扩展到每秒 10 GB ”以了解如何在云中自动扩展 Kafka。 通过使用自平衡 Kafka、分层存储和用于 Kubernetes 的 Confluent Operator 等工具自我管理的 Kafka 变得具有弹性。
游戏遥测与 Kafka 的实时分析和数据关联
游戏遥测描述了玩家如何玩游戏。玩家信息包括用户操作按钮点击、射击、使用物品或游戏环境指标任务、升级等业务逻辑以及从特定服务器登录、IP 地址、位置等技术信息。
Global Gaming 需要世界各地的代理来保证数百万客户端的区域延迟。此外中央分析集群具有匿名数据关联来自全球的数据。以下是使用游戏遥测的一些用例
游戏监控玩家在游戏中的进展情况以及发生了什么问题直播操作——调整玩法 玩家在玩游戏时服务器端的变化例如限时活动给予奖励实时更新以改进游戏或满足观众需求或换句话说推荐物品/升级/皮肤/额外的游戏内购买
大多数用例需要实时处理大数据流 大鱼游戏
Big Fish Games 是利用 Apache Kafka 及其生态系统进行实时操作的一个很好的例子。他们开发休闲和中核游戏。150 个国家的智能手机和电脑上安装了 25 亿个游戏代表了 450 多个独特的手机游戏和 3,500 多个独特的 PC 游戏。
实时操作使用游戏遥测数据的实时分析。例如Big Fish Games 通过实时为游戏内购买提供特定于上下文的建议从而在玩家玩游戏时增加收入。Kafka Streams 用于大规模实时连续数据关联。 查看 Kafka 峰会演讲“ Big Fish Games 如何开发实时分析 ”中的详细信息。
货币化网络
货币化网络是大多数游戏公司的基本组成部分。用例包括
游戏内广告微交易和游戏内购买出售皮肤升级到一个新的水平......游戏基础设施即服务多平台和商店集成、匹配、广告、玩家身份和朋友、交叉游戏、大厅、排行榜、成就、游戏分析等。合作伙伴网络交叉销售游戏数据、游戏SDK、游戏分析等。
货币化网络如下所示 统一广告
Unity 就是一个很好的例子。2019 年内容安装量达到 330 亿次达到全球 30 亿台设备。公司提供实时3D开发平台。
Unity 运营着世界上最大的货币化网络之一
奖励观看广告的玩家加入横幅广告加入增强现实 (AR) 广告可玩广告交叉促销
Unity 是一家数据驱动型公司
平均每秒大约 50 万个事件处理数百万美元的货币交易基于 Confluent Platform、Confluent Cloud 和 Apache Kafka 的数据基础设施
单个数据管道为分析、研发、货币化、云服务等提供了基础架构以利用 Apache Kafka 进行实时和批处理
实时货币化网络实时提供机器学习模型数据湖从两天的延迟缩短到 15 分钟
如果您想了解他们将该平台从自我管理的 Kafka 迁移到完全管理的 Confluent Cloud 的成功故事请阅读 Unity 在 Confluent 博客上的帖子“ Unity 如何使用 Confluent 大规模实时事件流”。
游戏内和跨平台聊天功能
在当今世界构建聊天平台并非易事。聊天意味着发送文本、游戏内截图、游戏内物品和其他东西。必须实时处理数百万个事件。跨平台聊天平台需要支持各种技术、编程语言和通信范式例如实时、批处理、请求-响应 Kafka 的特性使其成为聊天平台的完美基础架构因为它具有高可扩展性、实时处理和真正解耦包括背压处理。
支付引擎
支付基础设施需要实时、可扩展、可靠且与技术无关。无论您的解决方案是为游戏、博彩、娱乐场、3D 游戏引擎、视频流还是任何其他第三方服务而构建。
游戏行业的大多数支付引擎都建立在 Apache Kafka 之上。其中许多公司提供有关其实时博彩基础设施的公开信息。这是架构的一个示例 一个示例用例是在现场投注中实施投注延迟和批准系统。需要有状态的流分析来提高利润 Kafka 原生技术如 Kafka Streams 或 ksqlDB可以直接实现这些场景。
William Hill安全可靠的实时微服务架构
William Hill 从单体架构转变为灵活、可扩展的微服务架构
Kafka 作为中央、可靠的流媒体基础设施Kafka 用于数据的消息传递、存储、缓存和处理独立解耦的微服务解耦和可重放性技术独立高吞吐量低延迟实时
William Hill 的交易平台利用 Kafka 作为所有事件和交易的核心
实时“流程到流程”执行与实时机器学习的分析模型集成各种数据源和数据接收器实时、批处理、请求-响应 博彩公司业务等同于银行业务包括传统中间件和大型机
不是每个人都可以从绿地开始。遗留中间件和大型机的集成、卸载和替换是一个常见的场景。
博彩通常是一个受监管的市场。PII 数据通常在区域数据中心内部处理。非 PII 数据可以卸载到云中进行分析。
大型机等传统技术是一个关键的成本因素单一且不灵活。
用于保留、合规性和客户体验的流分析
数据质量对于法律合规性和负责任的游戏合规性至关重要。客户保留对于保持参与度和收入增长至关重要。
这种环境中存在大量实时流分析用例。Kafka 原生框架如 Kafka Streams 或 ksqlDB可以为可靠且可扩展的解决方案提供基础的一些示例是
球员连续输/输球员转化——从注册到工资在 x 分钟内玩家的游戏成就欺诈检测——例如支付窗口每个玩家数天/数月的长时间运行窗口锦标赛用额外的免费积分奖励不满意的玩家向监管机构报告——以有保证的顺序重播旧事件地理定位以启用功能、限制或佣金
流处理也与许多其他用例相关包括欺诈检测您将在下一节中看到。
Kafka 游戏中的欺诈检测
用于检测异常的实时分析是任何支付基础设施中的普遍场景。在游戏中存在两种不同类型的欺诈
作弊假账户、机器人等。金融欺诈比赛造假、信用卡被盗等。
以下是使用 Kafka、其生态系统和机器学习对欺诈检测进行流式分析的示例 下面是一个使用 Jupyter notebooks 和 Python 检测金融欺诈和作弊的示例以分析使用 ksqlDB 预处理的数据 客户 360推荐、忠诚度系统、社会融合
Customer 360 对于实时和特定于上下文的获取、参与和保留至关重要。用例包括
实时事件流 游戏事件触发个性化的统计数据和赔率玩家细分战役编排“玩家旅程”忠诚度系统 奖励例如升级、独家游戏内容、公告事件的测试密钥避免客户流失交叉销售社交网络整合 Twitter、Facebook 和其他社交媒体网站 示例Candy Crush我猜每个 Facebook 用户都看过这款游戏的广告合作伙伴整合 API 管理
以下架构描述了客户 360 解决方案的各种内部和外部组件之间的关系 Sky Betting 和 Gaming 的 Customer 360
Sky Betting and Gaming使用 Kafka 的生态系统为客户 360 用例构建了实时流媒体架构 。
在讨论他们为什么选择 Kafka 原生框架如 Kafka Streams而不是 Hadoop、Spark、Storm 等技术动物园时Kaerast 表示 “我们的大部分流数据都是 Kafka 集群上的主题形式。这意味着我们可以使用围绕 Kafka 设计的工具而不是带有 Kafka 插件/连接器的通用流解决方案。 “Kafka 本身是一个快速移动的目标客户端库不断更新等待这些新库包含在 Hadoop 的企业发行版或任何现成的工具中并不是一个真正的选择。最后我们第一个中的数据用例是用户生成的需要尽快呈现给用户。” Disney Hotstar面向印度数百万板球迷的 Telco-OTT
在印度人们喜欢板球。数以百万计的用户在他们的智能手机上观看直播。但他们不只是在看。相反赌博也是故事的一部分。 例如您可以押注下一场比赛的结果。人们相互竞争可以获得奖励。
这种基础设施必须以极大的规模运行。每秒必须处理数百万个动作。Disney Hotstar 选择 Kafka 作为这个基础设施的核心也就不足为奇了 IoT 集成通常也是此类客户 360 度实施的一部分。用例包括
现场电子竞技赛事、电视、视频流和新闻台粉丝参与观众交流Alexa、Google Home 或运动专用硬件的娱乐功能
跨公司 Kafka 集成
最后但并非最不重要的一点让我们谈谈我在许多行业中看到的一个趋势跨部门和公司的流式复制。
游戏行业的大多数公司都将事件流与 Kafka 一起用作其业务的核心。但是与外部世界即其他部门、合作伙伴、第三方服务的连接通常是通过 HTTP/REST API 完成的。一个不可扩展的完全反模式 为什么不直接流式传输数据 我看到越来越多的公司转向这种方法。
API 管理本身就是一个详细的讨论。因此我有一篇关于Kafka 和 API Management 之间关系的专门博客文章 。
幻灯片和视频游戏行业中的 Kafka
以下是更详细地讨论游戏行业中 Apache Kafka 的幻灯片和点播视频
