深圳建设网站费用,影楼招聘,一流的常州网站优化,商丘网红宋飞一、大数据双流建设
1.1 数据双流
大数据时代#xff0c;越来越多的业务依赖实时数据用于决策#xff0c;比如促销调整#xff0c;点击率预估、广告分佣等。为了保障业务的顺利开展#xff0c;也为了保证整体大数据链路的高可用性#xff0c;越来越多的0级系统建设双流越来越多的业务依赖实时数据用于决策比如促销调整点击率预估、广告分佣等。为了保障业务的顺利开展也为了保证整体大数据链路的高可用性越来越多的0级系统建设双流以保证日常及大促期间数据流的稳定性。建设核心数据链路双机房双流双活。同时双流建设需要整条链路上的所有环节双机房部署占用了双倍的物理资源整个建设过程要协同上下游各环节数据生产方、数仓加工方、中间处理节点、业务消费方也会消耗大量的沟通建设成本。为了达到资源消耗和业务稳定性的平衡特制定双流建设标准和实施流程以引导业务方合理评估双流需求顺利开展双流建设实施。
1.2 数据双流的建设评估维度和标准
编号维度评估标准标准定义 备注1系统等级0级系统0级系统为公司最核心的业务服务系统一旦发生不可用会直接影响黄金交易流程或影响公司名誉、品牌、集团战略、营销计划等可能造成P0-P2级事故发生。0级系统的定义以零售子集团线上事故定级、定责及扣分标准中4.1-4.2定义为准。0级系统会在服务器资源和人力资源方面有倾斜但0级系统要确保高可用会与事故级别紧密关联。2任务等级L0实时任务服务线上0级系统的任务具体任务等级细侧参见实时数据平台作业分级管理规范协议等级设置参考说明。3物理资源业务方申请并且承担双流建设所需要的物理资源消耗物理资源成本合理。备流按照主流80%的承载量建设资源的80%业务方需要提供具体的物理资源信息a. 物理资源成本包括存储资源、计算资源、带宽、队列资源等。b. 涵盖上游生产系统存储、数仓加工方、中间处理节点、业务消费方等各个环节。c. 评估流量和交易两个方面4数据时效性大促0点或对应相应业务高峰点数据时效性要求20分钟 或平时数据时效性要求40分钟5数据峰值大促峰值预估交易、流量平时峰值预估交易、流量数据峰值作为主要的参考但是新系统在没有数据参考情况下会根据业务是否是集团战略这一条做适当调整。其它条件满足但是数据峰值很小的情况下一般不建议双流特殊情况另讨论。6生产源生产源必须是双机房部署7业务场景数据缺失会造成XX级事故业务方提供完整的业务场景和发生故障时的影响以帮助评估
二、大数据双流憋坝高保真压测
2.1 双流憋坝压测
从21年大促备战开始大数据侧核心数据链路从单模块单任务的压测转向全链路憋坝压测把泄洪闸口上移压测范围覆盖更广订单和交易同时泄洪高保真大促网络峰值资源竞争场景同时数据产品黄金眼、商智、作战指挥室大屏会在泄洪时同时进行读查询的压测模拟大促读写峰值并行的真实大促场景。
2.2 双流憋坝的压测目标制定
(1) 压测目标设定一般会参照历史峰值和市场预估给出核心交易、流量主题链路峰值预估例如22年双11的1.2倍。关键的数据流topic会给出预估消费峰值供下游参考如下表格所示数据涉及保密不做详细展示 2.3 双流憋坝的压测方案
1交易的憋坝方式通过停止同步任务憋单 交易双流架构图如下所示 2流量的憋坝方式流量无损憋坝压测是通过停止采集服务写JDQ写集群的方式憋流不参与压测的业务方可以切换到“JDQ4澜沧江_点击流新建流”压测期间新建JDQ写集群保证下游业务可以在憋流压测期间正常消费流量实时数据做到无损。 2.4 双流憋坝压测规范
1全链路压测的具体憋单、憋流开始时间以及泄洪时间每次压测前会提前2448小时发出通知邮件工作群通知发出后泄洪时间不再调整
2全链路压测会进行集团报备避开重要促销活动压测要避开存储hbase、jimdb、ES、JDQ、JRC 等自身的灾备演练以免无效压测
2.5 失真场景的高保真压测
平时订单中预售订单占比过低预售订单 平日峰值/大促峰值0.05%5.9%峰值也无法达到要求且不能指定场景例如付定金和付尾款场景。所以预售订单无法在双流憋坝压测中实现高保真所以做了大数据预售链路的整体改造联合在线军演压测业务生产系统的压测实现预售链路的高保真压测补充
落地方案军演负责提供预售订单数据和付定金付尾款场景大数据链路进行改造兼容压测进行数据压测且不污染线上数据
如下图所示 黄色部分为在线军演提供数据的对应存储——影子库表 。绿色部分为压测新增最上层为压测数据源JMQ/JDQ 下面是为了压测搭建的透传压测环境以及写影子存储。黄金眼预售通用源和商智预售交易通用源对应任务改成双进双出同时可以处理线上数据源和压测数据源线上数据写入线上输出topic和线上存储。 压测数据源的数据处理后输出压测数据的topic写入影子存储。这样线上拓扑不用随着每次压测改动同时下游业务方也可以灵活选择是否参与压测。 三、大数据憋坝压测期间业务方的迁移方案
3.1 双流憋坝压测对于业务方的影响
在大数据双流压测的憋流和憋单期间憋流和憋单对应的机房汇天/廊坊无实时数据下发泄洪后恢复。不参与压测的业务方需要做对应的切换。
3.2 不参与压测的业务方的迁移方案
1切换集群
A、交易不涉及交易从源头topic都是双流双活业务可以切换消费到不压测机房对应的topic即可
B、流量直接消费点击流吐出的topic需要切换到无损压测集群“JDQ4澜沧江_点击流新建流”。本次切换集群支持一键迁移不用重启任务要使用这次功能需要升级jdq-sdkjdq sdk版本是jdq4-clients1.3.0-SNAPSHOT flink1.10/1.12/1.14-1.0.9-SNAPSHOT。如果迁移过程中看不到集群“JDQ4澜沧江_点击流新建流”可以联系平运维同学支持
2切换topic鉴权
A、交易是双流廊坊和汇天都有对应的topic不参与压测的业务方可以申请消费非压测机房对应的topic即可
B、流量不是消费采集服务直接吐出的topic消费的是流量实时数仓及一下链路的topic也是双流双活切换消费到非压测机房对应的topic即可。 作者京东零售 荆明岚 来源京东云开发者社区
