没有网站如何做天天联盟,做自己的网站要花多少钱,卖设备用哪个网站,音乐网站模板下载简介#xff1a; 10万企业共同选择的数据库服务平台 阿里云数据库已连续多年稳定支撑天猫双11#xff0c;历经极端流量场景淬炼。除了保障稳定顺滑的基本盘#xff0c;今年大促期间数据库通过全面云原生化#xff0c;大幅提升用户体验#xff0c;让技术帮助业务产生更有价…简介 10万企业共同选择的数据库服务平台 阿里云数据库已连续多年稳定支撑天猫双11历经极端流量场景淬炼。除了保障稳定顺滑的基本盘今年大促期间数据库通过全面云原生化大幅提升用户体验让技术帮助业务产生更有价值的消费者体验持续通过技术创新赋能用户引领技术发展路径。 双11已圆满落幕但技术的探索仍未止步。 前言
阿里云一站式在线数据管理平台DMS从最早的服务于集团内部业务的各个工具型产品经历了阿里集团数据库各个时期的技术及架构演进、历年双十一的大促考验、云原生转型演进到今天以统一的云架构向阿里集团内部以及外部云客户提供一站式的数据管理服务产品不断的拓展边界提升技术深度将阿里集团超大规模数据的管理方法推向和服务于所有开发者。 关键组件
数据管理DMS: 作为数据库团队2009年上线给研发同学使用的一站式数据库开发平台为集团、蚂蚁以及公有云客户提供数据库实时访问、数据库研发规范落地、数据安全管理以及安全生产等能力。同时结合数据库备份DBS能力为用户提供一站式公共云混合云线下自建数据库备份除了稳定的备份恢复外在2019年发布了云原生CDMCloud Data Management)能力实现备份数据秒级恢复支撑了金融、教育、游戏等广泛的客户业务场景。
数据备份DBS是数据库团队2017年发布的数据库备份产品为用户提供一站式公共云混合云线下自建数据库稳定的备份服务同时在2019年release了阿里云第一款云原生CDM产品利用云的特性帮助客户数据秒级恢复秒级恢复产品已经支撑了教育游戏等重要客户场景。
数据传输DTS(Data Transmission Service简称DTS)从2011开始支撑阿里集团容灾到异地多活到阿里云官网上云于2015年4月命名为DTS完成产品化是全球第一个公有云数据传输产品融合了阿里集团的性能和业务特点与公有云的数据源多样性。集数据迁移、订阅及实时同步功能于一体能够解决公共云、混合云场景下远距离、秒级异步数据传输难题。其底层基础设施采用阿里双11异地多活架构为数千下游应用提供实时数据流已在线上稳定运行6年之久。DTS支持关系型数据库、NoSQL、大数据(OLAP)等数据源在传统商业数据库迁移尤其是Oracle、DB2 大机小机系列等商业数据库具备兼容评估转换和实时同步能力。
DMS 总述
DMS : 结合数据管理、数据备份、数据传输的技术沉淀统一打造为全新DMS产品为用户提供一站式的全域数据资产管理、数据库设计开发、数据集成与开发的全链路能力在2021双十一期间为集团用户提供全方位的数据资产管理服务。 业务挑战
部分业务由于历史数据堆积使得存储水位过高、表越来越大RT上升面对这类问题DMS提供了历史数据清理的功能能够让业务无感的进行历史数据的删除清理部分场景在清理完成后碎片率大增存储回收效果一般面对这种情况研发需要自行选择一个时间做优化表操作操作审批繁琐如何简化操作降低存储水位变成了一个业务侧迫切希望解决的问题。在数据库的变更中DDL的变更是风险较高的一个操作特别在分库分表的场景下如何控制DDL变更风险是业务同学对DMS提出的问题。数据订阅作为众多中台产品的上游提供了诸如应用缓存失效、广告推送、搜索推荐以及双十一独有的GMV大屏等业务场景的功能基础今年新引入的库仓一体化架构OLTP到OLAP能力为手淘交易订单搜索功能带来的能力提升和用户体验大幅优化手淘订单搜索用户订单搜索命中率低用户可能只记得商品名的模糊信息和商品店铺的信息老链路的订单搜索只能根据查询关键字在数据库进行like匹配如果输入的关键词不准确可能搜不到订单如果搜索词过短用户查找订单时间长用户为了增大命中率会输入较短的关键词这样查询的订单数量过多同时搜索的结果又没有分类用户要在搜索结果中找目标订单只能滑动下一页查寻时间长只能在双十一大促期间进行功能降级。2021年双11大促首次所有集团数据库100%上云海量实例同时部署在中心站集团作为VIP客户和公有云客户同region部署这样会使得备份存储的流量压力非常大如果没有相关的技术方案会导致集团上云和公有云客户相互影响而增量备份又是这里面的核心问题当备份存储流量压力非常大的时候增量数据堆积会导致客户日志磁盘空间打满导致实例RO以及无法恢复到任意时间点。
技术升级
无锁数据变更、无锁表优化
通常在历史数据删除场景下delete语句会携带时间等条件而时间条件并不一定存在索引会导致删除速度极慢且占用数据锁同时如果删除数据量较大会受binlog事务大小约束导致失败。
DMS通过将大事务转化为小事务的方式控制执行时间、控制事务影响行数通过优化后400GB的表删除一千万条数据约40g缓慢删除占用时长5个小时0条慢SQL。
通过无锁数据变更完成对超大表的历史数据清理之后再通过DMS的无锁变更技术重新对表数据做一次搬迁达到优化表空间的目的。
DDL灰度变更
业务同学在对数据表进行结构变更时通常DDL是一个整体事务一旦出现问题整张表不可访问。而在分库分表场景下在逻辑表维度上的业务被拆分为了多份如果仍然整体进行变更将不会发挥分库分表在变更上的优势。
利用这些分片来降低变更风险进行灰度是一个比较好的选择通过灰度策略控制定义分库分表的灰度策略为单表级别灰度、单库下灰度、单实例下灰度三种方式。有了灰度用户结构变更更加淡定。
高效数据备份
大促峰值日志备份PITR能力不降级DMS对集团XDB产生Binlog的数据进行了压缩裁剪同时结合集团XDB多副本节点的日志特性做到只备一份日志的能力。
流量分流DMS对XDB的日志进行实时备份在内部加了流量规则可以将部分XDB Cluster的实例备份到其他存储上达到分流的作用。
少流量产生DMS对XDB产生的binlog数据进行了压缩裁剪只备份了XDB leader上面的数据由于XDB leaderfollower上binlog完全一致所以在异常恢复流程只要找到对应的binlog断开的位置衔接上follower的日志即可。
流量隔离考虑到集团上云客户和公有云客户在备份流量和数量上的相互影响所以对集团上云全量/增量公有云其他客户全量/增量进行了bucket隔离同时对全量bucket进行了业务流量预测的限流保证了公有云客户集团上云客户增量有较大的上限不至于流量不够导致无法满足秒级RPO。
0点峰值表现第一次实现了双十一大促日志备份不中断保障了秒级RPO集团峰值流量日志写入备份存储流量和总流量达到了数百Gb/s保证了实时写入RPO。
库仓一体技术架构
之前是通过数据库T1到数据仓库再回流到数据库展示相应的计算结果链路较长维护使用成本高数据延迟大高峰期对源库影响大往年的大促过程淘宝的历史订单搜索功能是限流使用的。
今年通过DMSADB一键实现的库仓一体化架构实现了实时的数据获取、实时传输与加工、实时查询与展现实现了全实时支持多维数据分析场景的交易订单搜索能力0点峰值DMS写ADB在RPS百万级别的流量下全程毫秒级延迟ADB实时查询结果毫秒级返回。经过库仓一体技术架构升级后手淘订单搜索增加了“猜你想搜” 和 “类目搜索”的能力
猜你想搜根据搜索词推荐联想词和店铺名用户可以点击联想词和店铺名进行搜索增加用户搜索的命中率 类目搜索增加了按店铺名进行搜索的功能使得用户搜索得到的订单列表按类目进行分类用户订单根据tab页分类减少每个tab的下拉数量。
最终通过库仓一体架构解决了过去大促功能降级给用户带来的使用影响在本次双十一过程中的功能完全开放使用。 库存业务
基于阿里巴巴单元化架构的基础用户购买商品时下单流量会被分流到各单元。DMS数据实时同步能力保障了各单元间数据库中数据的实时一致同时DMS提供的数据实时订阅功能是库存应用基于数据库变化实时更新缓存服务的功能基础。这些能力保证了用户在客户端的下单流程中对于剩余库存所见即所得提升了整个购物体验。
DMS在库存业务百万级别RPS的流量压力下保证了全链路高效稳定。
交易GMV大屏
在交易业务上DMS为面向社会的GMV媒体大屏和面向内部高管的大屏提供最上层实时数据消费的能力。链路上的问题会直接影响到大屏上的数据准确性为了保障稳定性DMS在交易链路上采用了全链路主备服务的双活架构最终在交易峰值百万级别RPS的流量下保障了GMV全链路高可用。
DMS支撑大促小结
DMS在2021天猫双十一期间
用数据脱敏方式保护了近50万次敏感数据的动态实时访问和静态访问首次上线的精细封网管控使得安全生产效率提升50%有效拦截大查询千余次拦截DDL变更百余次。支撑了100%集团上云实例恢复秒级RPO的功能引入技术方案将流量带宽占用降低了50%首次支持使用非OSS存储分担大促峰值流量保证了峰值流量增量备份不降级全面保障了集团上云核心交易场景可以随时将数据恢复到任意时间点提升了整个双11的稳定性。全网同步链路上万条订阅任务几十万个大促0点流量峰值期间数分钟内累计从源库拉取PB级日志数据累计向目标库写入上千亿条事务期间全网任务无中断核心任务无延迟。
原文链接 本文为阿里云原创内容未经允许不得转载。
