论坛网站地图怎么做,高中课程免费教学网站,wordpress 固定链接 not found,wap医院网站建设简介#xff1a;作为双11大促承载流量洪峰的利器#xff0c;Tair支撑了电商交易核心体验场景。不仅在数十亿QPS的峰值下保持着亚毫秒级别的顺滑延迟#xff0c;同时在电商交易核心体验场景上也做出了技术创新。 作者 | 漠冰 来源 | 阿里技术公众号
作为双11大促承载流量洪峰…简介作为双11大促承载流量洪峰的利器Tair支撑了电商交易核心体验场景。不仅在数十亿QPS的峰值下保持着亚毫秒级别的顺滑延迟同时在电商交易核心体验场景上也做出了技术创新。 作者 | 漠冰 来源 | 阿里技术公众号
作为双11大促承载流量洪峰的利器Tair支撑了电商交易核心体验场景。不仅在数十亿QPS的峰值下保持着亚毫秒级别的顺滑延迟同时在电商交易核心体验场景上也做出了技术创新。
一 前言
2021年双十一是天猫的第十三次双十一也是 Tair 的第十三次双十一。每个参与备战的 Tair 同学各有不同有的同学是第一次感受到了技术大团建的独特氛围有的同学稍多点集齐了七件战袍来召唤神龙。今年是我经历过的最紧张的一次备战过程跌宕起伏今年上线的新产品压测过程不太顺利同时也是经历过的最暖的一次在业务伙伴们鼎力支持下团队兄弟们并肩作战最终做到了“顺滑如丝安稳如磐”。
二 背景
Tair 从2009年4月诞生开始经历了多次迭代为丰富的业务场景支持了不同的引擎。其中 MDB / LDB 是发展时间最长的子产品也依然是今天双十一的绝对主力顺滑地承担了双十一流量洪峰压测阶段也表现良好。这背后是成熟的内核能力对场景的全面覆盖以及不断迭代的产品能力对维护效率的提升。当然拥有 10K 实例的数据库产品是离不开系统 Owner 们精进的专业能力、对产品运行的关注、对需求的快速响应。 除了产品自身的稳定Tair MDB / LDB 还是 Tair产品线其它所有产品发展的基石比如Tair MDB With PMem作为Tair 在持久内存上的第一个里程碑后面迭代出了2020年云栖大会发布的 Tair 持久内存型在今年双十一中基于持久内存架构的 TairSQL扩宽了内存数据库Tair支持的计算场景。Tair 持久内存型在今年双十一的不同场景中发挥了重要作用下面的章节详细介绍。 三 Tair 持久内存型
Tair 持久内存型是在阿里云官网公开售卖的提供大容量、兼容 Redis 的内存数据库产品同时也为阿里巴巴集团内核心应用提供服务。单实例成本对比 Redis 社区版最高可降低30%且数据持久化不依赖传统磁盘保证每个操作持久化的同时提供近乎 Redis 社区版的吞吐和延时极大提升业务数据可靠性。
Tair 持久内存型所用的存储介质英特尔® 傲腾™ 持久内存Optane PMem是兼具出色的内存与存储性能的解决方案将高性价比的大容量内存与对数据持久性的支持巧妙地结合在一起可以将更多数据保存在更靠近CPU的地方加速大内存计算加快数据库重启时间并减少I/O 降低大内存节点的功耗并在断电时保护数据。
英特尔®傲腾™持久内存弥补了传统SSD和DRAM之间的空白以创新的技术提供独特的操作模式满足针对各种工作负载的需求特别是从云到数据库再到内存分析虚拟化基础设施等数据密集型和计算密集型工作负载助力从更大的数据集中获取更深入的洞察。
2020年云栖大会发布之后通过服务越来越多云上和集团内的用户场景Tair 持久内存型收集的用户反馈对支持的场景范围、访问性能、性价比等方面都提出了更高的要求。基于这些需求Tair 持久内存型攻关了核心优化技术让数据在 DRAM 、持久内存之间动态自适应移动确保用户索引占用空间、数据区占用空间维持在固定比例范围内满足了不同用户场景下的数据存储需求。
同时Tair 持久内存型与 Aliyun Linux 操作系统内核技术深度结合兼容了主备复制、实时备份等场景对于数据快照的需求并大幅度降低了超大内存占用空间下实时快照的延时影响。除了覆盖更多支持场景和进行高频场景的性能优化在提供更高性价比方面Tair 持久内存型精简了自主研发的持久内存存储结构的元数据占用空间并针对 List、Hash 等用户高频使用的数据结构进行精细化的透明压缩在维持数据持久化性能稳定下实现1-2倍的数据压缩率大幅降低了数据持久化版本的硬件成本。
Tair 持久内存型除了在 Redis 通用场景上深耕细作持续优化也拓展对于成本数据一致性低延时和容量的综合要求很高的诸如了在广告领域和特征存储场景上也大放异彩。同时2021年双十一中在两个不同的用户场景做出了创新帮助应用在系统稳定性、性价比、体验等方面得到了显著提升。首先介绍在风控场景中起到了重要作用的 TairCPC数据模型。
1 TairCPC
在2020年双十一中首次登场的 TairCPC今年被吸纳进入Tair持久内存型产品在双十一的风控场景起到了重要作用。
TairCPC 提供的聚合算子 Sketches 化能力以 Module 的形式下沉到存储引擎内部可以利用很小的空间对采样数据做高性能的计算用户增量写入后直接返回实时计算结果。使用 TairCPC 的风控业务作为集团交易链路核心模块直接影响线上整个交易的安全性该产品最核心的实时计算链路进行实时风控的场景使用了 TairCPC。
今年双十一这个场景在 Tair 持久内存型的助力下节省了约1/3的存储空间加上持久内存的成本优势让用户成本大大降低。针对 TairCPCTair 持久内存型进行了大量的性能优化使得众多场景下性能与内存相当在慢查的性能上提升了一个数量级有效的提升了系统稳定性。在几乎不影响性能的情况下实现了数据的完全持久化RPO0。
2 TairSQL
2021双十一 Tair 在核心检验场景做出的技术创新来源于一款内部代号为 TairSQL 的子系统。双11高峰期用户下单自动领券以及交易成功后资产的核销都会为数据库系统带来相应的写入流量毫秒级别的写入延时必须维持在较低水平才能保证用户在商品搜索、详情展示等导购场景感受到到手价格的一致性变化。
价格一致性场景对于数据库产品的技术挑战简单来讲就是读写负载高延时要求苛刻。为了应对这个场景的技术挑战下面的章节简单介绍下 TairSQL 使用的内核技术。 TairSQL内核技术
针对双十一的业务特征TairSQL 做了持久内存数据存储改造、客户端连接开销降低、集群初始化加速、内存使用优化等和性价比、稳定性相关的工作但是服务于高吞吐低延迟的场景主要得益于持久内存存储、高效事务处理模型、轻量级用户接口访问等几个核心特性
持久内存数据存储使用持久内存作为数据最终存储介质降低了访问链路上的 IO 延迟无需再进行传统数据库产品耗时的缓存、磁盘上的数据频繁淘汰交换而且针对索引数据、用户区数据的访问频率进行了合理的数据分布让高频的索引查询更新在 DRAM 中完成。事务处理模型水平扩展的集群中每个节点服务数十个分区每个分区使用单独线程响应的事务处理模型避免了锁竞争的开销提供了更为平滑的 P99 访问延时。轻量级用户接口轻量级的用户接口访问技术降低了用户每次请求的SQL解析编译开销结合事务处理模型让用户的读写请求都能够在数百us内处理完成并返回。
合格的内核技术只是满足了产品的 physiological needs产品的 safety needs 需要提供相应的稳定性技术来满足。
TairSQL稳定性技术
稳定性技术涉及到产品的方方面面不仅包括开发中针对稳定性的特性还包括能够反映系统运行状态的周边组件。下面章节主要介绍监控、客户端、服务端流控三部分稳定性技术。
监控。众所周知监控就是系统的眼睛没有监控也不太容易看到产品运行的细节问题。TairSQL 目前主要有两套监控一套是用来监控集群可用性相关的指标另外一套是 GrafanaPrometheusTairSQL Exporter 的链路来提供秒级的 RT、QPS 数据展示。监控的完善程度直接决定是否能够发现系统上的一些细节性问题比如 TairSQL 的秒级监控可以明确展示每个数据节点的 QPS在热点访问没有触发流控就能被发现从最终数据访问源数据库的视角热点无处遁形。
客户端。TairSQL 使用富客户端的方式请求可以直接路由到需要访问到的节点上。客户端的资源消耗控制、和服务端的交互开销、建连断连在 10K 应用节点时对服务端的冲击、服务端拓扑变化时对客户端的及时反馈这些都是客户端 SDK 上所做的实现考量和优化点。同时客户端和集团内生态 VipServer、鹰眼等产品进行了适配屏蔽后端节点变化对应用的影响支持影子表链路的访问和全链路访问的定位。
服务端流控。流控/背压是一个成熟的服务端产品必备的功能TairSQL 目前线上的服务端流控统计部分根据工作队列占用的内存大小和长度两个纬度进行限制根据极限压测时的状态作为默认值的参考流控的触发阶段是相对宽松的只有异常情况才会触发。恢复阶段是较为严格的只有以较高的确信值认定节点已经恢复到正常情况之后才会解除流控状态。
四 兄弟系统 云原生内存数据库 Tair 所做的创新离不开阿里云完善的基础设施的支持
数据库管控平台 DBaaS快速实现阿里云数据库提供的安全审计、高可用、弹性伸缩、智能诊断等通用能力以及 Tair 提供的数据闪回、全球分布等企业级能力。针对Tair持久内存型DBaaS 结合阿里云容器服务 ACK支持了持久内存资源和计算资源的亲和性调度以降低持久内存访问延迟提供持久内存的 QoS 策略支持保障服务的安全可控和产品的一致性体验。神龙裸金属服务器提供的持久内存系列产品为云原生内存数据库Tair提供了弹性服务的基础针对突发流量进行针对性优化的网络技术让Tair应对高吞吐场景游刃有余对内存等硬件风险的智能预测让 Tair 可以提前预见大促高峰期的风险级别进行规避。Aliyun Linux不仅对持久内存硬件进行了适配还针对Tair独有的持久内存数据快照支持、实时快照延时降低等业务场景提供了针对性的优化。
五 总结
Tair 持久内存版在2021天猫全球购物节中的表现是云原生内存数据库 Tair在产品演进跟线上的重要里程碑。Tair 将持续以内存/持久内存 为核心存储重点建设云原生、混合存储介质上的数据智能分布、在线存储和实时计算处理一体化等核心能力加强云原生内存数据库的产品能力在同一套系统中提供多种工作负载帮助客户的众多场景真正在线化。
原文链接 本文为阿里云原创内容未经允许不得转载。
