常州网站建设外包,WordPress cos媒体库,惠州网站建设兼职,兴国县城乡规划建设局网站当前#xff0c;业界主流的混沌工程项目基本只关注如何制造故障的问题#xff0c;而经常做演练相关工作的工程师应该明白#xff0c;每次演练时还会遇到以下痛点#xff1a; 检测当前环境是否符合演练预设条件#xff08;演练准入#xff09;#xff1b; 业务流量是否满…当前业界主流的混沌工程项目基本只关注如何制造故障的问题而经常做演练相关工作的工程师应该明白每次演练时还会遇到以下痛点 检测当前环境是否符合演练预设条件演练准入 业务流量是否满足流量注入 注入后判断故障效果是否符合预期故障度量 是否在预设时间内恢复了业务服务恢复度量 复盘分析总结风险点。 这也是蚂蚁集团内部混沌工程平台 XMonkey 在多年复杂故障演练场景中时常遇到的问题。 作为蚂蚁集团研发、测试、质量、SRE 等人员进行历史故障演练和挖掘系统潜在风险的重要平台XMonkey 在公司级大规模红蓝攻防演练实践中沉淀了丰富且专业的方法论在业界有极高的分享价值。基于经验共享与探讨的角度XMonkey 的对外开源版本 ChaosMeta 在近日宣布正式开源。同时ChaosMeta 也成为了 OceanBase 生态伙伴的新成员。 ChaosMeta 能做什么 混沌工程生命周期 ChaosMeta 是一款面向云原生、自动化演练而设计的混沌工程平台基于业界现状和攻防演练的常见痛点结合蚂蚁集团在混沌工程领域的多年经验提出了混沌工程生命周期模型见图1。该模型覆盖了“准入检测”“流量注入”“故障注入”“故障度量”“恢复度量”“注入恢复”等各个阶段的技术支撑为自动化混沌工程提供技术依据。 图1 混沌工程生命周期模型 也就是说ChaosMeta 提供了完整的混沌工程生命周期的一站式演练综合解决方案助力用户快速挖掘业务应用和系统的潜在风险。除此之外ChaosMeta 还内置了蚂蚁集团在技术风险领域多年沉淀的“风险目录”这是一份对各技术领域的基础通用风险的汇总。 沉淀多年的“风险目录” 蚂蚁集团内部每年都会举行公司级大规模红蓝攻防演练活动面向公司全体业务并且也有不少业务进行 7X24 小时演练以及月度常态演练。 演练对象类型覆盖云产品、Kubernetes、Operator 应用、数据库 OceanBase、MySQL 等、中间件消息队列、分布式调度、配置中心等、业务应用交易系统、营销系统等等。 以 OceanBase 的攻防演练为例使用 ChaosMeta 对 OceanBase 集群的任意节点注入磁盘 I/O 夯的故障其底层原理是通过使用 cgroup 的 blkio 子系统对 OBServer 进程进行 I/O 限制考查 OceanBase 集群对磁盘 I/O 类故障的发现、定位、自愈的效率还会随机对 OceanBase 集群中任意节点的 clog、ilog、slog 等日志目录的磁盘填满考查能否快速定位哪个节点的哪个日志目录被填满并进行相应的应急处理。 对于每种类型的应用都能抽象出一些比较通用的公共风险 比如消息队列会有消息堆积、消息丢失、消息顺序混乱、依赖方网络不稳定等风险 比如交易系统会有分布式事务、金额一致性、并发冲突等风险 比如数据库会有磁盘 I/O 故障、磁盘填满、节点间网络故障等风险。 “风险目录”是蚂蚁集团在大型金融互联网架构环境下多年打磨、沉淀而来的一份“风险百科全书”其中开源界通用的风险将会内置到 ChaosMeta 中作为自动化混沌工程的理论依据。 丰富的云原生故障注入能力 大规模高频率的演练活动推动了各种各样的故障注入能力建设。除了业界常见的系统资源故障、内核故障、网络故障、JVM 注入等ChaosMeta 还提供了丰富的云原生故障注入能力。例如 给 Kubernetes 集群堆积大量 pending 状态的 pod拖垮调度系统 给某个资源对象的创建流程注入动态校验 Webhook延长校验时间影响创建效率 注入动态变更 Webhook 使特定字段变异 建立大量 WatchList 链接加重 APIServer 回调 Operator 的负担等。 以混沌工程生命周期的平台能力为技术支撑“风险目录”作为理论支撑使 ChaosMeta 得以朝着自动化混沌工程演进。 ChaosMeta 是如何实现的 ChaosMeta 的核心平台能力是基于 Operator 开发模式实现的因此其天然支持云原生。ChaosMeta 分为三层设计见图2 详见官方文档地址
https://chaosmeta.gitbook.io/chaosmeta-cn 图2 ChaosMeta 架构设计 最上层的用户层由 chaosmeta-platform 组件构成其主要任务是降低用户的使用门槛提供可视化界面方便用户使用计划、编排、实验配置、实验记录详情等平台功能。 中间的引擎层包含了 ChaosMeta 的远程注入、编排、度量等核心平台能力以及部分云原生故障能力的实现。 作为底层的内核层主要为单机故障注入能力的实现包含了 chaosmetad 组件提供了常驻 HTTP 服务的方式以及命令行执行的方式还封装了对应的 daemonset 组件chaosmeta-daemonset可灵活搭配不同需求的演练平台。 ChaosMeta 的后续规划 ChaosMeta 的规划分为平台能力和故障注入能力两个主体路线当前主要任务是把架构图中的主体能力都完成对外版改造并进行开放。 另外ChaosMeta 会继续加强与 OceanBase 社区的合作支持 OceanBase 的故障演练能力。 平台能力演进 ChaosMeta 平台能力的未来演进分为三大阶段。 第一阶段人工配置。此阶段的目标是将架构图中的组件都对外开放此时即可支撑完整的混沌工程生命周期进入初级自动化混沌工程领域以“风险目录”作为理论参考一次人工配置多次自动执行。 第二阶段自动化。此阶段下“风险目录”会发挥更大的价值它不仅能分析一类应用会有什么风险作出风险评估还会给出对应的预防以及应急建议。ChaosMeta 会将“风险目录”集成为通用组件的风险体检套餐实现一键“体检”能力用户输入目标应用信息后得到风险评分以及风险分析报告。 第三阶段智能化。探索结合人工智能的方向自动生成更多未知的风险场景。 故障注入能力演进 图3 仅为故障能力分类具体提供的原子故障能力详见官方文档欢迎提交 issue提出新能力需求需求较高的优先提供 图3 故障能力分类 与 OceanBase 社区的后续合作 ChaosMeta 的内部版本 XMonkey 近几年持续支持 OceanBase 的常态攻防演练达500次包含磁盘 I/O 故障、磁盘填满日志盘/数据盘、节点间网络异常等场景这些攻防演练经验将分享到 OceanBase 开源社区中。
