地方门户类网站,电子商务网站建设与规划视频,装修公司哪家口碑好,公众平台官网登录入口友情提示#xff1a;全文约2600字#xff0c;预计阅读时间12分钟摘要消息队列作为重要的中间件#xff0c;广泛用于分布式系统中各子系统间的异步解耦#xff1b;本文主要介绍了大云消息队列中间件BC-MQ在BC-DeepWatch中的应用案例。一、消息队列应用场景简介消息队列是分布… 友情提示全文约2600字预计阅读时间12分钟摘要消息队列作为重要的中间件广泛用于分布式系统中各子系统间的异步解耦本文主要介绍了大云消息队列中间件BC-MQ在BC-DeepWatch中的应用案例。一、消息队列应用场景简介消息队列是分布式系统中非常重要的一个组件我们可以把它看成是一个用于保存消息的容器发送方将消息发送至消息队列消费方按需消费消息。图1-1 消息模型示意图其主要的应用场景包括系统解耦业务流程的高耦合易产生子系统故障影响整个系统的问题通过引入消息队列作为消息的中转实现对业务系统的拆分提升系统可用性及可扩展能力异步通信多个子系统间同步处理易导致用户请求响应慢的问题引入消息队列作为子系统间异步通信的工具可实现削峰填谷抗住流量的高峰值数据同步消息队列可用于各个子系统间数据的同步如子系统A作为生产者将数据发送至消息队列子系统B作为消费者通过消费消息完成A到B的数据同步广播对于某些消息的一对多通知场景下可通过引入消息队列上游将每次需要广播的消息发送至消息队列下游子系统通过订阅的方式接收消息上游不再关心具体是谁订阅将会极大地减少开发和联调的工作量设备接入针对物联网等场景下多设备接入的问题可引入轻量级的MQTT消息队列实现海量设备的接入、连接管理和数据发布订阅并且可选多种传输质量规格解决了以下痛点场景· 设备连接数较大服务端需要从海量客户端(设备)中采集数据或者下发指令到众多设备· 客户端CPU、内存比较小或带宽较窄等· 要求消息能主动推送至客户端实时性较好。为了帮助大家更好地理解消息队列中间件在实际业务系统中的应用以下将对BC-MQ在BC-DeepWatch中应用案例进行介绍。二、BC-MQ在BC-DeepWatch大云运维管理平台中的应用1、BC-DeepWatch简介BC-DeepWatch是一款监控、性能、日志管理、资源管理、自动化运维、统一纳管为核心的多维度统一运维管理平台。涉足于多个领域为政务云、金融云、公有云、混合云等不同形态的云服务提供规模化、定制化的运维解决方案满足行业内多种云服务的运维场景需求作为运维管理平台为管理者随时掌控系统运行的全方位信息提供了有力支持。2、BC-MQ在BC-DeepWatch中的应用1.系统解耦系统中各模块间没有直接的调用关系那么新接入的模块对原本系统的影响将会较小以大云运维管理平台(BC-DeepWatch)为例由于承接了众多上云产品的监控告警、日志对接工作因此平台面临着大量新增模块的问题。图2-1 云监控产品对接示意图若各产品和平台间采用上图中直接调用的方法那么每当有新增产品就需要修改对应的调用接口带来重复工作量同时新模块的引入通常会降低系统的可用性。在BC-DeepWatch中引入消息队列BC-MQ接入云监控的各产品按照一定的上报格式将产品的配置数据、性能数据和告警数据推送至消息队列中BC-DeepWatch再从消息队列中消费具体数据进行下一步的处理。由于消息队列集群本身可以承接海量消息的积压所以平台可以按照一定的采集频率从消息队列中消费数据而与下游各产品无关从而实现了平台与各产品间的解耦同时也可以避免下游子系统故障对核心业务系统的影响提升了代码可维护性和扩展性。图2-2 BC-MQ在系统解耦中的应用由以上的例子我们可以看到引入消息队列具有如下优势· 平台可异步处理下游云服务上报的数据· 各个上云产品只负责将上报的数据写入消息队列无需关心运维平台如何获取及使用性能数据· 有新的上云产品接入监控服务时与现有产品无关即使某一产品出现问题或请求超时也不会影响到整个系统· 高并发时运维平台可根据自己能够处理的请求数从消息队列中拿取数据利用消息队列消息堆积能力起到削峰填谷、及时限流的作用2.数据同步运维平台中另一个应用到BC-MQ的场景为两个CMDB集群之间数据的同步一个集群作为消息的生产者将待同步的数据发送至BC-MQ另一个CMDB集群作为消费者从队列中消费数据并写入集群中从而实现数据的同步。图2-3 BC-MQ在数据同步中的应用三、引入消息队列可能带来的问题及BC-MQ的应对以上我们通过两个例子展示了消息队列中间件的引入带来了一系列优势那么有的同学不禁要问引入一个组件会带来哪些风险和问题呢以下我们将对消息队列的弊端和BC-MQ的应对进行说明1.系统的可用性降低新组件的引入必然会带来系统可用性的影响为了避免消息队列服务异常对整个系统带来影响BC-MQ集群采用了Master-Slave的部署方式及Dledger(多副本模式)保障整个集群的各个组件无单点故障以确保整个服务的可用性。2.数据一致性问题引入消息队列后本身由A到B的业务流程中间增加了消息队列如何保障分布式子系统间的一致性便成了问题。对此BC-MQ支持事务消息类型对于强一致性需求的业务系统可通过事务消息保障。3.系统复杂性提升有的同学可能会担心消息队列的引入可能会带来重复消费、消息顺序性等问题针对重复消费BC-MQ在消息消费完毕后会返回一个CONSUME_SUCCESS的确认消息给消息队列消息队列就知道该消息被消费了就会将该消息从消息队列中删除针对消息顺序性可通过BC-MQ中顺序消息类型保障。四、总结消息队列BC-MQ是云管中台-中间件组自研的一款基于分布式集群技术的中间件产品具有安全可靠、简单易用、高可用、低延迟等特点可用于大型分布式系统各子系统间的消息存储于收发目前提供RocketMQ和MQTT消息队列两款产品优势总结如下消息队列RocketMQ在开源RocketMQ基础上进行优化目前提供普通消息、事务消息、顺序消息等多种类型的消息服务可解决异步通知、削峰填谷等场景下的特性需求。高性能支持亿级消息堆积单节点吞吐量10Wtps满足用户消息收发的业务需求高可用集群采用Master-Slave的部署方式避免单点故障保障服务的高可用简单易用支持Java版本的SDK通过修改少量代码即可接入服务消息查询/轨迹查询可通过控制台查询消息/消息轨迹方便用户快速定位问题死信队列支持消息重试机制当达到最大重试后消息进入死信队列提供死信队列的查询、导出、重新发送等功能消息队列MQTT针对移动互联网、物联网等场景设计的轻量级消息中间件产品基于Pub/Sub(发布/订阅)消息模型支持一对多的消息收发方式可连接各类物联网设备传输消耗低高性能集群可支撑百万级设备的在线连接百万级消息并发可实现毫秒级消息推送功能全面支持离线消息/遗言消息/保留消息类型持久化/非持久化连接方式QoS0/1/2不同级别的传输质量安全可靠通过对连接设备及消息发布订阅进行鉴权保障用户数据安全消息队列是分布式系统中不可或缺的中间件产品除了对现有的RocketMQ和MQTT消息队列的持续优化团队也将在今年提供AMQP协议支持采用计算、存储分离架构兼容RabbitMQ客户端的同时解决开源RabbitMQ在吞吐性能、可用性方面的痛点希望大家持续关注最后也欢迎大家多多试用BC-MQ~ - END -往期精彩1.【干货分享】如何量化用户体验公有云产品用户体验度量体系搭建浅谈2.【干货分享】UEFI启动流程介绍
