建设银行客户投诉网站,wordpress皮肤设置,wap网页编写,给人做代工的网站RocketMQ是一个来自阿里巴巴的分布式消息中间件#xff0c;于2012年开源#xff0c;并在2017年正式成为Apache顶级项目。据了解#xff0c;包括阿里云上的消息产品以及收购的子公司在内#xff0c;阿里集团的消息产品全线都运行在RocketMQ上#xff0c;并且最近几年的双十… RocketMQ是一个来自阿里巴巴的分布式消息中间件于2012年开源并在2017年正式成为Apache顶级项目。据了解包括阿里云上的消息产品以及收购的子公司在内阿里集团的消息产品全线都运行在RocketMQ上并且最近几年的双十一大促中RocketMQ都有十分优秀的表现。Apache RocketMQ 4.3以后得版本正式支持事务消息为分布式事务实现提供便利性支持。
一、RocketMQ的基本概念 RocketMQ是一个分布式的消息中间件架构其主要角色的关系如下图所示 角色介绍如下
Producer消息的发送者Consumer消息接收者Broker暂存和传输消息RocketMQ中实现消息暂存和发送消息的主要单元NameServer管理Broker的模块Topic区分消息的种类一个发送者可以发送消息给一个或者多个Topic一个消息的接受者可以接收一个或者多个TopicMessage Queue相当与topic的分区用于并发发送和接收消息。
二、RocketMQ的消息类型
1、按照发送的特点分类
1同步发送
同步发送现成阻塞投递completes阻塞结束如果发送失败会在默认的超时时间3s内进行重试最多重试2次投递completes不代表投递成功要check SendResult.sendStatus来判断是否投递成功SendResult里面有发送状态的枚举SendStatus同步的消息投递有一个状态返回的值
public enum SendStatus {SEND_OK,FLUSH_DISK_TIMEOUT,FLUSH_SLAVE_TIMEOUT,SLAVE_NOT_AVAILABLE,
}retry的实现原理只有ack的SendStatusSEND_OK才会停止retry发送同步消息且Ack为SEND_OK只代表该消息成功的写入了MQ中并不代表该消息成功被Consumer消费了
2异步发送
异步调用的话当前线程一定要等待异步线程回调结束再关闭producer以为是异步的不会阻塞提前关闭producer会导致未回调连接就断开了。异步消息不回retry投递失败回调onException()方法只有同步消息才会retry异步发送一般用于链路耗时较长对RT响应时间较为敏感的业务场景例如用户视频上传后通知启动转码服务转码完成后通知推送转码结果等。
3单向发送
消息不可靠性能高只负责往服务器发送一条消息不会重试也不关心是否发送成功此方式发送消息的过程耗时非常短一般在微妙级
三种发送方式的主要区别
发送方式发送TPS发送结果反馈可靠性同步发送快有不丢失异步发送快有不丢失单向发送最快无可能丢失
2、按照使用功能特点分
1普通消息订阅 普通消息就是我们业务开发中用到的最多的消息类型生产者需要关注消息发送成功即可消费者消费到消息即可不需要保证消息的顺序所以消息可以大规模并发的发送和消费吞吐量很高适合大部分场景。
2顺序消息 顺序消息分为分区顺序消息和全局顺序消息全局顺序消息比较容易理解也就是哪条消息先进入哪条消息就会先被消费符合我们的FIFO很多时候全局顺序消息的实现代价太大所以就出现了分区顺序消息。分区顺序消息就是在一个Broker中有序其概念概念如下图所示 我们通过对消息的key进行hash想通hash的消息会被发送到同一个分区里面当然如果要做全局顺序消息我们的分区只需要一个即可所以全局顺序消息的代价是比较大的牺牲了扩展性和高并发性。
3延时消息 —— 适用于订单超时库存归还等等业务 延迟的机制是在服务端实现的也就是Broker收到消息后经过一段时间才发送给消费者RocketMQ按照1-N定义了如下级别1s5s30s1m2m3m4m5m6m7m8m9m10m1h2h若要发送定时消息在应用层初始化Message消息对象之后调用Message.setDelayTimeLevel(int level)方法来设置延迟级别按照序列取响应的延迟级别例如level2则延迟为5s其实现原理如下
1、发送消息的时候如果消息设置了DelayTimeLevel那么消息就会被丢到ScheduleMessageService.SCHEDULE_TOPIC这个topic里面2、根据DelayTimeLevel选择对应的queue3、再把真是的topic和queue信息封装起来set到msg里面4、然后每个SCHEDULE_TOPIC_XXXXX的每个DelayTimeLevelQueue有定时任务取刷新是否有待投递的消息。每隔10s定时持久化发送进度
4事务消息 云消息队列 RocketMQ 版提供的分布式事务消息适用于所有对数据最终一致性有强需求的场景详细的原理可以参考《分布式事务五——基于本地消息和可靠消息的解决方案》中的基于可靠消息的一致性的部分这里我们主要介绍事务消息的相关内容。
1概念介绍
事务消息云消息队列 RocketMQ 版提供类似XA或Open XA的分布式事务功能通过云消息队列 RocketMQ 版事务消息能达到分布式事务的最终一致。半事务消息暂不能投递的消息生产者已经成功地将消息发送到了云消息队列 RocketMQ 版服务端但是云消息队列 RocketMQ 版服务端未收到生产者对该消息的二次确认此时该消息被标记成“暂不能投递”状态处于该种状态下的消息即半事务消息。消息回查由于网络闪断、生产者应用重启等原因导致某条事务消息的二次确认丢失云消息队列 RocketMQ 版服务端通过扫描发现某条消息长期处于“半事务消息”时需要主动向消息生产者询问该消息的最终状态Commit或是Rollback该询问过程即消息回查。
2分布式事务消息的优势 云消息队列 RocketMQ 版分布式事务消息不仅可以实现应用之间的解耦又能保证数据的最终一致性。同时传统的大事务可以被拆分为小事务不仅能提升效率还不会因为某一个关联应用的不可用导致整体回滚从而最大限度保证核心系统的可用性。在极端情况下如果关联的某一个应用始终无法处理成功也只需对当前应用进行补偿或数据订正处理而无需对整体业务进行回滚。
3典型场景 在淘宝购物车下单时涉及到购物车系统和交易系统这两个系统之间的数据最终一致性可以通过分布式事务消息的异步处理实现。在这种场景下交易系统是最为核心的系统需要最大限度地保证下单成功。而购物车系统只需要订阅云消息队列 RocketMQ 版的交易订单消息做相应的业务处理即可保证最终的数据一致性。
4交互流程
事务消息交互流程如下图所示。 事务消息发送步骤如下
生产者将半事务消息发送至云消息队列 RocketMQ 版服务端。云消息队列 RocketMQ 版服务端将消息持久化成功之后向生产者返回Ack确认消息已经发送成功此时消息为半事务消息。生产者开始执行本地事务逻辑。生产者根据本地事务执行结果向服务端提交二次确认结果Commit或是Rollback服务端收到确认结果后处理逻辑如下 二次确认结果为Commit服务端将半事务消息标记为可投递并投递给消费者。二次确认结果为Rollback服务端将回滚事务不会将半事务消息投递给消费者。 在断网或者是生产者应用重启的特殊情况下若服务端未收到发送者提交的二次确认结果或服务端收到的二次确认结果为Unknown未知状态经过固定时间后服务端将对消息生产者即生产者集群中任一生产者实例发起消息回查。
事务消息回查步骤如下
生产者收到消息回查后需要检查对应消息的本地事务执行的最终结果。生产者根据检查得到的本地事务的最终状态再次提交二次确认服务端仍按照步骤4对半事务消息进行处理。
5使用规则
生产消息的规则
事务消息发送完成本地事务后可在execute方法中返回以下三种状态 TransactionStatus.CommitTransaction提交事务允许消费者消费该消息。TransactionStatus.RollbackTransaction回滚事务消息将被丢弃不允许消费。TransactionStatus.Unknow暂时无法判断状态等待固定时间以后云消息队列 RocketMQ 版服务端根据回查规则向生产者进行消息回查。 通过ONSFactory.createTransactionProducer创建事务消息的Producer时必须指定LocalTransactionChecker的实现类处理异常情况下事务消息的回查。回查规则本地事务执行完成后若云消息队列 RocketMQ 版服务端收到的本地事务返回状态为TransactionStatus.Unknow或生产者应用退出导致本地事务未提交任何状态。则云消息队列 RocketMQ 版服务端会向消息生产者发起事务回查第一次回查后仍未获取到事务状态则之后每隔一段时间会再次回查。 回查间隔时间系统默认每隔30秒发起一次定时任务对未提交的半事务消息进行回查共持续12小时。第一次消息回查最快时间该参数支持自定义设置。若指定消息未达到设置的最快回查时间前系统默认每隔30秒一次的回查任务不会检查该消息。 以Java为例以下设置表示第一次回查的最快时间为60秒。
Message message new Message();
message.putUserProperties(PropertyKeyConst.CheckImmunityTimeInSeconds,60);消费消息的规则
事务消息的Group ID不能与其他类型消息的Group ID共用。与其他类型的消息不同事务消息有回查机制回查时云消息队列 RocketMQ 版服务端会根据Group ID去查询生产者客户端。 后记 个人总结欢迎转载、评论、批评指正
