怎么制作网站视频播放器,wordpress如何给主题加密,福州网站开发公司,阿里邮箱企业版app下载什么是分布式事务
一次课程发布操作需要向数据库、redis、elasticsearch、MinIO写四份数据#xff0c;这里存在分布式事务问题。
什么是分布式事务#xff1f;
首先理解什么是本地事务#xff1f;
平常我们在程序中通过spring去控制事务是利用数据库本身的事务特性来实现…什么是分布式事务
一次课程发布操作需要向数据库、redis、elasticsearch、MinIO写四份数据这里存在分布式事务问题。
什么是分布式事务
首先理解什么是本地事务
平常我们在程序中通过spring去控制事务是利用数据库本身的事务特性来实现的因此叫数据库事务由于应用主要靠关系数据库来控制事务此数据库只属于该应用所以基于本应用自己的关系型数据库的事务又被称为本地事务。
本地事务具有ACID四大特性数据库事务在实现时会将一次事务涉及的所有操作全部纳入到一个不可分割的执行单元该执行单元中的所有操作 要么都成功要么都失败只要其中任一操作执行失败都将导致整个事务的回滚。
理解了本地事务什么是分布式事务
现在的需求是课程发布操作后将数据写入数据库、redis、elasticsearch、MinIO四个地方这四个地方已经不限制在一个数据库内是由四个分散的服务去提供与这四个服务去通信需要网络通信而网络存在不可到达性这种分布式系统环境下通过与不同的服务进行网络通信去完成事务称之为分布式事务。
在分布式系统中分布式事务的场景很多
例如用户注册送积分银行转账创建订单减库存这些都是分布式事务。
拿转账举例
我们知道本地事务依赖数据库本身提供的事务特性来实现因此以下逻辑可以控制本地事务
begin transaction
//1.本地数据库操作张三减少金额
//2.本地数据库操作李四增加金额
commit transation;
但是在分布式环境下会变成下边这样
begin transaction
//1.本地数据库操作张三减少金额
//2.远程调用让李四增加金额 commit transation;
可以设想当远程调用让李四增加金额成功了由于网络问题远程调用并没有返回此时本地事务提交失败就回滚了张三减少金额的操作此时张三和李四的数据就不一致了。
因此在分布式架构的基础上传统数据库事务就无法使用了张三和李四的账户不在一个数据库中甚至不在一个应 用系统里实现转账事务需要通过远程调用由于网络问题就会导致分布式事务问题。
下边的场景都会产生分布式事务
微服务架构下 单服务多数据库 多服务单数据库: 什么是CAP理论
控制分布式事务首先需要理解CAP理论什么是CAP理论
CAP是 Consistency、Availability、Partition tolerance三个词语的缩写分别表示一致性、可用性、分区容忍性。
使用下边的分布式系统结构 进行说明 客户端经过网关访问用户服务的两个结点一致性是指用户不管访问哪一个结点拿到的数据都是最新的比如查询小明的信息不能出现在数据没有改变的情况下两次查询结果不一样。
可用性是指任何时候查询用户信息都可以查询到结果但不保证查询到最新的数据。
分区容忍性也叫分区容错性当系统采用分布式架构时由于网络通信异常导致请求中断、消息丢失但系统依然对外提供服务。
CAP理论要强调的是在分布式系统中这三点不可能全部满足由于是分布式系统就要满足分区容忍性因为服务之间难免出现网络异常不能因为局部网络异常导致整个系统不可用。
满足P那么C和A不能同时满足
比如我们添加一个用户小明的信息该信息先添加到结点1中再同步到结点2中如下图 如果要满足C一致性必须等待小明的信息同步完成系统才可用否则会出现请求到结点2时查询不到数据违反了一致性在信息同步过程中系统是不可用的所以满足C的同时无法满足A。
如果要满足A可用性要时刻保证系统可用就不用等待信息同步完成此时系统的一致性无法满足。 所以在分布式系统中进行分布式事务控制要么保证CP、要么保证AP。
分布式事务控制方案
学习了CAP理论该如何控制分布式事务呢
学习了CAP理论我们知道进行分布式事务控制要在C和A中作出取舍保证一致性就不要保证可用性保证可用性就不要保证一致首先你确认是要CP还是AP具体要根据应用场景进行判断。
CP的场景满足C舍弃A强调一致性。
跨行转账一次转账请求要等待双方银行系统都完成整个事务才算完成只要其中一个失败另一方执行回滚操作。
开户操作在业务系统开户同时要在运营商开户任何一方开户失败该用户都不可使用所以要满足CP。
AP的场景满足A舍弃C强调可用性。
订单退款今日退款成功明日账户到账只要用户可以接受在一定时间内到账即可。
注册送积分注册成功积分在24分到账。
支付短信通信支付成功发短信短信发送可以有延迟甚至没有发送成功。
在实际应用中符合AP的场景较多其实虽然AP舍弃C一致性实际上最终数据还是达到了一致也就满足了最终一致性所以业界定义了BASE理论。
什么是BASE理论
BASE 是 Basically Available(基本可用)、Soft state(软状态)和 Eventually consistent (最终一致性)三个短语的缩写。
基本可用当系统无法满足全部可用时保证核心服务可用即可比如一个外卖系统每到中午12点左右系统并发量很高此时要保证下单流程涉及的服务可用其它服务暂时不可用。
软状态是指可以存在中间状态比如打印自己的社保统计情况该操作不会立即出现结果而是提示你打印中请在XXX时间后查收。虽然出现了中间状态但最终状态是正确的。
最终一致性退款操作后没有及时到账经过一定的时间后账户到账舍弃强一致性满足最终一致性。
分布式事务控制有哪些常用的技术方案
实现CP就是要实现强一致性:
使用Seata框架基于AT模式实现
使用Seata框架基于TCC模式实现。
实现AP则要保证最终数据一致性:
使用消息队列通知的方式去实现通知失败自动重试达到最大失败次数需要人工处理
使用任务调度的方案启动任务调度将课程信息由数据库同步到elasticsearch、MinIO、redis中。 课程发布的事务控制方案
学习了这么多的理论回到课程发布执行课程发布操作后要向数据库、redis、elasticsearch、MinIO写四份数据这个场景用哪种方案 满足CP
如果要满足CP就表示课程发布操作后向数据库、redis、elasticsearch、MinIO写四份数据只要有一份写失败其它的全部回滚。
满足AP
课程发布操作后先更新数据库中的课程发布状态更新后向redis、elasticsearch、MinIO写课程信息只要在一定时间内最终向redis、elasticsearch、MinIO写数据成功即可。
目前我们已经有了任务调度的技术积累这里选用任务调度的方案去实现分布式事务控制课程发布满足AP即可。
下图是具体的技术方案 1、在内容管理服务的数据库中添加一个消息表消息表和课程发布表在同一个数据库。
2、点击课程发布通过本地事务向课程发布表写入课程发布信息同时向消息表写课程发布的消息。通过数据库进行控制只要课程发布表插入成功消息表也插入成功消息表的数据就记录了某门课程发布的任务。
3、启动任务调度系统定时调度内容管理服务去定时扫描消息表的记录。
4、当扫描到课程发布的消息时即开始完成向redis、elasticsearch、MinIO同步数据的操作。
5、同步数据的任务完成后删除消息表记录。
时序图如下
下图是课程发布操作的流程 1、执行发布操作内容管理服务存储课程发布表的同时向消息表添加一条“课程发布任务”。这里使用本地事务保证课程发布信息保存成功同时消息表也保存成功。
2、任务调度服务定时调度内容管理服务扫描消息表由于课程发布操作后向消息表插入一条课程发布任务此时扫描到一条任务。
3、拿到任务开始执行任务分别向redis、elasticsearch及文件系统存储数据。
4、任务完成后删除消息表记录。
