农产品网站建设结构,如何更换网站空间,网页设计论文500字,新浪短网址生成器一、微服务多节点批量应该怎么设计#xff1f;
1、异步任务分类#xff1a;
周期性定时任务调度任务批量任务
2、需要考虑并解决的问题#xff1a;
2.1、避免同一任务同时被多个节点捞取。 1#xff09;数据库的行级锁 2#xff09;redis分布式锁 3#xff09;quartz…一、微服务多节点批量应该怎么设计
1、异步任务分类
周期性定时任务调度任务批量任务
2、需要考虑并解决的问题
2.1、避免同一任务同时被多个节点捞取。 1数据库的行级锁 2redis分布式锁 3quartz集群
2.2、需要考虑各节点的本地系统时间差问题。 场景某个节点如果很快执行完定时调度任务另外一个节点的本地时间才到预计执行时间那么就会造成同一个调度任务被重复执行的情况。 解决办法 1)如果使用的数据库如果采用关系型数据库进行控制那么任务数据行除了添加执行状态再增加预计执行完时间字段每次调度时需要判定系统时间是否大于上一次预计执行完时间只有大于才会执行小于说明该任务的本次调度已经被其他节点执行过了那么所有节点都去争抢下一次执行。 2如果使用的redis则需要带上过期时间并支持续约。
2.3、批量任务需要多节点协同完成 场景调用服务发生超时需要进行超时结果确认将超时确认任务插入任务表等待批量任务调度挨个去执行查证。 解决方案 1每个节点捞取当前待执行任务状态的任务如果为0则return如果不为0则将任务状态变更为执行中如果更新的条数和查询的条数相等则执行否则自调用。如果调度频率较高可能导致部分节点一直处于自旋状态浪费性能。 2增加slot槽点字段假设在0-1000进行随机每个节点在查询执行任务之前先计算开始槽点和结束槽点先通过服务发现查询当前存在的所有批量节点假设5个并排序找到自己的序号假设为3开始槽点1000/5*3-1结束槽点就等于开始槽点1000/5然后带上槽点条件进行查询。 3使用消息队列每个节点从消息队列获取任务执行。
二、分表后的分页查询问题怎么解决
1、场景1历史表和当前业务表分页查询 如果根据日期排序且查询日期区间有数据落到历史表则可以先查历史表然后判断查询结果是否等于pageSize,如果等于0则查询历史表的total然后根据total计算应该查询当前表的行数。
2、场景2按拆分字段水平拆分多个表后的分页查询 方案1 全局视野法 将所有分表从0开始到当前查询页的数据都查出来到内存中进行重新排序并取出当前页的数据。 缺点随着页数增加会导致内存占用过大。 方案2禁止跳页查询 不允许跳页查询只能查下一页查询时记住每个分表的最大值然后下一页查询时只需去取每个分表从最大值下一个值开始的一页数据回来到内存中重新排序计算并记录新的最大值。 缺点不支持跳页查询 方案3二次查询法 1limit offset(all) pageSize 改写成limit offset(all)/nodeSize pageSize 用改写后的sql去每个分表查询 2上一步查询的所有分表结果合并后取最小值minInall合并前每个分表查询结果的最大值为max(i)再改写sql为between minInall and max(i); 3找出minInall在各个分表中的下标为offset(i)则可以计算出minInall在全局视野中的offsetoffsetminInalloffset(1)offset(2)offset(3)...offset(nodeSize)。 4将第2步中查到的所有结果进行排序根据offset(all)和offsetminInall的大小关系可以从排序结果中精确取出需要页的精确数据。 缺点只适合于分表数据分布均衡的情况。因为第二次查询取出的数据量大小与每个分表的数据分布情况有关如果数据分布非常均衡则可以做到第二次查询每个分表只取出一页的数据量如果数据分布不均衡则最坏情况下会退化成全局视野法的情况比如极端情况每个分表的数据都是按日期升序这种情况可以根据分表的日期区间升序规律简化算法为场景1的情况 详细可参考下面博客
https://www.51cto.com/article/596385.html
