自己做网站 套模板,积分商城系统,项目管理中软件分类为,个人如何在百度做广告概念#xff1a; 连接#xff1a;通过协议 方言及库存储的适配#xff0c;连接数据和应用#xff0c;关注多模数据苦之间的合作 增量#xff1a;抓取库入口流量题提供重定向#xff0c; 流量变形(加密脱敏)/鉴权/治理(熔断限流)/分析等 可插拔#xff1a;微内核
DDL:cr…概念 连接通过协议 方言及库存储的适配连接数据和应用关注多模数据苦之间的合作 增量抓取库入口流量题提供重定向 流量变形(加密脱敏)/鉴权/治理(熔断限流)/分析等 可插拔微内核
DDL:create table/index alter table drop table truncate tabledrop index/table 表结构
DML:insert update delete 表数据的操作
DQL:select
DCL:grant分权限 revoke废除权限
分表分库
数据分片按某维度将存放在单一数据库中的数据分散地存放至多个数据库或表
垂直分片
专库专用按业务
水平分片
通过某个字段或某几个字段根据某种规则将数据分散至多个库或表中
流程
Standard 内核流程SQL 解析 SQL 路由 SQL 改写 SQL 执行 结果归并用于处理标准分片场景下的 SQL 执行
Federation 执行引擎流程SQL 解析 逻辑优化 物理优化 优化执行 Standard 内核流程在优化执行阶段依赖Standard内核流程对优化后的逻辑 SQL 进行路由、改写、执行和归并
sql解析:词法/语法解析词法解析器SQ拆分不可再拆的词 Token词法解析器 理解 sql解析上下文(表/选择项/排序项/分组项/聚合函数/分页信息/查询条件/占位符标记)
sql路由:分片/广播解析上下文匹配分片策略生成路由路径
sql改写:在真实数据可以执行的语句正确性/优化改写
sql执行:多线程执行器异步执行
结果归并:结果由统一的JDBC接口输出流式归并/内存归并/装饰者模式追加归并 流式归并以结果集游标下移进行结果归并省内存 减少垃圾回收
查询优化:Federation提供优化关联/子查询跨库分布式查关系代数优化查询计划最优计划查询出结果
解析引擎
抽象语法树 sql解析阶段的token再据不同数据库方言提供的字典将其归类为关键字 表达式 字面量 操作符语法解析器将sql转换为抽象语法树 解析过程不可逆token按原本顺序依次解析性能高
sql解析引擎 3.0 ANTLR作为SQL解析的引擎(兼容sql)据DDL - TCL - DAL – DCL - DML –DQL依次替换原有的解析引擎慢 需要搭配PreparedStatement预编译 路由引擎
上下文匹配数据库/表的分片策略生成路由
携带分片键sql分片键不同划分单片路由()多片路由(in)范围路由(between)
不携带 分片键 的广播路由
分片策略 内置尾数取模 哈希 范围 标签 时间 用户配置需求定制复合分片策略
分片路由
直接路由:分库不分表 hint指定路由到库避免sql解析 结果归并可子查询 自定义函数等任意sql
标准路由:推荐不含关联查 仅绑定表间关联的sql单表 between/in不定 sql拆分数目与单表一致
笛卡尔积路由:复杂 非绑定表间关联查询需拆解为笛卡尔积组合执行 t0t0 t0t1 t1t0 t1t1
广播路由
全库表库中逻辑表相关的all操作DQL DML DDL,all库all表匹配逻辑表和真实表名 执行全库:对库操作set/TCL事务控制语句据逻辑名字遍历符合名字匹配的真实库全实例:DCL 每个库只执行一次单播:获取真实的表信息 任意库的任意真实表即可阻断:屏蔽sql对数据库的操作
改写引擎
逻辑SQL改写在真实数据库中可正确执行的SQL正确性改写 优化改写 流式归并优化group by 的sql增加order by和分组项相同的排序项/顺序
执行引擎 执行引擎的目标是自动化的平衡资源控制与执行效率 连接模式 每个分片查询维持一个独立的数据库连接利用多线程提供执行效率/并行处理io消耗/避免过早将结果放到内存/持有查询结果集游标位置的引用 无法保证每个分片持有独立数据库连接在复用该库连接获取下一张分表查询结果集之前当前查询结果集全数加载至内存流式退化为内存归并 抉择对库连接资源控制保护 更优归并模式对中间件内存资源节省
内存限制模式 不限制一次操作所耗费的数据库连接数量多线程并发处理执行效率最大化 且在sql满足条件情况下优先选择流式归并防止内存溢出 避免频繁垃圾回收 OLAP提供吞吐量联机分析处理 复杂计算和统计 数据分析预测
连接限制模式 控制连接数量唯一连接串行执行处理分片散落不同数据库 多线程处理不同库的操作 一个库一个连接防止对一次请求对数据库连接占用过多所带来的问题内存归并 OLTP(联机事务) 实时性 事务处理数据操作 带分片键 路由到单一分片 保证库资源被更多应用使用到
自动化执行引擎
由执行引擎根场景自动选择最优的执行方案
连接模式的选择粒度细化至每一次SQL的操作 据路由结果实时演算和权衡自主选择资源 效率最优 仅配置maxConnectionSizePerQuery一次查询时每个数据库所允许使用的最大连接数
准备阶段
结果集分组 执行单元执行两步
sql路由结果按数据源的名称分组获得在数据库实例在maxConnectionSizePerQuery范围一连接需执行的SQL路由结果组计算出本次请求的最优连接模式 避免死锁同步获取连接创建执行单元 原子性一次性获取本次sql需要all库连接
避免锁定一次性只需要1个库连接的操作不需锁定OLTP分片键路由唯一节点 读写分离内存限制模式才资源限定连接限制all结果集在内存后释放连接资源 不会死锁
执行阶段
分组执行 准备执行阶段生成的执行单元下发到底层并发执行引擎执行过程中关键步骤发送事件 执行引擎仅关注事件发布 订阅感兴趣的并处理
归并结果 内存归并结果集或流式归并结果集将其传递至结果归并引擎
归并引擎 结果归并:从各个数据节点获取的多数据结果集组合成结果集并正确的返回给请求客户端 返回结果集方式归并减少内存消耗
流式归并:每一次从结果集中获取到的数据能通过逐条获取的方式返回正确的单条数据与数据库原生的返回结果集的方式契合 遍历、排序以及流式分组都属于流式归并的一种
内存归并:需将结果集的all数据都遍历并存储在内存通过统一的分组、排序及聚合等计算再将其封装成逐条访问的数据结果集返回
装饰者归并:对all结果集归并进行统一的功能增强分页归并和聚合归并这2种类型 遍历:将多个数据结果集合并为一个单向链表 遍历完当前结果集链表元素后移一位继续遍历下一个数据结果集
排序:ORDER BY每个数据结果集自身是有序的将结果集当前游标指向的数据值进行排序 将每个结果集的当前数据值进行比较通过实现Java的Comparable接口将其放入优先级队列 获取下一条数据时只需将队列顶端结果集的游标下移并据新游标重新进入优先级排序队列找到自己的位置即可 分组:流式分组归并/内存分组归并
聚合:之前介绍的归并类的之上追加的归并能力,比较min max、累加sum count和求平均值avg
分页:通过结果集的next方法跳过无需取出的数据不会将其存入内存
数据脱敏
完整、安全、透明化、低改造成本的数据加密整合解决方案 解析用户输入的SQL进行依据用户提供的加密规则改写SQL实现对原数据加密将原文数据可选及密文数据同时存储到底层数据库查询数据从数据库中取出密文数据并对其解密将解密后的原始数据返回给用户。自动化 透明化数据加密过程无需关注数据加密的细节像使用普通数据那样使用加密数据 加密模块拦截 SQL 语法解析器进行解析、理解 SQL 行为依传入的加密规则找出需加密的字段和所使用的加解密算法对目标字段进行加解密处理后与底层数据库交互 在用户查询时将密文从数据库中取出进行解密后返回给终端用户。 屏蔽对数据的加密解密处理过程
加密规则 加密处理过程 解决方案
新业务直接配置
老业务
新的数据 走配置 新增字段 自动赋值
旧数据 自行加密清洗
将明文删除建立映射关系 底层使用密文处理
加密算法
EncryptAlgorithm encrypt decrypt insert/delete/update 按配置 sql解析/改写/路由 encrypt加密 存储到库 查询decrypt从库取出加密 逆向解密原始数据返回
md5 不可逆aes可选rc4可逆
QueryAssistedEncryptAlgorithm
相同的数据库中也应该是不一样的
encrypt()阶段设置某个变动种子如时间戳。 针对原始数据变动种子组合的内容进行加密加密数据是不一样的
decrypt()可依据之前规定的加密算法利用种子数据进行解密
辅助查询列queryAssistedEncrypt 另一种方式加密原始数据针对原始数据相同的数据产生的加密数据是一致的
事务
xa
X/OPEN组织定义的DTP模型抽象的 AP应用程序, TM事务管理器和 RM资源管理器 set autoCommit0 XAShardingSphereTransactionManager 为调用具体的 XA 事务管理器开启 XA 全局事务以 XID 的形式进行标记 XAResource注册XA事务中事务管理器 XAResource.start库收到XAResource.end前all的sql操作标记为xa事务 XAShardingSphereTransactionManager收到接入端提交命令委托xa事务管理器提交收集到all注册xaResource 发送XAResource.end 指令依次发送prepare手机xaResource投票all均正确 commit最终提交否rollback回滚
Saga 一个Saga事务是一个有多个短时事务组成的长时的事务 分布式事务场景下一个Saga分布式事务看做是一个由多个本地事务组成的事务每个本地事务都有一个与之对应的补偿事务 在Saga事务的执行过程中如某一步执行出现异常Saga事务会被终止同时会调用对应的补偿事务完成相关的恢复操作
自动反向补偿 Saga事务管理器根程序执行结果生成一张有向无环图在需要执行回滚操作时据该图依次按照相反的顺序调用反向补偿操作 Saga事务管理器只用于控制何时重试何时补偿补偿的具体操作需开发者提供
ShardingSphere采用反向SQL技术将对数据库进行更新操作的SQL自动生成反向SQL并交由saga-actuator执行无需关注如何实现补偿柔性事务管理器的应用范畴定位回了数据库层面 Seata 弹性伸缩
对现有的分片集群进行弹性扩容或缩容4.1.0 临时建两个库集群伸缩完切换 解析旧分片规则提取配置中的数据源、数据节点等之后创建伸缩作业工作流 压测 解析 SQL对传入的 SQL 进行影子判定根配置文件设置的影子规则路由到生产库或者影子库 以 INSERT 语句为例对 SQL 进行解析据配置文件规则构造一条路由链 在当前版本的功能中(很老的版本) 影子功能处于路由链中的最后一个执行单元如果有其他需要路由的规则存在如分片据分片规则路由到某一个数据库执行影子路由判定流程判定执行SQL满足影子规则的配置数据路由到对应的影子库生产数据维持不变
DML先判断执行SQL表与配置的影子表是否有交集有:判交集影子表关联的影子算法任一成功 sql路由到影子库无交集 判定失败 路由到生产库
DDL注解影子算法初始化/修改影子库使用执行的sql有注解 配置hint判定 成功路由影子库 否路由生产库
