网站怎么做预约小程序,电商网站平台建设资金预算,怎么建淘宝优惠券网站做推广,深圳网站建设服务哪个便宜点随着数据量的不断增大#xff0c;传统的直连数据库对数据进行访问的方式已经无法满足一般公司的需求。通过数据库中间件#xff0c;可以对数据库进行水平扩展#xff0c;由原来单台数据库扩展到多台数据库#xff0c;数据库中间件通过路由规则将数据的访问请求路由到其中一… 随着数据量的不断增大传统的直连数据库对数据进行访问的方式已经无法满足一般公司的需求。通过数据库中间件可以对数据库进行水平扩展由原来单台数据库扩展到多台数据库数据库中间件通过路由规则将数据的访问请求路由到其中一台数据库上从而大大降低了数据访问的瓶颈和单台数据库的压力。通过数据库中间件还可以将DBA和研发进行解耦提升DBA运维效率。 奇虎360公司开源的Atlas是优秀的数据库中间件美团DBA团队针对公司内部需求在其上做了很多改进工作形成了新的高可靠、高可用企业级数据库中间件DBProxy已在公司内部生产环境广泛使用较为成熟、稳定。相关工作的详细介绍可以参考之前的博客文章《美团的DBProxy实践》。 现在我们非常高兴地将DBProxy开源希望与业内有类似需求的团队一起打造一款优秀的企业级数据库中间件产品。项目的Github地址是https://github.com/Meituan-Dianping/DBProxy。 支持多语言MySQL客户端读写分离负载均衡Slave故障感知与摘除Master需要MHA等其他联动后端连接池自定义SQL拦截与过滤流量分组与控制丰富的监控状态支持分表分库版本正在内测中Client IP限制新增功能点 从库流量配置指定查询发送到某个从库参数动态设置(完善show proxy status/variables)支持save config动态增加、删除分表响应时间percentile统计统计最近时间段DBProxy的响应时间kill session支持DBProxy的admin接口kill session操作backend平滑上下线支持平滑的backend上下线DBProxy非root用户启动使用非root用户启动admin账号的安全限制admin账号密码的动态修改及host限制增加异步刷日志的功能增加日志线程、异步刷日志提高响应时间支持DBProxy平滑重启功能normal等待所有当前事务结束后退出① KILL -SIGTERM pid of mysql-proxy; ② admin 命令: shutdown [normal]其中等待过程有超时机制immediate不等待当前事务结束直接退出① KILL -SIGINT pid of mysql-proxy; ② admin 命令: shutdown immediate配置参数shutdown_timeout: 在normal方式下等待shutdown_timeout时间后退出单位是s, 默认值是600支持SQL过滤的黑名单功能 添加到黑名单中需要满足两个条件SQL执行的时间和频率SQL执行的时间由参数 query-filter-time-threshold 来指定如果SQL执行时间超过此值则满足条件SQL执行频率由参数 query-filter-frequent-threshold 来指定如果SQL执行频率超过此值则满足条件 频率就是在时间窗口内执行的次数。时间窗口则是由频率阈值和最小执行次数来计算出来的当时间窗口小于60s时扩展到60s参数 access-num-per-time-window 用来指定在时间窗口内的最小执行次数添加此参数是考虑到执行时间长的SQL在计算频率时同时参考其执行的次数只有执行一定次数时才去计算其频率。当执行时间与执行频率都满足时条件时会自动将查询作为过滤项放到黑名单中加入到黑名单中是否生效由参数 auto-filter-flag 来控制OFF:不生效ON:立即生效黑名单的管理 提供了查看、修改、添加、删除黑名单的功能黑名单管理提供了将黑名单保存到文件以及从文件中Load到内存中的功能在手动添加黑名单时只需要将用户的SQL语句输入在内部自动转化成过滤条件手动添加时是否生效由参数 manual-filter-flag 来控制OFF:不生效ON:立即生效手动添加与自动添加两种情况下的过滤条件是否生效是分别由不同参数控制这个要区分清楚。另外也可以使用 admin 的命令来设置是否开启/关闭某个过滤条件支持对于MySQL后台的thread running限制功能该功能通过在DBProxy内限制每个后台MySQL的并发查询来控制对应MySQL的thread running数 当发向某个MySQL后台的的并发查询超过某个阈值时会进行超时等待直到有可用的连接其中阈值与超时等待的时间都已经参数化可以动态配置 新增参数backend-max-thread-running用于指定每个MySQL后台的最大thread running数thread-running-sleep-delay用于指定在thread running数超过backend-max-thread-running时客户端连接等待的时间set backend offline不再显示节点状态支持set transaction isolation level支持use db支持set option语句支持set session级系统变量支持建立连接时指定连接属性改进连接池的连接管理增加超时释放机制。当连接池中的空闲连接闲置超过一定时间后自动释放连接。由参数 db-connection-idle-timeout 控制增加客户端连接的keepalive机制避免网络异常后释放已断开的连接完善管理日志增加了管理命令日志、错误语句日志以及详细的错误日志完善SQL日志信息包含了详细的连接信息并包含了DBProxy内部执行的隐式SQL语句。隐式SQL语句主要是连接重用时切换database、字符集的语句增加SQL日志rotate机制可设置日志文件最大大小和日志文件最大个数自动清理早期的SQL日志。分别由参数sql-log-file-size和sql-log-file-num控制增加后台MySQL版本号设置主要影响MySQL连接协议中的server版本客户端驱动可能依赖于server版本处理机制有所不同。由参数mysql-version控制性能改进将SQL词法分析从串行方式改进为并发方式其次在每次执行SQL前如果database相同时不再需要执行COM_INIT_DB命令。根据测试结果在特定环境下sysbench的QPS从7万提升至22万增加监控统计信息包括连接状态、QPS、响应时间、网络等统计sql log动态配置改进autocommit为false时频繁连接主库的问题Bugs修复 DBProxy建立连向MySQL连接时新建的socket添加keepalive和非阻塞的属性rpm安装时创建conf目录并创建默认的配置文件的功能rpm安装时需要手动修改mysql-proxyd文件中的proxy-dir, 现在直接在rpm安装后就修改好解决了绑定后端连接断开时客户端连接未及时断开的问题屏蔽了KILL语句避免在后端MySQL可能误KILL的问题修改了事务内语句执行错误时DBProxy未保留后台连接导致rollback发送到其它结点的问题修复分表查询结果合并时列字符集错误的问题该问题可能会导致结果乱码解决在分表情况下返回值有 NULL 的情况下查询超时的问题此问题是DBProxy在多个分表merge结果的过程中未处理 NULL 值导致结果集返回不对而JDBC接口会认为此种情况下是未收到结果会处于一直等待状态触发超时解决在分表情况下 IN 子句中分表列只支持 int32不支持int64 的问题解决连接断开的内存泄露问题在连接的结构体的释放接口中lock 的成员变量未释放导致在连接断开回收连接对象时会泄漏24个字节取消admin操作中不必要的日志去掉了在连接 admin 时报”[admin] we only handle text-based queries (COM_QUERY)“的信息此信息属于无用的信息去掉了在set backend offline/online时的返回值信息此信息是无用信息解决用户权限不足、DBProxy用户名密码配置错误等导致使用错误用户的问题解决SQL_CALC_FOUND_ROWS之后SQL语句发往主库的问题解决SQL语句中有注释时语句分析不正确的问题解决客户端发送空串导致DBProxy挂掉的问题新功能和Bug修复描述详见release notes。 和各位同行共同打造一款企业级高可用、高可靠的数据库中间件产品希望大家能够积极参与。 欢迎大家将需求或发现的Bug在Github上提交issue帮助DBProxy的壮大也欢迎大家在DBProxy用户交流群QQ: 367199679相互交流共同学习。 DBProxy的github地址 DBProxy快速入门教程DBProxy用户使用手册DBProxy开发手册DBProxy架构和实践DBProxy release notesDBProxy 测试手册FAQDBProxy开发规范
