佛山市公司网站建设哪家好,单品网站模板,合肥大型网站,宁波网站建设优化排名场景#xff1a;
项目上需要将mysql表中数据迁移到clickhouse。 理论#xff1a;
借助MaterializeMySQL 说明#xff1a; 首先该方案实施需要启动mysql的binlog配置否则同步不了#xff0c;尽管MaterializeMySQL官方说是在实验阶段#xff0c;不应该在生产上使用#x…场景
项目上需要将mysql表中数据迁移到clickhouse。 理论
借助MaterializeMySQL 说明 首先该方案实施需要启动mysql的binlog配置否则同步不了尽管MaterializeMySQL官方说是在实验阶段不应该在生产上使用但是我们借助他来迁移一下历史数据还是很好用的。 方案
第一步首先开启mysql的binLog配置及clickhouse-server开启物化MaterializeMySQL 在/etc/clickhouse-server下users.xml中开启MaterializeMySQL allow_experimental_database_materialized_mysql1/allow_experimental_database_materialized_mysql 第二步借助官方同步命令进行迁移 create database gisqbpm1 ENGINE MaterializeMySQL(192.168.85.128:3307, gisqbpm, root, wxy123456); 注意这里还没有结束因为生产中不能使用MaterializeMySQL且mysql还开着binlog影响性能呢
第三步建立生产环境中的表 create table gisqbpm2.act_hi_taskinst1 ENGINE ReplacingMergeTree() primary key ID_ as select * from gisqbpm1.act_hi_taskinst aht ; 注gisqbpm2是我生产中实际要用的模式gisqbpm1 只是一个桥梁作用 create table gisqbpm2.act_hi_taskinst1 ENGINE MergeTree() primary key ID_ as select * from gisqbpm1.act_hi_taskinst aht ; 说明这里需要什么表引擎就可以建立对应的表引擎十分方便其他的就和mysql建立复制表语法一样了这样就可以了只是麻烦一点需要把所有表名列出来执行一下复制语句 含表结构和数据 use database gisqbpm2; create table gisqbpm2.act_hi_taskinst1 ENGINE ReplacingMergeTree() primary key ID_ as select * from gisqbpm1.act_hi_taskinst aht ; create table gisqbpm2.act_hi_taskinst ENGINE MergeTree() primary key ID_ as select * from gisqbpm1.act_hi_taskinst aht ; 只含表结构 use database gisqbpm2; create table gisqbpm2.act_hi_taskinst1 ENGINE ReplacingMergeTree() primary key ID_ as select * from gisqbpm1.act_hi_taskinst aht where 12 ; create table gisqbpm2.act_hi_taskinst ENGINE MergeTree() primary key ID_ as select * from gisqbpm1.act_hi_taskinst aht where 12; 第四步生产环境中关闭binlog的同步配置及clickhouse的配置删除在clickhouse中建立的中间桥梁库
