鹤壁做网站的网络公司,烟台网站排名优化报价,品牌设计logo图片,php网站开发实例教程第七章简介
DataX 是阿里云 DataWorks数据集成 的开源版本#xff0c;在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databe…简介
DataX 是阿里云 DataWorks数据集成 的开源版本在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
Quick Start 【Mysql】
下载https://github.com/alibaba/DataX/releases查看如下文档https://github.com/alibaba/DataX, 编写Job json
如下所示
{job: {setting: {speed: {channel: 1}},content: [{reader: {name: mysqlreader,parameter: {username: root,password: root,column: [*],splitPk: id,connection: [{table: [oss_object],jdbcUrl: [jdbc:mysql://ip1:3306/ys-oss?useSSLfalse // 链接1]}]}},writer: {name: mysqlwriter,parameter: {writeMode: insert,username: root,password: root,column: [*],session: [set session sql_modeANSI],preSql: [delete from oss_object_copy1],connection: [{jdbc:mysql://ip1:3306/ys-oss?useSSLfalse // 链接2table: [oss_object_copy1]}]}}}]}
}
运行datax.py job1.json
2024-03-19 17:01:46.568 [job-0] INFO JobContainer -
任务启动时刻 : 2024-03-19 17:00:34
任务结束时刻 : 2024-03-19 17:01:46
任务总计耗时 : 71s
任务平均流量 : 1.38MB/s
记录写入速度 : 9958rec/s
读出记录总数 : 697071
读写失败总数 : 0和navicat比较navicat直接数据同步时间为3分datax为71s有进步就好
