网站 特效,做我网站,高端建站方案,百度站长验证网站失败一、概述 DataX 是阿里巴巴开源的一个异构数据源离线同步工具#xff0c;致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 源码地址#xff1a;https://github.com/alibaba/DataX 为了解决异构数据…一、概述 DataX 是阿里巴巴开源的一个异构数据源离线同步工具致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 源码地址https://github.com/alibaba/DataX 为了解决异构数据源同步问题DataX将复杂的网状的同步链路变成了星型数据链路DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候只需要将此数据源对接到DataX便能跟已有的数据源做到无缝数据同步。 架构设计 运行流程 和sqoop对比
3.DataX部署 上传文件、解压缩、启动 注意如果遇到上面的报错如下解决
#reader的删除项
rm -rf ._hdfsreader
rm -rf ._otsstreamreader
rm -rf ._otsreader
rm -rf ._txtfilereader
rm -rf ._ftpreader
rm -rf ._streamreader
rm -rf ._odpsreader
rm -rf ._cassandrareader
rm -rf ._hbase11xreader
rm -rf ._oraclereader
rm -rf ._postgresqlreader
rm -rf ._mysqlreader
rm -rf ._rdbmsreader
rm -rf ._mongodbreader
rm -rf ._ossreader
rm -rf ._sqlserverreader
rm -rf ._hbase094xreader
rm -rf ._drdsreader
#writer的删除项
rm -rf ._hbase11xsqlwriter
rm -rf ._ocswriter
rm -rf ._adswriter
rm -rf ._drdswriter
rm -rf ._hbase11xwriter
rm -rf ._hbase094xwriter
rm -rf ._sqlserverwriter
rm -rf ._osswriter
rm -rf ._mongodbwriter
rm -rf ._rdbmswriter
rm -rf ._mysqlwriter
rm -rf ._postgresqlwriter
rm -rf ._oraclewriter
rm -rf ._cassandrawriter
rm -rf ._odpswriter
rm -rf ._streamwriter
rm -rf ._ftpwriter
rm -rf ._txtfilewriter
rm -rf ._otswriter
rm -rf ._hdfswriter
