网站掉排名,php 网站响应时间,室内设计学徒有多坑,高德地图能不能看国外目录
一、环境准备
二、安装部署
2.1 二进制安装
2.2 python 3 支持
三、Data X 初体验
3.1 配置示例
3.1.1. 生成配置模板
3.1.2 创建配置文件
3.1.3 运行 DataX
3.1.4 结果显示
3.2 动态传参
3.2.1. 动态传参的介绍
3.2.2. 动态传参的案例
3.3 迸发设置 …目录
一、环境准备
二、安装部署
2.1 二进制安装
2.2 python 3 支持
三、Data X 初体验
3.1 配置示例
3.1.1. 生成配置模板
3.1.2 创建配置文件
3.1.3 运行 DataX
3.1.4 结果显示
3.2 动态传参
3.2.1. 动态传参的介绍
3.2.2. 动态传参的案例
3.3 迸发设置
3.3.1 直接指定
3.3.2 Bps
3.3.3 tps
3.3.4. 优先级 官方参考文档https://github.com/alibaba/DataX/blob/master/userGuid.md
一、环境准备 Linux 操作系统 JDK1.8 及其以上都可以推荐 1.8Linux 下安装 JDK 和 Maven 环境_linux安装jdk和maven-CSDN博客 Python2 或者 3 都可以Spark-3.2.4 高可用集群安装部署详细图文教程_spark高可用-CSDN博客 Apache Maven 3.x只有源码编译安装需要Linux 下安装 JDK 和 Maven 环境_linux安装jdk和maven-CSDN博客
二、安装部署
2.1 二进制安装 1、下载安装 DataX 工具包下载地址https://datax-opensource.oss-cn-hangzhou.aliyuncs.com/202309/datax.tar.gz 2、将下载好的包上传到 Linux 中 3、解压安装即可
(base) [roothadoop03 ~]# tar -zxvf datax.tar.gz -C /usr/local/4、自检脚本
# python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json# 例如:
python /usr/local/datax/bin/datax.py /usr/local/datax/job/job.json 5、异常解决
如果执行自检程序出现如下错误
[main] WARN ConfigParser - 插件[streamreader,streamwriter]加载失败1s后重试... Exception:Code:[Common-00], Describe:[您提供的配置文件存在错误信息请检查您的作业配置 .] - 配置信息错误您提供的配置文件[/usr/local/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.
[main] ERROR Engine -经DataX智能分析,该任务最可能的错误原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在错误信息请检查您的作业配置 .] - 配置信息错误您提供的配置文件[/usr/local/datax/plugin/reader/._drdsreader/plugin.json]不存在. 请检查您的配置文件.at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95)at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153)at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:125)at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63)at com.alibaba.datax.core.Engine.entry(Engine.java:137)at com.alibaba.datax.core.Engine.main(Engine.java:204)
解决方案将 plugin 目录下的所有的以 _ 开头的文件都删除即可
cd /usr/local/datax/plugin
find ./* -type f -name .*er | xargs rm -rf
2.2 python 3 支持 DataX 这个项目本身是用 Python2 进行开发的因此需要使用 Python2 的版本进行执行。但是我们安装的 Python 版本是 3而且 3 和 2 的语法差异还是比较大的。因此直接使用 python3 去执行的话会出现问题。 如果需要使用 python3 去执行数据同步的计划需要修改 bin 目录下的三个 py 文件将这三个文件中的如下部分修改即可 print xxx 替换为 print(xxx) Exception, e 替换为 Exception as e
# 以 datax.py 为例进行修改
(base) [roothadoop03 ~]# cd /usr/local/datax/bin/
(base) [roothadoop03 /usr/local/datax/bin]# ls
datax.py dxprof.py perftrace.py
(base) [roothadoop03 /usr/local/datax/bin]# vim datax.pyprint(readerRef)print(writerRef)jobGuid Please save the following configuration as a json file and use\n python {DATAX_HOME}/bin/datax.py {JSON_FILE_NAME}.json \nto run the job.\nprint(jobGuid)使用 python3 命令执行自检脚本
(base) [roothadoop03 /usr/local/datax/bin]# python3 /usr/local/datax/bin/datax.py /usr/local/datax/job/job.json三、Data X 初体验
3.1 配置示例
3.1.1. 生成配置模板 DataX 的数据同步工作需要使用 json 文件来保存配置信息配置 writer、reader 等信息。我们可以使用如下的命令来生成一个配置的 json 模板在这个模板上进行修改生成最终的 json文件。
python3 /usr/local/datax/bin/datax.py -r {reader} -w {writer} 将其中的 {reader} 替换成自己想要的 reader 组件名字将其中的 {writer} 替换成自己想要的 writer 组件名字。
支持的 reader
所有的 reader 都存储于 DataX 安装目录下的 plugin/reader 目录下可以在这个目录下查看
(base) [roothadoop03 /usr/local/datax]# ls
bin conf job lib log log_perf plugin script tmp
(base) [roothadoop03 /usr/local/datax]# ls plugin/reader/
cassandrareader ftpreader hbase11xsqlreader loghubreader odpsreader otsreader sqlserverreader tsdbreader
clickhousereader gdbreader hbase20xsqlreader mongodbreader opentsdbreader otsstreamreader starrocksreader txtfilereader
datahubreader hbase094xreader hdfsreader mysqlreader oraclereader postgresqlreader streamreader
drdsreader hbase11xreader kingbaseesreader oceanbasev10reader ossreader rdbmsreader tdenginereader
支持的 writer
所有的 writer 都存储于 DataX 安装目录下的 plugin/writer 目录下可以在这个目录下查看
(base) [roothadoop03 /usr/local/datax]# ls plugin/writer/
adbpgwriter datahubwriter gdbwriter hdfswriter mongodbwriter odpswriter postgresqlwriter streamwriter
adswriter doriswriter hbase094xwriter hologresjdbcwriter mysqlwriter oraclewriter rdbmswriter tdenginewriter
cassandrawriter drdswriter hbase11xsqlwriter kingbaseeswriter neo4jwriter oscarwriter selectdbwriter tsdbwriter
clickhousewriter elasticsearchwriter hbase11xwriter kuduwriter oceanbasev10writer osswriter sqlserverwriter txtfilewriter
databendwriter ftpwriter hbase20xsqlwriter loghubwriter ocswriter otswriter starrockswriter例如需要查看 streamreader 和 streamwriter 的配置可以使用如下操作
python3 /usr/local/datax/bin/datax.py -r streamreader -w streamwriter 这个命令可以将 json 模板直接打印在控制台上如果想要以文件的形式保存下来重定向输出到指定文件
python3 /usr/local/datax/bin/datax.py -r streamreader -w streamwriter ~/stream2stream.json
3.1.2 创建配置文件
创建 stream2stream.json 文件
(base) [roothadoop03 ~]# mkdir jobs
(base) [roothadoop03 ~]# cd jobs/
(base) [roothadoop03 ~/jobs]# vim stream2stream.json
{job: {content: [{reader: {name: streamreader,parameter: {sliceRecordCount: 10,column: [{type: long,value: 10},{type: string,value: hello你好世界-DataX}]}},writer: {name: streamwriter,parameter: {encoding: UTF-8,print: true}}}],setting: {speed: {channel: 5}}}
}
3.1.3 运行 DataX
(base) [roothadoop03 ~/jobs]# python3 /usr/local/datax/bin/datax.py stream2stream.json 3.1.4 结果显示 3.2 动态传参
3.2.1. 动态传参的介绍 DataX 同步数据的时候需要使用到自己设置的配置文件其中可以定义同步的方案通常为 json 的格式。在执行同步方案的时候有些场景下需要有一些动态的数据。例如 将 MySQL 的数据同步到 HDFS多次同步的时候只是表的名字和字段不同。 将 MySQL 的数据增量的同步到 HDFS 或者 Hive 中的时候需要指定每一次同步的时间。 ... 这些时候如果我们每一次都去写一个新的 json 文件将会非常麻烦此时我们就可以使用 动态传参 所谓的动态传参就是在 json 的同步方案中使用类似变量的方式来定义一些可以改变的参数。在执行同步方案的时候可以指定这些参数具体的值。
3.2.2. 动态传参的案例
{job: {content: [{reader: {name: streamreader,parameter: {sliceRecordCount: $TIMES,column: [{type: long,value: 10},{type: string,value: hello你好世界-DataX}]}},writer: {name: streamwriter,parameter: {encoding: UTF-8,print: true}}}],setting: {speed: {channel: 1}}}
} 在使用到同步方案的时候可以使用 -D 来指定具体的参数的值。例如在上述的 json 中我们设置了一个参数 TIMES在使用的时候可以指定 TIMES 的值来动态的设置 sliceRecordCount 的值。
python3 /usr/local/datax/bin/datax.py -p -DTIMES3 stream2stream.json
3.3 迸发设置 在 DataX 的处理流程中Job 会被划分成为若干个 Task 并发执行被不同的 TaskGroup 管理。在每一个 Task 的内部都由 reader - channel - writer 的结构组成其中 channel 的数量决定了并发度。那么 channel 的数量是怎么指定的 直接指定 channel 数量 通过 Bps 计算 channel 数量 通过 tps 计算 channel 数量
3.3.1 直接指定 在同步方案的 json 文件中我们可以设置 job.setting.speed.channel 来设置 channel 的数量。这是最直接的方式。在这种配置下channel 的 Bps 为默认的 1MBps即每秒传输 1MB 的数据。
3.3.2 Bps BpsByte per second是一种非常常见的数据传输速率的表示在 DataX 中可以通过参数设置来限制总 Job 的 Bps 以及单个 channel 的Bps来达到限速和 channel 数量计算的效果。 Job Bps对一个 Job 进行整体的限速可以通过 job.setting.speed.byte 进行设置。 channel Bps对单个 channel 的限速可以通过 core.transport.channel.speed.byte 进行设置。
3.3.3 tps tpstranscation per second是一种很常见的数据传输速率的表示在 DataX 中可以通过参数设置来限制总 Job 的 tps 以及单个 channel 的 tps来达到限速和 channel 数量计算的效果。 Job tps对一个 Job 进行整体的限速可以通过 job.setting.speed.record 进行设置。 channel tps对单个 channel 的限速可以通过 core.transport.channel.speed.record 进行设置。
3.3.4. 优先级 如果同时配置了 Bps 和 tps 限制以小的为准。 只有在 Bps 和 tps 都没有配置的时候才会以 channel 数量配置为准。 上一篇文章大数据 DataX 数据同步数据分析入门-CSDN博客
