大连做网站 选领超科技,广州地铁站路线图,建筑工程找工作哪个网站好,城阳网站建设电话#x1f47d;个人博客#xff1a;https://everspring.github.io/ #x1f47d;公众号#xff1a;爱历史的IT男
一. DataX调试
DataX之前调试不是很方便#xff0c;要打包后才能调试。23年7月后一位叫FuYouJ 的开源者提交了datax-example模块#xff0c;就方…个人博客https://everspring.github.io/ 公众号爱历史的IT男
一. DataX调试
DataX之前调试不是很方便要打包后才能调试。23年7月后一位叫FuYouJ 的开源者提交了datax-example模块就方便了很多。下面说下简要使用方法 1.把配置好的reader/writer的json文件放到datax-example-streamreader的resource目录下 2.把用到的reader、writer的依赖包配置到datax-example-streamreader的pom.xml里 3.把datax-example-core下面core.json配置中的transport.channel.speed.byte改成大于-1原因就是避免运行时出现异常[DataX引擎配置错误该问题通常是由于DataX安装错误引起请联系您的运维解决 .]. - 在有总bps限速条件下单个channel的bps值不能为空也不能为非正数 4.StreamReader2StreamWriterTest.java中把path的值改一下注意是/开头默认对应的就是第1步中resource路径 5.运行即可
二. Datax-web运行
之前的python环境是直接安装的后面改成了conda安装后用Datax-web执行时提示ReturnT:ReturnT [code500, msgcommand exit value(9009) is failed, contentnull]就是python的命令找不到。除了重装python环境外还可以手动指定python.exe路径 在datax-executor模块中将ExecutorJobHandler类的 buildDataXExecutorCmd方法中 cmdArr.add(python); 改为 cmdArr.add(python.exe的路径);
三.其他问题
datax-web执行datax是通过datax.py实现的。在使用数据源是oracle的时候遇到了夏令时问题比如数据类型是date查询出来后时间会大1小时如1947-04-15 00:00:001946-05-15 00:00:001949-05-01 00:00:00查询出来是1947-04-15 01:00:001946-05-15 01:00:001949-05-01 01:00:00。这个时候需要指定时区但在datax的配置文件中不能在jdbcUrl中指定timezonejdbc:oracle:thin://127.0.0.1:1521/test?timezoneGMT8这种常用的指定方法会导致启动失败。所以需要在jvm参数中指定。在datax指定时区方式如下 datax/bin/datax.py里面DEFAULT_PROPERTY_CONF的值-Dfile.encodingUTF-8后面加一段-Duser.timezoneGMT8
