学校网站建设培训方案模板,建视频网站系统吗,什么网址可以玩大型游戏,网站优化难吗一、目的
在Linux上脚本运行kettle的转换任务、无论是Linux本地还是Linux资源库都成功后#xff0c;接下来就是用海豚调度Linux上kettle任务
尤其是团队开发中#xff0c;基本都要使用共享资源库#xff0c;所以我直接使用海豚调度Linux资源库的kettle任务脚本
二、前提条…一、目的
在Linux上脚本运行kettle的转换任务、无论是Linux本地还是Linux资源库都成功后接下来就是用海豚调度Linux上kettle任务
尤其是团队开发中基本都要使用共享资源库所以我直接使用海豚调度Linux资源库的kettle任务脚本
二、前提条件
一海豚调度器和kettle安装在同一台服务器上
二kettle的资源库的转换任务脚本在Linux上先跑一遍没问题说明脚本没问题这是前提
三先开启海豚调度器的服务
1、先开启zookeeper服务
2、再开启海豚调度器服务
3、开启服务后jps查看一下 如图所示上面5个是海豚服务下面1个是zookeeper服务
四最好先浏览鄙人拙作一百六十四、Kettle——Linux上脚本运行kettle的转换任务Linux本地、Linux资源库
http://t.csdn.cn/fP4XBhttp://t.csdn.cn/fP4XB这篇博文专讲Linux上如何用脚本运行kettle的转换任务
三、实施步骤
一启动海豚调度器后创建kettle脚本运行的项目 二在kettle项目里创建工作流 三在工作流中拖拽左侧的SHELL工具栏然后输入节点名称、描述以及脚本最后点击确认添加 注意脚本即是Linux中运行的kettle脚本内容
#!/bin/bash source /etc/profile
/opt/install/kettle9.2/data-integration/pan.sh -rephurys_linux_kettle_repository -useradmin -passadmin -dir/mysql_to_hdfs/ -trans01_MySQL_to_HDFS_t_event_dispose levelBasic /home/log/kettle/01_MySQL_to_HDFS_t_event_dispose_date %Y%m%d.log
四SHELL工具配置好后点击右上方的保存设置DAG图名称以及租户点击添加 五工作流先上线再执行这里没有设置定时只演示调度 六查看工作流实例结束时间为2023-08-24 14:00:21 工作流执行成功
七 由于kettle任务是从MySQL到HDFS所以还可以到Hadoop中验证一下文件 Hadoop中的文件时间是14:00
八由于脚本中的pan语句导出日志到日志文件因此可以查看日志文件
1、查看14:00的日志文件 2、vi 01_MySQL_to_HDFS_t_event_dispose_20230824.log 可以看到日志中kettle的转换任务执行成功 到这里用海豚调度Linux资源库中的kettle任务脚本的展示就结束了至于定时设置那要根据不同的需求而设置之前已有博客展示过所以这边就只展示海豚调度kettle任务脚本 乐于奉献共享帮助你我他
