文创设计网站,十大品牌买购网,做手机软件需要学什么,室内设计招聘网站有哪些一. 背景介绍
1. ETL是什么 ETL#xff08;Extract-Transform-Load#xff09;#xff0c;即数据抽取、转换、装载的过程。它是一种思想#xff0c;主要是说#xff0c;从不同的数据源获取数据#xff0c;并通过对数据进行处理#xff08;格式#xff0c;协议等转换Extract-Transform-Load即数据抽取、转换、装载的过程。它是一种思想主要是说从不同的数据源获取数据并通过对数据进行处理格式协议等转换最后将处理后的数据提供给其他系统使用。当然这个过程就是软件研发尤其是后端研发最核心的工作。
2. Kettle概念
kettle翻译为中文叫做水壶显而易见水壶不管壶里面装的是什么液体最终都会从壶嘴平滑的流出来。就好比不管水壶装的是什么类型的数据最后都会通过壶嘴以特定的格式流出来。其实就是对ETL思想的一种实现它是通过java语言编写秉承ETL思想的工具。既然是此采用java实现的那就肯定具有跨平台的特性。
3. kettle组成 kettle既然是一种工具要处理不同数据源的异构数据那就要求它能够进行图形化操作在UI界面上对数据源进行数据治理最终所有的图形化处理都要能够保存为kettle可识别的文件。
kettle主要生成两种类型的文件一种转换文件一种是任务文件即transformation和jobtransformation完成针对数据的基础转换job则完成整个工作流的控制。
这两种文件之间是可以相互调用的已达到最终的数据清洗目的
二. Kettle docker界面化部署 github地址HiromuHota/pentaho-kettle: webSpoon is a web-based graphical designer for Pentaho Data Integration with the same look feel as Spoon (github.com) dockerhub地址 : hiromuhota/webspoon - Docker 镜像 |Docker 中心 1. 安装命令
docker pull hiromuhota/webspoon2. 启动服务命令
docker run -d -p 8080:8080 hiromuhota/webspoon
3. 界面汉化
1启动之后界面为英文 2进入 kettle容器编辑
docker exec -it -u 0 容器id /bin/bash cd /usr/local/tomcat/bin 编辑 setenv.sh
CLASSPATH/usr/local/tomcat/lib/webspoon-security-9.0.0.0-423-22.jar
# 加入以下两行
CATALINA_OPTS-Dorg.apache.tomcat.util.buf.UDecoder.ALLOW_ENCODED_SLASHtrue
JAVA_OPTS-Duser.languagezh -Duser.regionCN -Dfile.encodingUTF-8 3容器重启
docker restart 容器id 重启成功再次访问地址 汉化成功 三. SQLserver 与 Mysql 驱动下载与连接
1. 下载
链接: https://pan.baidu.com/s/1Cr9pJmsSJVsq4im9hMeuPg?pwdygsj
提取码: ygsj 复制这段内容后打开百度网盘手机App
2. 将驱动放置到下方容器位置重启容器
/usr/local/tomcat/webapps/spoon/WEB-INF/lib
3. 数据库连接 四. 数据全量同步以及设置定时任务
1. 将Sqlserver数据同步到mysql两表数据保持完全一致 2. 拖拽两个表输入配置如图因为要合并记录实际是对两张表数据进行比较所以获取SQL获取数据/字段等要一致。
表输入 字段选择元数据也全选 合并记录 数据同步 标志字段设置标志字段的名称标志字段用于保存比较的结果比较结果有下列几种。 1. “identical” – 旧数据和新数据一样 2. “changed” – 数据发生了变化; 3. “new” – 新数据中有而旧数据中没有的记录 4. “deleted” –旧数据中有而新数据中没有的记录
将数据文件保存到自定义位置 点击作业切换到任务界面 点击运行
