汕头网站seo外包,网页小游戏4933,域名服务器搭建,外贸网站建设开发安装部署的流程可参考官网的文档
Version 3.1.8/部署指南/伪集群部署(Pseudo-Cluster) https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8/guide/installation/pseudo-cluster
本文开始之前#xff0c;我先补充说明一下升级 Apache DolphinScheduler 的几个关键点
元数…
安装部署的流程可参考官网的文档
Version 3.1.8/部署指南/伪集群部署(Pseudo-Cluster) https://dolphinscheduler.apache.org/zh-cn/docs/3.1.8/guide/installation/pseudo-cluster
本文开始之前我先补充说明一下升级 Apache DolphinScheduler 的几个关键点
元数据备份
做好已有元数据做备份以 MySQL 为例元数据存储在 Mysql 的 dolphinscheduler 数据库里
伪代码
mysqldump -u root -p dolphinscheduler dolphinscheduler_backup_XXX.sql
apache-dolphinscheduler-3.1.8-bin/bin/env/install_env.sh
apache-dolphinscheduler-3.1.8-bin/bin/env/dolphinscheduler_env.sh
这两个文件的配置项可以从旧版本的相应文件里直接复制粘贴
需要将使用到的数据库比如 MySQL的 connector (本人亲测 mysql-connector-java-8.0.30.jar 适用其他 connector 版本未测试)放到相应的 libs 库里
api-server/libs
alert-server/libs
master-server/libs
worker-server/libs
tools/libs
伪代码如下
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/alert-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs
cp XXX/mysql-connector-java-8.0.30.jar XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs
common.properties 文件需要修改相应的参数
alert-server/conf/common.propertiesapi-server/conf/common.propertiesmaster-server/conf/common.propertiesworker-server/conf/common.properties
本人升级时只修改了
api-server/conf/common.properties
worker-server/conf/common.properties
这两个文件的三个参数 resource.storage.type
resource.storage.upload.base.path
resource.hdfs.fs.defaultFS 需要注意的是3.1.8 此文件的有些参数名和 3.0.0 此文件中的参数名有变化。
3.0.0 参数 resource.upload.path
对应
3.1.8 参数 resource.storage.upload.base.path
3.0.0 参数 fs.defaultFS
对应
3.1.8 参数 resource.hdfs.fs.defaultFS
CDH集群升级
如果是 CDH 集群比如 CDH 6.2.1升级使用 Apache DolphinScheduler 3.1.8
还需要替换相应的 Zookeeper jar 包 否则会有 Zookeeper Failed to delete registry key 报错提示
参考文章
Dolphin3.0在伪集群模式下总是会报zookeeper Failed to delete registry key我该怎么排查这个问题 https://github.com/apache/dolphinscheduler/discussions/11948
看看是不是 Zookeeper 的版本不兼容DolphinScheduler3.1.8 版本的 zookeeper 和 curator 是下面这个:
curator-client-5.3.0.jarcurator-recipes-5.3.0.jarcurator-framework-5.3.0.jarzookeeper-3.8.0.jar
将/api-server/libsmaster-server/libsworker-server/libs/tools/libs 下的 zookeepercurator 的版本替换成 Zookeeper 服务版本一致才行。
注意zookeeper-3.4.x 对应的 curator-*版本必须是 4.2.0
CDH6.2.1 使用的是
ZooKeeper
3.4.5cdh6.2.1
即 Zookeeper-3.4.5 版本需要下载相应的 jar 包 zookeeper-3.4.5.jar,可从如下网站上搜索下载 jar 包:https://nowjava.com/jar/
此外还需要下载下面三个 jar 包
curator-client-4.2.0.jar curator-recipes-4.2.0.jar curator-framework-4.2.0.jar
即
zookeeper-3.4.5.jarcurator-client-4.2.0.jar curator-recipes-4.2.0.jar curator-framework-4.2.0.jar
将这 4 个 jar 包放到如下
api-server/libsmaster-server/libsworker-server/libstools/libs
这四个目录并替换原先的版本 jar 包伪代码如下
#######################
cd XXX/apache-dolphinscheduler-3.1.8-bin/api-server/libs/ rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar . rm -f curator-*
cp XXXX/curator-*4.2* . ####################### cd XXX/apache-dolphinscheduler-3.1.8-bin/master-server/libs rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar . rm -f curator-*
cp XXXX/curator-*4.2* . ####################### cd XXX/apache-dolphinscheduler-3.1.8-bin/worker-server/libs rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar . rm -f curator-*
cp XXXX/curator-*4.2* . ####################### cd XXX/apache-dolphinscheduler-3.1.8-bin/tools/libs rm -f zookeeper-3.8.0.jar
cp XXXX/zookeeper-3.4.5.jar . rm -f curator-*
cp XXXX/curator-*4.2* . #######################
以上这五点都修改完后停掉 Apache DolphinScheduler 3.0.0
伪代码
su - dolphinschedulercd XXXX/apache-dolphinscheduler-3.0.0-bin# 一键停止集群所有服务bash ./bin/stop-all.sh
初始化 DolphinScheduler 3.1.8
cd XXXX/apache-dolphinscheduler-3.1.8-bin sh ./tools/bin/upgrade-schema.shcd XXXX/apache-dolphinscheduler-3.1.8-bin sh ./bin/install.sh 到这里就升级完成了 本文由 白鲸开源科技 提供发布支持
