手机能搭建网站吗,html百科网站模板,网站的ppt方案怎么做,企业网站的概念作者 | 刘宇星
本文作者总结了在使用Apache DolphinScheduler过程中遇见过的常见问题及其解决方案#xff0c;包括日志出现乱码、worker日志太多磁盘报警、版本更新导致不兼容问题等#xff0c;快来看看有没有困扰你想要的答案吧#xff01;
DolphinScheduler集群环境有多…
作者 | 刘宇星
本文作者总结了在使用Apache DolphinScheduler过程中遇见过的常见问题及其解决方案包括日志出现乱码、worker日志太多磁盘报警、版本更新导致不兼容问题等快来看看有没有困扰你想要的答案吧
DolphinScheduler集群环境有多台worker(worker1, worker2, worker3)多个任务节点串行执行时因为worker在不同服务器上执行调度任务需要的文件需要每个worker上传非常麻烦/后面执行的任务读取不到前面任务执行后生成的文件/数据怎么办
可以在worker之间配置共享目录如NFS具体配置方式参考 https://blog.csdn.net/Dark_Tk/article/details/114100517。
或者配置worker组只包含一个worker1指定运行该工作流的worker组。
用shell节点执行shell脚本时中间某个命令执行报错但没有中断退出而是继续执行最后一行命令执行成功后整个节点的执行状态也是成功导致节点任务状态与预期不符怎么办
在当前脚本第一行加上
set -xeuo pipefail
后脚本中的命令执行报错后会立即退出注意该命令只对当前bash环境生效且无法继承对执行脚本的子环境不生效。
日志出现乱码怎么办
DolphinScheduler添加启动参数 -Dfile.encodingutf-8 执行echo $LANG检查系统编码是否为 zh_CN.UTF-8 如不是则修改LANG环境变量为该值。
DolphinSchedulr worker的日志太多太大了磁盘经常警告空间不足怎样配置实现自动清理日志
在每个服务的 conf 目录下都有logback-spring.xml 可以配置日志清理策略根据需要自行配置。
configurationappender nameFILE classch.qos.logback.core.rolling.RollingFileAppenderfile${LOG_FILE}/filerollingPolicy classch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy!--日志文件输出的文件名--fileNamePattern${LOG_FILE}-%d{yyyy-MM-dd}.%i.gz/fileNamePattern!--单个日志文件的最大体积--maxFileSize100MB/maxFileSize!--日志保留时长 30天--maxHistory30/maxHistory!-- 所有归档日志文件的总大小 --totalSizeCap20GB/totalSizeCap!-- 是否在应用启动的时候删除历史日志 --cleanHistoryOnStarttrue/cleanHistoryOnStart/rollingPolicyencoderpattern%d{yyyy-MM-dd HH:mm:ss.SSS} %-4relative [%thread] %-5level %logger{35} - %msg%n/patterncharsetutf8/charset/encoder/appenderroot levelDEBUGappender-ref refFILE //rootconfiguration
DolphinScheduler任务插件太复杂/不会用/版本更新导致潜在的不兼容问题怎么处理
任务插件的使用可以查看官方文档 https://dolphinscheduler.apache.org/zh-cn/docs/3.2.1/%E5%8A%9F%E8%83%BD%E4%BB%8B%E7%BB%8D_menu/%E4%BB%BB%E5%8A%A1%E7%B1%BB%E5%9E%8B_menu
推荐使用shell替代其他任务节点类型其他类型的任务插件本质上也是在执行shell或有等效的命令行当然这要求开发人员对相关任务命令行的使用也提出了更高的要求好处是用shell更灵活更解耦和自行权衡利弊使用。
插件里的内容不方便做版本对比怎么处理
建议针对业务内容维护单独的git仓库,更方便做版本对比和留痕。 本文由 白鲸开源科技 提供发布支持
