网站用什么做,wordpress主题下载资源,那个手机网最好,如何苗木网站建设数据库同步服务-DatalinkX
项目特性
简单易用#xff1a;通过Web页面快速创建数据源、同步任务#xff0c;操作简单#xff0c;一分钟上手定时触发#xff1a;对接xxl-job定时#xff0c;设置cron表达式触发同步任务配置化任务对接#xff1a;将数据库信息、任务详情界…数据库同步服务-DatalinkX
项目特性
简单易用通过Web页面快速创建数据源、同步任务操作简单一分钟上手定时触发对接xxl-job定时设置cron表达式触发同步任务配置化任务对接将数据库信息、任务详情界面化配置高性能同步使用高性能流式flink计算引擎容器化部署支持docker部署
项目技术栈 依赖 版本 描述 Spring Boot 3.2.1 项目脚手架 SpringData JPA 3.2.1 持久层框架 MySQL 8.0 DB数据库 ElasticSearch 7.x 支持流转的数据库 Redis 5.0 ↑ 缓存数据库 ChunJun(原FlinkX) 1.10_release 袋鼠云开源数据同步框架 Flink 1.10.3 分布式大数据计算引擎 Xxl-job 2.3.0 分布式调度框架 Retrofit2 2.9.0 RPC通信服务 Jackson 2.11.4 反序列化框架 Maven 3.6.X Java包管理 Vue.js 2.X 前端框架 AntDesignUI 3.0.4 前端UI Docker 容器化部署
启动姿势
中间件
执行 docker compose -p datalinkx up -d 命令将各组件启动
手动搭建组件linux
xxl-job: https://github.com/xuxueli/xxl-job/archive/refs/tags/2.3.0.zip 纯Java项目可clone代码后打包成jar包启动xxl-job依赖mysql需要修改对应数据库地址配置表结构在/xxl-job-2.3.0/doc/db/tables_xxl_job.sql导入mysql即可。
flinkhttps://archive.apache.org/dist/flink/flink-1.10.3/ 选择flink-1.10.3-bin-scala_2.12.tgz下载解压进入bin目录执行./start-cluster.sh首次运行默认只有一个任务slot访问http://localhost:8081 进去flink后台页面。
DB层
执行 /datalinkx-server/src/main/resources/db.sql
后端
运行datalinkx-server与datalinkx-job模块datalinkx-server与front交互依赖mysql、redisdatalinkx-job负责提交、维护任务的生命周期依赖xxl-job、flink服务启动后会默认使用netty启动${xxl.job.executor.port} 负责监听xxl-job的任务事件任务执行详细信息通过datalinkx-client的rpc能力访问${client.dataserver}如果更改了datalinkx-server端口需要同步更改datalinkx-job配置项${client.dataserver}。${flinkx.path}配置flinkx模块的路径遇到依赖问题执行 mvn clean -Uflinkx模块为单独的项目需要手动执行mvn clean install -U -Dmaven.test.skiptrue -Dcheckstyle.skiptrue将插件打包打包后配置好flinkx/flinkconf中flink的地址jobmanager.rpc.address:和端口rest.port即可
前端
yarn install export NODE_OPTIONS--openssl-legacy-provider yarn run serve
