企业网站怎么做推广,南宁seo外包要求,做网站买那种服务器,正在跳转页面1 概述
SeaTunnel 是一个分布式、高性能、易扩展的数据集成平台#xff0c;专注于海量数据#xff08;包括离线和实时数据#xff09;同步和转化。MatrixOne 支持使用 SeaTunnel 从其他数据库同步数据#xff0c;可以稳定高效地处理数百亿条数据。
本文档将介绍如何使用 …1 概述
SeaTunnel 是一个分布式、高性能、易扩展的数据集成平台专注于海量数据包括离线和实时数据同步和转化。MatrixOne 支持使用 SeaTunnel 从其他数据库同步数据可以稳定高效地处理数百亿条数据。
本文档将介绍如何使用 SeaTunnel 向 MatrixOne 中写入数据。 2 开始前准备
在使用 SeaTunnel 向 MatrixOne 写入数据之前请确保完成以下准备工作
已完成安装和启动 MatrixOne。已完成安装 SeaTunnel Version 2.3.3。安装完成后可以通过 shell 命令行定义 SeaTunnel 的安装路径
export SEATNUNNEL_HOME/root/seatunnel
3 操作步骤
创建测试数据
Step 1
创建名为 test1 的 MySQL 数据库并在其中创建名为 test_table 的表存储在 root 下的 mysql.sql 中。以下是 MySQL 的 DDL 语句
create database test1;
use test1;
CREATE TABLE test_table (name varchar(255) DEFAULT NULL,age int(11) DEFAULT NULL
) ENGINEInnoDB DEFAULT CHARSETutf8;
Step 2
使用 mo_ctl 工具将 MySQL 的 DDL 语句直接导入至 MatrixOne。执行以下命令
mo_ctl sql /root/mysql.sql
安装 Connectors 插件
本篇文档中将介绍如何使用 SeaTunnel 的 connector-jdbc 连接插件连接 MatrixOne。
Step 1
在 SeaTunnel 的 ${SEATNUNNEL_HOME}/config/plugin_config 文件中添加以下内容
--connectors-v2--
connector-jdbc
--end--
Step 2
版本 2.3.3 的 SeaTunnel 二进制包默认不提供连接器依赖项你需要在首次使用 SeaTunnel 时执行以下命令来安装连接器
sh bin/install-plugin.sh 2.3.3
4 定义任务配置文件
在本篇文档中我们使用 MySQL 数据库的 test_table 表作为数据源不进行数据处理直接将数据写入 MatrixOne 数据库的 test_table 表中。
那么由于数据兼容性的问题需要配置任务配置文件 ${SEATNUNNEL_HOME}/config/v2.batch.config.template它定义了 SeaTunnel 启动后的数据输入、处理和输出方式和逻辑。
按照以下内容编辑配置文件
env {execution.parallelism 2job.mode BATCH
}source {Jdbc {url jdbc:mysql://192.168.110.40:3306/testdriver com.mysql.cj.jdbc.Driverconnection_check_timeout_sec 100user rootpassword 123456query select * from test_table}
}transform {}sink {jdbc {url jdbc:mysql://192.168.110.248:6001/testdriver com.mysql.cj.jdbc.Driveruser rootpassword 111query insert into test_table(name,age) values(?,?)}
}
安装数据库依赖项
下载 mysql-connector-java-8.0.33.jar并将文件复制到 ${SEATNUNNEL_HOME}/plugins/jdbc/lib/ 目录下。
运行 SeaTunnel 应用
执行以下命令启动 SeaTunnel 应用
./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local查看运行结果
SeaTunnel 运行结束后将显示类似以下的统计结果汇总了本次写入的用时、总读取数据数量、总写入数量以及总写入失败数量
***********************************************Job Statistic Information
***********************************************
Start Time : 2023-08-07 16:45:02
End Time : 2023-08-07 16:45:05
Total Time(s) : 3
Total Read Count : 5000000
Total Write Count : 5000000
Total Failed Count : 0
***********************************************
你已经成功将数据从 MySQL 数据库同步写入到 MatrixOne 数据库中。 关于MatrixOne
MatrixOne 是一款基于云原生技术可同时在公有云和私有云部署的多模数据库。该产品使用存算分离、读写分离、冷热分离的原创技术架构能够在一套存储和计算系统下同时支持事务、分析、流、时序和向量等多种负载并能够实时、按需的隔离或共享存储和计算资源。云原生数据库MatrixOne能够帮助用户大幅简化日益复杂的IT架构提供极简、极灵活、高性价比和高性能的数据服务。
MatrixOne企业版和MatrixOne云服务自发布以来已经在互联网、金融、能源、制造、教育、医疗等多个行业得到应用。得益于其独特的架构设计用户可以降低多达70%的硬件和运维成本增加3-5倍的开发效率同时更加灵活的响应市场需求变化和更加高效的抓住创新机会。在相同硬件投入时MatrixOne可获得数倍以上的性能提升。
MatrixOne秉持开源开放、生态共建的理念核心代码全部开源全面兼容MySQL协议并与合作伙伴打造了多个端到端解决方案大幅降低用户的迁移和使用成本也帮助用户避免了供应商锁定风险。 MatrixOrigin 官网新一代超融合异构开源数据库-矩阵起源深圳信息科技有限公司 MatrixOne
Github 仓库GitHub - matrixorigin/matrixone: Hyperconverged cloud-edge native database
关键词超融合数据库、多模数据库、云原生数据库、国产数据库
