云南网站设计哪家专业,在线音乐网站开发教程,网站设计 字体的搭配,网站关键字没有排名文章摘抄阿里云EMR上的StarRocks实践#xff1a;《基于实时计算Flink使用CTASCDAS功能同步MySQL数据至StarRocks》
前言 CTAS可以实现单表的结构和数据同步#xff0c;CDAS可以实现整库同步或者同一库中的多表结构和数据同步。下文主要介绍如何使用Flink平台和E-MapRed… 文章摘抄阿里云EMR上的StarRocks实践《基于实时计算Flink使用CTASCDAS功能同步MySQL数据至StarRocks》
前言 CTAS可以实现单表的结构和数据同步CDAS可以实现整库同步或者同一库中的多表结构和数据同步。下文主要介绍如何使用Flink平台和E-MapReduce StarRocks通过CTASCDAS功能实现实时数仓中TPTransaction Processing和APAnalytical Processing数据同步的场景。
一、背景信息 通过CTASCREATE TABLE AS语句可以在StarRocks中自动创建和Mysql中表结构一致的表并进行数据同步还能实时同步上游Schema的变更到下游表提高在目标存储中创建表和维护源表结构变更的效率。 当执行CTAS语句时Flink会按照以下流程执行
1检查目标存储中是否存在该目标表。
如果不存在则通过目标端Catalog在目标存储中创建相应的目标表该目标表具有和数据源相同的Schema如果不存在则跳过建表。如果已存在的目标表和源表Schema不一致则会报错提示。
2提交和启动相应的数据同步作业。同步数据源的数据以及Schema的变更到目标表中。 表结构变更同步策略通过CTAS语句在实时同步数据的同时还能同步源表Schema的变更到目标表中。 Schema变更包括初始表的创建以及未来表的变更。 1.当前支持同步的Schema变更
添加可空列自动在目标表Schema末尾添加对应的列并自动同步新增列的数据删除可空列不会直接在目标表中删除该列而是将该列的数据自动填充为null值重命名列被看做添加列和删除列。直接在目标表中末尾添加重命名后的列并将重命名前的列数据自动填充为NULL值。例如如果col_a重命名为col_b则会在目标表末尾添加col_b并自动将col_a的数据填充为NULL值。 2.暂不支持同步的Schema变更
数据类型的变更例如由VARCHAR变为BIGINT由NOT NULL变为NULLABLE属性。主键或索引等约束的变更非空列的增加或删除的变更DDL中字段长度的调整
3.注意事项 如果遇到不支持的Schema变更则需要您手动删除下游目标表重新启动CTAS作业即重新创建目标表并重新同步历史数据。 CTAS不会识别具体的DDL类型而是对比前后两条数据的Schema差异。因此如果您先删除了某列后又加回了该列且这两个DDL之间无数据变化则CTAS会认为没有发生结构变更。同理如果您添加了一列直到该表有数据变化CTAS才会感知到结构变更才会同步结构变更到目标表。 通过CTAS建表支持的字段类型信息见文章数据类型概述 | StarRocks 二、同步测试 Mysql数据实时同步到StarRocksSR的操作流程参见文章地址基于Flink平台同步MySQL数据至StarRocks_开源大数据平台 E-MapReduce(EMR)-阿里云帮助中心CTAS可以实现单表的结构和数据同步CDAS可以实现整库同步或者同一库中的多表结构和数据同步。本文为您介绍如何使用实时计算Flink平台和E-MapReduce StarRocks通过CTASCDAS功能实现实时数仓中TPTransaction Processing和APAnalytical Processing数据同步的场景。https://help.aliyun.com/zh/emr/emr-on-ecs/user-guide/use-the-ctas-and-cdas-statements-of-realtime-compute-for-apache-flink-to-synchronize-data-from-an-apsaradb-rds-for-mysql-instance-to-a-starrocks-cluster?spma2c4g.11186623.0.0.4aee4d38LFbGou 参考文章
基于Flink平台同步MySQL数据至StarRocks_开源大数据平台 E-MapReduce(EMR)-阿里云帮助中心
