福州网站制作怎样,扬州网站开发公司,湖南做网站 地址磐石网络,室内设计资料网站3.4 数据划分 3.4.1 列定义3.4.2 分区与分桶3.4.3 PROPERTIES3.4.4 ENGINE3.4.5 其他后记 3.4 数据划分 以 3.3.2 的建表示例来理解。 3.4.1 列定义 以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。 列的基本类型#xff0c; 可以通过在 mysql-cli… 3.4 数据划分 3.4.1 列定义3.4.2 分区与分桶3.4.3 PROPERTIES3.4.4 ENGINE3.4.5 其他后记 3.4 数据划分 以 3.3.2 的建表示例来理解。 3.4.1 列定义 以 AGGREGATE KEY 数据模型为例进行说明。更多数据模型参阅 Doris 数据模型。 列的基本类型 可以通过在 mysql-client 中执行 HELP CREATE TABLE; 查看。 AGGREGATE KEY 数据模型中 所有没有指定聚合方式(SUM 、REPLACE 、MAX、 MIN) 的列视为 Key 列。而其余则为 Value 列。 定义列时 可参照如下建议 ➢ Key 列必须在所有 Value 列之前。 ➢ 尽量选择整型类型。因为整型类型的计算和查找比较效率远高于字符串。 ➢ 对于不同长度的整型类型的选择原则遵循够用即可。 ➢ 对于 VARCHAR 和 STRING 类型的长度遵循 够用即可。 ➢ 所有列的总字节长度(包括 Key 和 Value)不能超过 100KB。 3.4.2 分区与分桶 Doris 支持两层的数据划分。第一层是 Partition支持 Range 和 List 的划分方式。第二 层是 Bucket (Tablet) 仅支持 Hash 的划分方式。 也可以仅使用一层分区。使用一层分区时只支持 Bucket 划分。 3.4.2.1 Partition ➢ Partition 列可以指定一列或多列。分区类必须为 KEY 列。多列分区的使用方式在 后面介绍。 ➢ 不论分区列是什么类型 在写分区值时 都需要加双引号。 ➢ 分区数量理论上没有上限。 ➢ 当不使用 Partition 建表时系统会自动生成一个和表名同名的全值范围的 Partition。该 Partition 对用户不可见 并且不可删改。 Range 分区 分区列通常为时间列以方便的管理新旧数据。不可添加范围重叠的分区。 Partition 指定范围的方式 ⚫ VALUES LESS THAN (...) 仅指定上界系统会将前一个分区的上界作为该分区的 下界生成一个左闭右开的区间。分区的删除不会改变已存在分区的范围。删除分 区可能出现空洞。 ⚫ VALUES [...) 指定同时指定上下界 生成一个左闭右开的区间。 通过 VALUES [...) 同时指定上下界比较容易理解。这里举例说明当使用 VALUES LESS THAN (...) 语句进行分区的增删操作时 分区范围的变化情况 (1) 如上 expamle_range_tbl 示例 当建表完成后会自动生成如下 3 个分区 img (2) 增加一个分区 p201705 VALUES LESS THAN (2017-06-01) 分区结果如下 img (3) 此时删除分区 p201703 则分区结果如下 img 注意到 p201702 和 p201705 的分区范围并没有发生变化 而这两个分区之间 出现了 一个空洞[2017-03-01, 2017-04-01)。即如果导入的数据范围在这个空洞范围内是无法导 入的。 (4) 继续删除分区 p201702 分区结果如下 img 空洞范围变为 [2017-02-01, 2017-04-01) (5) 现在增加一个分区 p201702new VALUES LESS THAN (2017-03-01)分区结果 如下 img 可以看到空洞范围缩小为[2017-03-01, 2017-04-01) (6)现在删除分区 p201701并添加分区 p201612 VALUES LESS THAN (2017-01-01) 分区结果如下 img 即出现了一个新的空洞 [2017-01-01, 2017-02-01) List 分区 分 区 列 支 持 BOOLEAN, TINYINT, SMALLINT, INT, BIGINT, LARGEINT, DATE, DATETIME, CHAR, VARCHAR 数据类型分区值为枚举值。只有当数据为目标分区枚举值 其中之一时才可以命中分区。不可添加范围重叠的分区。 Partition 支持通过 VALUES IN (...) 来指定每个分区包含的枚举值。下面通过示例说明 进行分区的增删操作时 分区的变化。 (1) 如上 example_list_tbl 示例 当建表完成后会自动生成如下 3 个分区 img (2) 增加一个分区 p_uk VALUES IN (London)分区结果如下 img (3) 删除分区 p_jp 分区结果如下 img 3.4.2.2 Bucket (1) 如果使用了 Partition则 DISTRIBUTED ... 语句描述的是数据在各个分区内的划 分规则。如果不使用 Partition 则描述的是对整个表的数据的划分规则。 (2) 分桶列可以是多列但必须为 Key 列。分桶列可以和 Partition 列相同或不同。 (3) 分桶列的选择是在 查询吞吐 和 查询并发 之间的一种权衡 ① 如果选择多个分桶列则数据分布更均匀。 如果一个查询条件不包含所有分桶列的等值条件那么该查询会触发所有分桶同时 扫描这样查询的吞吐会增加单个查询的延迟随之降低。这个方式适合大吞吐低并发 的查询场景。 ② 如果仅选择一个或少数分桶列则对应的点查询可以仅触发一个分桶扫描。 此时当多个点查询并发时 这些查询有较大的概率分别触发不同的分桶扫描 各 个查询之间的 IO 影响较小(尤其当不同桶分布在不同磁盘上时) 所以这种方式适合 高并发的点查询场景。 (4) 分桶的数量理论上没有上限。 3.4.2.3 使用复合分区的场景 以下场景推荐使用复合分区 (1) 有时间维度或类似带有有序值的维度可以以这类维度列作为分区列。分区粒度 可以根据导入频次、分区数据量等进行评估。 (2) 历史数据删除需求如有删除历史数据的需求(比如仅保留最近 N 天的数据) 。 使用复合分区可以通过删除历史分区来达到目的。也可以通过在指定分区内发送 DELETE 语句进行数据删除。 (3) 解决数据倾斜问题 每个分区可以单独指定分桶数量。如按天分区当每天的数 据量差异很大时 可以通过指定分区的分桶数合理划分不同分区的数据,分桶列建议选择 区分度大的列。 3.4.2.4 多列分区 Doris 支持指定多列作为分区列示例如下 Range 分区 img 指定 date(DATE 类型) 和 id(INT 类型) 作为分区列。以上示例最终得到的分区如下 p201701_1000: [(MIN_VALUE, MIN_VALUE), (2017-02-01, 1000) ) p201702_2000: [(2017-02-01, 1000), (2017-03-01, 2000) ) p201703_all: [(2017-03-01, 2000), (2017-04-01, MIN_VALUE)) 注意 最后一个分区用户缺省只指定了 date 列的分区值所以 id 列的分区值会默 认填充 MIN_VALUE。当用户插入数据时分区列值会按照顺序依次比较最终得到对应 的分区。举例如下 img List 分区 img img 当用户插入数据时 分区列值会按照顺序依次比较最终得到对应的分区。举例如下 img 3.4.3 PROPERTIES 在建表语句的最后 PROPERTIES 中 可以指定以下两个参数 3.4.3.1 replication_num 每个 Tablet 的副本数量。默认为 3建议保持默认即可。在建表语句中 所有 Partition 中的 Tablet 副本数量统一指定。而在增加新分区时可以单独指定新分区中 Tablet 的副本 数量。 副本数量可以在运行时修改。强烈建议保持奇数。 最大副本数量取决于集群中独立 IP 的数量(注意不是 BE 数量) 。Doris 中副本分布的 原则是不允许同一个 Tablet 的副本分布在同一台物理机上 而识别物理机即通过 IP。所 以 即使在同一台物理机上部署了 3 个或更多 BE 实例如果这些 BE 的 IP 相同则依然只 能设置副本数为 1。 对于一些小并且更新不频繁的维度表可以考虑设置更多的副本数。这样在 Join 查询 时可以有更大的概率进行本地数据 Join。 3.4.3.2 storage_medium storage_cooldown_time BE 的数据存储目录可以显式的指定为 SSD 或者 HDD (通过 .SSD 或者 .HDD 后缀 区分)。建表时可以统一指定所有 Partition 初始存储的介质。注意后缀作用是显式指 定磁盘介质而不会检查是否与实际介质类型相符。 默认初始存储介质可通过 fe 的配置文件 fe.conf 中指定 default_storage_mediumxxx 如果没有指定 则默认为 HDD。如果指定为 SSD则数据初始存放在 SSD 上。 如果没有指定 storage_cooldown_time则默认 30 天后数据会从 SSD 自动迁移到 HDD 上。如果指定了 storage_cooldown_time则在到达 storage_cooldown_time 时间后数据才会 迁移。 注意 当指定 storage_medium 时如果 FE 参数 enable_strict_storage_medium_check 为 False 该参数只是一个“尽力而为”的设置。即使集群内没有设置 SSD 存储介质 也不会报 错 而是自动存储在可用的数据目录中。 同样 如果 SSD 介质不可访问、空间不足都可 能导致数据初始直接存储在其他可用介质上。而数据到期迁移到 HDD 时 如果 HDD 介质 不 可 访 问 、 空 间 不 足 也 可 能 迁 移 失 败 (但 是 会 不 断 尝 试 ) 。 如果 FE 参数 enable_strict_storage_medium_check 为 True 则当集群内没有设置 SSD 存储介质时会报错 Failed to find enough host in all backends with storage medium is SSD。 3.4.4 ENGINE 本示例中 ENGINE 的类型是 olap即默认的 ENGINE 类型。在 Doris 中只有这个 ENGINE 类型是由 Doris 负责数据管理和存储的。其他 ENGINE 类型如mysql 、broker、 es 等等本质上只是对外部其他数据库或系统中的表的映射以保证 Doris 可以读取这些数 据。而 Doris 本身并不创建、管理和存储任何非 olap ENGINE 类型的表和数据。 3.4.5 其他 IF NOT EXISTS 表示如果没有创建过该表 则创建。注意这里只判断表名是否存在 而不会判断新建表结构是否与已存在的表结构相同 后记 博客主页https://manor.blog.csdn.net 欢迎点赞 收藏 ⭐留言 如有错误敬请指正 本文由 Maynor 原创首发于 CSDN博客 不能老盯着手机屏幕要不时地抬起头看看老板的位置⭐ 专栏持续更新,欢迎订阅https://blog.csdn.net/xianyu120/category_12401955.html 本文由 mdnice 多平台发布
