rtk建站教程,wordpress什么是分页,国内html5网站,海口网红店Doris 的集群规划和环境准备 1.1 环境要求1.1 Linux 操作系统版本需求1.2 软件需求 1.2 硬件要求1.3 节点规划1.4 通信端口1.5 IP 地址绑定 Doris 作为一款开源的 MPP 架构 OLAP 数据库#xff0c;能够运行在绝大多数主流的商用服务器上。为了能够充分运用 MPP 架构的并发优势… Doris 的集群规划和环境准备 1.1 环境要求1.1 Linux 操作系统版本需求1.2 软件需求 1.2 硬件要求1.3 节点规划1.4 通信端口1.5 IP 地址绑定 Doris 作为一款开源的 MPP 架构 OLAP 数据库能够运行在绝大多数主流的商用服务器上。为了能够充分运用 MPP 架构的并发优势以及 Doris 的高可用特性我们建议 Doris 的部署遵循以下需求。
1.1 环境要求
1.1 Linux 操作系统版本需求
Linux 系统版本CentOS 7.1 7.1 7.1 及以上Ubuntu 16.04 16.04 16.04 及以上
操作系统安装要求
# 设置系统最大打开文件句柄数
vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536✅ 时钟同步Doris 的元数据要求时间精度要小于 5000 ms所以所有集群所有机器要进行时钟同步避免因为时钟问题引发的元数据不一致导致服务出现异常。✅ 关闭交换分区swapLinux 交换分区会给 Doris 带来很严重的性能问题需要在安装之前禁用交换分区。✅ Linux 文件系统ext4 和 xfs 文件系统均支持。
1.2 软件需求
软件版本Java 1.8 1.8 1.8GCC 4.8.2 4.8.2 4.8.2 及以上
1.2 硬件要求
开发测试环境
模块CPU内存磁盘网络实例数量Frontend8核8GBSSD 或 SATA10GB千兆网卡1Backend8核16GBSSD 或 SATA50GB千兆网卡1 - 3
生产环境
模块CPU内存磁盘网络实例数量最低要求Frontend16核64GBSSD 或 RAID 卡100GB万兆网卡1 - 3Backend16核64GBSSD 或 SATA100G万兆网卡3
FE 的磁盘空间主要用于存储元数据包括日志和镜像image。通常从几百 MB 到几个 GB 不等。BE 的磁盘空间主要用于存放用户数据总磁盘空间按用户总数据量 × 33 副本计算然后再预留额外 40 40% 40 的空间用作后台合并数据以及一些中间数据的存放。一台机器上可以部署多个 BE 实例但是只能部署一个 FE。如果需要 3 副本数据那么至少需要 3 台机器各部署一个 BE 实例而不是 1 台机器部署 3 个 BE 实例。多个 FE 所在服务器的时钟必须保持一致允许最多 5 秒的时钟偏差。测试环境也可以仅适用一个 BE 进行测试。实际生产环境BE 实例数量直接决定了整体查询延迟。所有部署节点关闭 Swap。
1.3 节点规划
通常我们建议 10 10 10 ~ 100 100 100 台左右的机器来充分发挥 Doris 的性能其中 3 台部署 FEHA剩余的部署 BE。当然Doris 的性能与节点数量及配置正相关。在最少 4 台机器一台 FE三台 BE其中一台 BE 混部一个 Observer 的 FE 提供元数据备份以及较低配置的情况下依然可以平稳的运行 Doris。
如果 FE 和 BE 混部需注意资源竞争问题并保证元数据目录和数据目录分属不同磁盘。Broker 是用于访问外部数据源如 HDFS的进程。通常在每台机器上部署一个 Broker 实例即可。
关于 FE 节点的角色我们需要注意以下几点
✅ FE 角色分为 Follower 和 ObserverLeader 为 Follower 组中选举出来的一种角色以下统称 Follower。✅ FE 节点数据至少为 11 个 Follower。当部署 1 个 Follower 和 1 个 Observer 时可以实现读高可用。当部署 3 个 Follower 时可以实现读写高可用HA。✅ Follower 的数量必须为奇数Observer 数量随意。✅ 根据以往经验当集群可用性要求很高时比如提供在线业务可以部署 3 个 Follower 和 1 1 1 ~ 3 3 3 个 Observer。如果是离线业务建议部署 1 个 Follower 和 1 1 1 ~ 3 3 3 个 Observer。
假设使用 3 个 FE、5 个 BE 节点来搭建 Doris 集群部署角色如下表所示
IP节点名称角色192.168.1.10doris-fe-01Leader、Broker192.168.1.11doris-fe-02Follower、Broker192.168.1.12doris-fe-03Follower、Broker192.168.1.13doris-be-01BE192.168.1.14doris-be-02BE192.168.1.15doris-be-03BE192.168.1.16doris-be-04BE192.168.1.17doris-be-05BE
1.4 通信端口
Doris 各个实例直接通过网络进行通讯。以下表格展示了所有需要的端口。
实例名称端口名称默认端口通讯方向说明BEbe_port 9060 9060 9060FE → BEBE 上 Thrift Server 的端口用于接收来自 FE 的请求BEwebserver_port 8040 8040 8040BE ↔ BEBE 上的 HTTP Server 的端口BEheartbeat_service_port 9050 9050 9050FE → BEBE 上心跳服务端口Thrift用于接收来自 FE 的心跳BEbrpc_port 8060 8060 8060FE ↔ BEBE ↔ BEBE 上的 bRPC 端口用于 BE 之间通讯FEhttp_port 8030 8030 8030FE ↔ FE用户 ↔ FEFE 上的 HTTP Server 端口FErpc_port 9020 9020 9020BE → FEFE ↔ FEFE 上的 Thrift Server 端口每个 FE 的配置需要保持一致FEquery_port 9030 9030 9030用户 ↔ FEFE 上的 MySQL Server 端口FEarrow_flight_sql_port 9040 9040 9040用户 ↔ FEFE 上的 Arrow Flight SQL Server 端口FEedit_log_port 9010 9010 9010FE ↔ FEFE 上的 BDB JE 之间通信用的端口Brokerbroker_ipc_port 8000 8000 8000FE → BrokerBE → BrokerBroker 上的 Thrift Server用于接收请求
当部署多个 FE 实例时要保证 FE 的 http_port 配置相同。部署前请确保各个端口在应有方向上的访问权限。
1.5 IP 地址绑定
因为有多网卡的存在或因为安装过 Docker 等环境导致的虚拟网卡的存在同一个主机可能存在多个不同的 IP。当前 Doris 并不能自动识别可用 IP。所以当遇到部署主机上有多个 IP 时必须通过 priority_networks 配置项来强制指定正确的 IP。
priority_networks 是 FE 和 BE 都有的一个配置配置项需写在 fe.conf 和 be.conf 中。该配置项用于在 FE 或 BE 启动时告诉进程应该绑定哪个IP。示例如下
priority_networks10.1.3.0/24这是一种 CIDRClassless Inter-Domain Routing无类别域间路由的表示方法。FE 或 BE 会根据这个配置项来寻找匹配的IP作为自己的 localIP。 注意当配置完 priority_networks 并启动 FE 或 BE 后只是保证了 FE 或 BE 自身的 IP 进行了正确的绑定。而在使用 ADD BACKEND 或 ADD FRONTEND 语句中也需要指定和 priority_networks 配置匹配的 IP否则集群无法建立。例如 BE 的配置为priority_networks10.1.3.0/24但是在 ADD BACKEND 时使用的是ALTER SYSTEM ADD BACKEND 192.168.0.1:9050则 FE 和 BE 将无法正常通信。这时必须 DROP 掉这个添加错误的 BE重新使用正确的 IP 执行 ADD BACKEND。FE 同理。 BROKER 当前没有也不需要 priority_networks 这个选项。Broker 的服务默认绑定在 0.0.0.0 上。只需在 ADD BROKER 时执行正确可访问的 BROKER IP 即可。
