湖北神润建设工程有限公司网站,网站需要审核吗,南京制作网站服务商,巨量算数关键词查询主要介绍操作类问题中的集群管理问题。
无法成功创建数据仓库集群时怎么处理#xff1f;
请检查用户账户余额是否少于100元#xff0c;是否已经没有配额创建新的数据仓库集群#xff0c;以及是否存在网络问题。
如账户余额、配额、网络均未发现问题#xff0c;请联系客户…主要介绍操作类问题中的集群管理问题。
无法成功创建数据仓库集群时怎么处理
请检查用户账户余额是否少于100元是否已经没有配额创建新的数据仓库集群以及是否存在网络问题。
如账户余额、配额、网络均未发现问题请联系客户经理请客户经理联系后台服务人员为您排查原因并解决问题。
如何清理与回收存储空间
DWS 数据仓库中保存的数据在删除后可能没有释放占用的磁盘空间形成脏数据导致磁盘浪费、创建及恢复快照性能下降等问题如何清理
清理与回收存储空间对系统的影响如下
删除无用的脏数据释放存储空间。数据库将进行大量读写操作可能影响正常使用建议选择空闲时间执行。数据库的存储空间越大即数据可能越多清理的时间越长。
清理与回收存储空间操作步骤如下
1.连接数据库。具体操作步骤请参见《数据仓库服务用户指南》中“连接集群”章节。
2.执行以下命令清理与回收存储空间。
VACUUM FULL;
默认清理当前用户在数据库中拥有权限的每一个表。没有权限的表则直接跳过回收操作。
当系统显示以下内容时表示清理完成
VACUUM
VACUUM FULL回收所有过期的行空间但是它需要对每个正在处理的表进行独占锁定并且可能需要很长时间才能完成大型分布式数据库表。一般建议对指定表执行VACUUM FULL若需要对整个数据库执行VACUUM FULL建议在数据库维护期间操作。使用FULL参数会导致统计信息丢失如果需要收集统计信息请在语句命令中加上analyze关键字。例如执行 VACUUM FULL ANALYZE; 命令。VACUUM的语法请参见《数据仓库服务数据库开发指南》中的相关章节。
为什么扩容后已使用存储容量比扩容前减少了很多
原因分析
扩容前如果您没有执行vacuum清理和回收存储空间DWS 数据仓库中之前被删除的数据可能没有释放占用的磁盘空间形成脏数据导致磁盘浪费。
而在扩容时系统会做一次重分布集群扩容时新节点添加完成后原节点存储的业务数据明显多于新节点此时系统自动在所有节点重新分布保存数据。在开始做重分布时系统会自动执行一次vacuum从而释放了存储空间因此扩容后已使用存储容量减少了很多。
处理方法
建议您定期做vacuum full清理与回收存储空间防止数据膨胀。
如果执行vacuum后已使用存储容量仍然占用过高请分析现有集群规格是否满足业务需求若不满足建议您对集群进行扩容。
如何查看DWS各节点的指标例如CPU使用率、内存使用率、磁盘利用率、磁盘使用量等
集群已使用容量指标可通过云监控管理控制台查看。查看方法
1.登录DWS管理控制台单击集群列表中某个集群右侧的“查看监控指标”进入云监控管理控制台。
2.单击 返回云服务监控界面默认显示“数据仓库节点”再单击对应节点右侧的“查看监控指标”可查看某个节点的“磁盘使用量”。
DWS的磁盘空间/容量是如何统计的
1.DWS的磁盘总容量统计以3个数据节点为例假设每个节点320G总容量为960G。当存入一个1G的数据DWS因为副本机制会将这1G的数据在两个节点中都各存一份共占2G的空间如果再加上元数据、索引等实际1G的数据存入DWS后占用的空间不止2G。所以总容量为960G的3节点集群总量能存480G的数据。因为存储硬盘本身不贵客户数据才珍贵。
客户在云的DWS控制台上搭建的时候页面已经是按照一个节点的真正容量空间来统计的。比如dws.m3.xlarge在搭建页面是160G但实际这个节点的磁盘是有320G的已经将这个320G显示为160G了便于客户按实际落盘数据进行搭建。
2.单个节点磁盘的使用情况的确认
同样的以总容量为960G3个数据节点为例那么每个节点的磁盘容量就是320G。
登录DWS控制台选择“监控节点监控概览”显示每个节点的磁盘以及其他资源占用情况。
说明
l 节点管理看到的磁盘空间是DWS集群内所有的磁盘即系统盘、数据盘加到一起的容量而在概览里看到的磁盘空间只是集群内能做表数据存储的可用空间另外DWS集群中表是有备份的副本数的表的备份数据也是需要占用磁盘存储的。
l 如果已确定由于磁盘空间不足导致集群状态只读告警磁盘不可用的异常场景时可参考“扩容集群”章节进行节点扩容处理。
增加CN和扩容集群分别在什么场景下使用
CN并发介绍
CN全称协调节点Coordinator Node。是和用户关系最密切也是DWS内部非常重要的一个组件它负责提供外部应用接口、优化全局执行计划、向Datanode分发执行计划以及汇总、处理执行结果。CN是外部应用的接口CN的并发能力直接决定了业务的并发度。
单CN的并发能力受如下几个参数控制
max_connections 允许和数据库连接的最大并发连接数。此参数会影响集群的并发能力。默认值与集群规格有关具体参见 “管理数据库连接”章节。max_active_statements 设置全局的最大并发数量。此参数只应用到CN且针对一个CN上的执行作业。默认值60最多允许60个作业同时运行其余作业将会排队。
选择增加CN还是扩容集群
连接数不足初次创建集群时集群默认的CN节点数是3能基本满足客户的连接需求。当集群属于高并发请求各CN节点的连接数很大或CN节点的CPU明显高于DN节点的CPU时建议增加CN节点数量具体参见“管理CN节点”章节。存储容量和性能不足随着您的业务规模扩张对数据存储容量和性能有更高的要求时或者集群整体CPU不足时建议通过扩容集群进行集群节点的扩容。详情请参见 “扩容集群”章节。
随着业务规模扩大集群扩容到一定节点规模后也必然需要增加相应的CN节点满足DWS的分布式要求。简言之增加CN不一定需要扩容集群但是扩容集群后会伴随着增加CN节点的需求。
