线圈 东莞网站建设,移动互联网开发培训,滁州做网站的公司,企业网站建设的目标1.Configuration描述 HBase采用hadoop中的Configuration对象来加载配置文件信息 2.HMaster作用 a.监控集群中所有的regionserver b.对元数据进行管理 c.通常情况下#xff0c;HMaster和NameNode在一个节点上 d.管理regionserver的故障转移和region分区 表级操作#xff1a;Ta…1.Configuration描述 HBase采用hadoop中的Configuration对象来加载配置文件信息 2.HMaster作用 a.监控集群中所有的regionserver b.对元数据进行管理 c.通常情况下HMaster和NameNode在一个节点上 d.管理regionserver的故障转移和region分区 表级操作Table(createTable,modifyTable,removeTable,enable,disable) 列簇操作ColumnFamily(addColumn,modifyColumn,removeColumn) 分区操作Region(move,assign,unassign) 负载均衡LoadBalancer 3.RegionServer作用 a.负责服务和管理region b.通常情况下HRegionServer和DataNode在一个节点上 c.MemStore刷盘操作 d.WAL(Write-ahead-log)写前日志 数据操作:Data(get,put,delete,next,etc.) 分区操作:Region(splitRegion,compactRegion,etc.) e.minor和major 4.MemStore说明 a.每一个region可能存在一个或多个MemStore每个MemStore对应着当前表的当前区域的一个列簇 b.如果达到刷盘条件写入到磁盘中StoreFile(HFile) 刷盘条件 1.手动操作执行flush(); 2.达到阈值 --编辑在内存中的最长时间默认为1小时 --memstore的大小超过128M进行刷盘 3.全局内存限制 property namehbase.regionserver.global.memstore.size/name value/value description 在刷新之前regionserver中所有memstore的最大大小 更新被阻塞刷新被强制。默认设置为堆的40%(0.4)。 /description /property property namehbase.regionserver.global.memstore.size.lower.limit/name value/value description 强制刷新之前regionserver中所有memstore的最大大小。 默认设置为95%的hbase.regionserver.global.memstore。 /description /property 5.ColumnFamily(列簇)个数说明 要求创建表时尽可能降低列簇的个数最好为1如果超过2或3Hbase集群性能受到影响。 6.Split阈值 property namehbase.hregion.max.filesize/name value10737418240/value description 最大HStoreFile大小。如果列族的HStoreFiles扩展到超过这个值(1G)时宿主HRegion被一分为二。/description /property 7.合并相关参数 1.minor(轻量级合并) property namehbase.hstore.compaction.max/name value10/value description按轻量级合并最大压缩HStoreFiles数。/description /property property namehbase.hstore.compactionThreshold/name value3/value description If more than this number of HStoreFiles in any one HStore (one HStoreFile is written per flush of memstore) then a compaction is run to rewrite all HStoreFiles files as one. Larger numbers put off compaction but when it runs, it takes longer to complete. /description /property 转载于:https://www.cnblogs.com/lyr999736/p/9417803.html
