郑州网站推广外包,云南网站定制开发,网络营销师资格证有什么用,WordPress装好2019独角兽企业重金招聘Python工程师标准 开始之前#xff0c;应该把所有新增数据节点上的Hadoop环境都配置好#xff08;如果要直接复制已经存在节点的hadoop文件夹#xff0c;应该删掉里面已经产生的集群数据#xff0c;比如tmp和data目录#xff0c;不然… 2019独角兽企业重金招聘Python工程师标准 开始之前应该把所有新增数据节点上的Hadoop环境都配置好如果要直接复制已经存在节点的hadoop文件夹应该删掉里面已经产生的集群数据比如tmp和data目录不然会出问题 Step1关闭新加入数据节点的防火墙。 Step2在各个节点上把新增节点的hosts信息补充完整 Step3在两个NameNode上打通向新增数据节点无密钥SSH登录的通道。 Step4在两个NameNode上的dfs.hosts指定的白名单文件中追加上所有新增的数据节点的hostname需要更改下hdfs-site.xml黑名单文件用于排除集群中的节点 propertynamedfs.hosts/namevalue/usr/hadoop/etc/hadoop/datanode-allow.list/value/propertypropertynamedfs.hosts.exclude/namevalue/usr/hadoop/etc/hadoop/datanode-deny.list/value/property Step5在namenode上执行如下刷新命令hdfs dfsadmin -refreshNodes 可通过hdfs dfsadmin -report或者master:50070 web端口查看当前集群节点状态 Step6在两个NameNode节点上更改slaves文件将要上线的数据节点hostname追加到slaves文件中。在slave上启动datanode和nodemanager进程 sbin/hadoop-daemon.sh start datanode sbin/yarn-daemon.sh start nodemanager 用新增节点用jps查看进程可在master节点通过yarn node -list查看集群情况 Step7均衡block(非必须根据集群情况设定) ./bin/start-balancer.sh 1) 如果不balance那么cluster会把新的数据都存放在新的node上这样会降低mapred的工作效率 2) 设置平衡阈值默认是10%值越低各节点越平衡但消耗时间也更长 hdfs balancer -threshold 5 3) 设置balance的带宽默认只有1M/s hdfs dfsadmin -setBalancerBandwidth 67108864 数据节点的删除和上述步骤类似只不过在master1上修改datanode-allow.list和datanode-deny.list还有slaves文件并且同步到master2上。整个操作的过程中都不涉及集群的重启~等待刷新的操作结束后需要下架的机器就可以安全的关闭了。 [rootmaster hadoop]# ./bin/ hdfs dfsadmin -refreshNodes
[rootmaster hadoop]# ./bin/ hadoop dfsadmin -report 可以查看到现在集群上连接的节点 正在执行Decommission会显示
Decommission Status : Decommission in progress 执行完毕后会显示
Decommission Status : Decommissioned 重新加入各个删除的节点 1在master的datanode-deny.list删除相应机器 2在master上刷新节点配置情况 hadoop dfsadmin -refreshNodes 3在slave上重启tasktracker进程 hadoop-daemon.sh start datanode PS如果之前没有关闭该slave上的datanode进程需要先关闭再重新启动。 转载于:https://my.oschina.net/aibati2008/blog/633961
