建设国家游戏网站,网站建设方案应急处置,网站制作咨询电话,微信开发有哪两种在《hadoop2.0 QJM方式的HA的配置》一文中介绍了HA的配置#xff0c;是通过手工进行主备切换的。本文在这基础上#xff0c;继续介绍HA的主备自动切换(automatic failover)的配置。自动切换是通过配置zookeeper来实现的#xff0c;关于zookeeper的安装和配置#xff0c;在这…在《hadoop2.0 QJM方式的HA的配置》一文中介绍了HA的配置是通过手工进行主备切换的。本文在这基础上继续介绍HA的主备自动切换(automatic failover)的配置。自动切换是通过配置zookeeper来实现的关于zookeeper的安装和配置在这里不做介绍了大家可以参考网上的资料。1 准备假定已经有一个zookeeper的集群3台机器如下zookeeper1zookeeper2zookeeper3两个namenode节点如下namenode1namenode22 配置只涉及到core-site.xml和hdfs-site.xml两个配置文件其他配置可以文件参考《hadoop2.0的安装和基本配置》一文。2.1 core-site.xml需要增加ha.zookeeper.quorum参数加上zookeeper的服务地址完整配置如下fs.defaultFShdfs://myclusterhadoop.tmp.dir/home/tmp/hadoop2.0ha.zookeeper.quorumzookeeper1:2181,zookeeper2:2181,zookeeper3:21812.2 hdfs-site.xmldfs.replication1dfs.namenode.name.dir/home/dfs/namedfs.datanode.data.dir/home/dfs/datadfs.permissionsfalsedfs.nameservicesmyclusterdfs.ha.namenodes.myclusternn1,nn2dfs.namenode.rpc-address.mycluster.nn1namenode1:8020dfs.namenode.rpc-address.mycluster.nn2namenode2:8020dfs.namenode.http-address.mycluster.nn1namenode1:50070dfs.namenode.http-address.mycluster.nn2namenode2:50070dfs.namenode.shared.edits.dirqjournal://journalnode1:8485;journalnode2:8485;journalnode3:8485/myclusterdfs.journalnode.edits.dir/home/dfs/journaldfs.client.failover.proxy.provider.myclusterorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProviderdfs.ha.fencing.methodsshell(/bin/true)dfs.ha.automatic-failover.enabledtruedfs.ha.automatic-failover.enabled需要设置为true启动自动切换。dfs.ha.fencing.methods这里我们把fencing方法设置为shell一是为了方便测试二是采用QJM方式的HA本身就有fencing功能不需要用这个参数中的fencing功能详解请参考《hadoop2.0 QJM方式的HA的配置》一文。你用sshfence的方法也是可以的不过要注意ssh连接的问题和一些权限的问题。3 在zookeeper中初始化$HADOOP_HOME/bin/hdfs zkfc -formatZK运行这个命令后会在zookeeper上创建一个/hadoop-ha/mycluster/的znode用来存放automatic failover的数据。4 启动zkfc(zookeeper failover controller)需要在namenode1和namenode2上都启动zkfc daemon进程。$HADOOP_HOME/sbin/hadoop-daemon.sh start zkfc5 启动HDFS在两个namenode都启动之后会发现其中一个namenode会自动切换成active状态不需要手工切换。6 测试现在可以享受我们的胜利成果了。我们把active namenode停掉后会看到standby namenode自动切换成active状态了。7 QJM方式HA automatic failover的结构图QJM方式HA的结构涉及到active namenodestandby namenodejournalnodedatanodezookeeperzkfcclient这里通过一个图描述他们之间的关系。8 实战tipszookeeper可以在hadoop集群中选几台机器同时作为zookeeper节点给HA私用。在实践中建议采用手工切换的方式这样更可靠也方便查找问题。参考资料
