怎样查网站备案,百度关键词策划和seo的优化,电子商务网站建设核心,长治建设网站公司#x1f4d6; 前言#xff1a;Hadoop设计之初#xff0c;在架构设计和应用性能方面存在很多不如人意的地方#xff0c;如HDFS和YARN集群的主节点只能有一个#xff0c;如果主节点宕机无法使用#xff0c;那么将导致HDFS或YARN集群无法使用#xff0c;针对上述问题#… 前言Hadoop设计之初在架构设计和应用性能方面存在很多不如人意的地方如HDFS和YARN集群的主节点只能有一个如果主节点宕机无法使用那么将导致HDFS或YARN集群无法使用针对上述问题Hadoop在后续的版本更新中做出了改进和完善用户可以为HDFS和YARN集群添加备用的主节点这样即使主节点宕机无法使用备用的主节点也可以代替原有的主节点来维持HDFS和YARN集群能够正常运行这就是所谓的Hadoop高可用集群。 目录 1. 改进与提升 2. YARN资源管理框架 2.1 YARN体系结构 2.2 YARN工作流程 3. HDFS的高可用 3.1 HDFS的高可用架构 4. 课后习题 1. 改进与提升
组件Hadoop1.0局限和不足Hadoop2.0的改进HDFSNameNode存在单点故障风险HDFS引入了高可用机制MapReduceJobTracker存在单点故障风险且内存扩展受限引入了一个资源管理调度框架YARN 2. YARN资源管理框架 2.1 YARN体系结构
YARNYet Another Resource Negotiator另一种资源协调者是一个通用的资源管理系统和调度平台它的基本设计思想是将MRv1Hadoop1.0中MapReduce中的JobTracker拆分为两个独立任务这两个任务分别是全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。 ResourceManager是一个全局的资源管理系统它负责的是整个Yarn集群资源的监控、分配和管理工作。其内部包含了两个组件分别是调度器Scheduler和应用程序管理器Application Manager。NodeManager是每个节点上的资源和任务管理器一方面它会定时向ResourceManager汇报所在节点资源使用情况另一方面它会接收并处理来自ApplicationMaster容器Container启动、停止等各种请求。用户提交的每个应用程序都包含一个ApplicationMaster它负责协调来自ResourceManager的资源把获得的资源进一步分配给内部的各个任务从而实现“二次分配”。 2.2 YARN工作流程
YARN的底层工作流程是由核心组件互相协调管理它们各尽其职为Hadoop资源调度提供服务其工作流程图如下所示。 用户通过客户端Client向YARN提交应用程序Applicastion。YARN中的ResourceManager接收到客户端请求后其内部的调度器会为应用程序分配一个容器运行本次程序对应的ApplicationMaster。ApplicationMaster被创建后首先向ResourceManager注册信息用户通过ResourceManager查看应用程序的运行状态。ApplicationMaster采用轮询方式通过RPC协议向ResourceManager申请资源。ResourceManager向提出申请的ApplicationMaster分配资源。NodeManager为任务设置好运行环境后将任务启动命令写到一个脚本中并通过运行该脚本启动任务。各任务通过RPC协议向ApplicationMaster汇报自己的运行状态从而在任务失败时ApplicationMaster可重新启动任务。应用运行结束后ApplicationMaster向ResourceManager注销并关闭自己。 3. HDFS的高可用 3.1 HDFS的高可用架构
在HDFS分布式文件系统中NameNode是系统核心节点存储各类元数据信息并负责管理文件系统的命名空间和客户端对文件的访问。若NameNode发生故障会导致整个Hadoop集群不可用即单点故障问题。为了解决单点故障Hadoop2.0中HDFS中增加了对高可用的支持。
在高可用HDFS中通常有两台或两台以上机器充当NameNode无论何时都要保证至少有一台处于活动Active状态一台处于备用Standby状态。Zookeeper为HDFS集群提供自动故障转移的服务给每个NameNode都分配一个故障恢复控制器简称ZKFC用于监控NameNode状态。若NameNode发生故障Zookeeper通知备用NameNode启动使其成为活动状态处理客户端请求从而实现高可用。 4. 课后习题
判断题 1、ResourceManager负责监控ApplicationMaster并在ApplicationMaster运行失败的时候重启它因此ResouceManager负责ApplicationMaster内部任务的容错。 2、NodeManager是每个节点上的资源和任务管理器。 3、Hadoop HA是集群中启动两台或两台以上机器充当NameNode避免一台NameNode节点发生故障导致整个集群不可用的情况。 4、Hadoop HA是两台NameNode同时执行NameNode角色的工作。 5、在Hadoop HA中Zookeeper集群为每个NameNode都分配了一个故障恢复控制器该控制器用于监控NameNode的健康状态。
答案AI解析 1、错误。ResourceManager负责监控 ApplicationMaster并在 ApplicationMaster 运行失败的时候重启大大提高集群的拓展性。ResourceManager不负责 ApplicationMaster 内部任务的容错任务的容错由 ApplicationMaster 完成总体来说ApplicationMaster 的主要功能是资源的调度、监控与容错。 2、正确。NodeManager是每个节点上的资源管理器和任务管理器它负责管理容器、资源使用和任务执行等功能。 3、正确。Hadoop HA通过启动两台或更多的机器作为NameNode实现了高可用性防止单点故障导致整个集群不可用。 4、错误。在Hadoop HA中只有一个Active NameNode在执行NameNode角色的工作其他的NameNode处于Standby状态。当Active NameNode发生故障时Standby NameNode将接管其角色。 5、正确。在Hadoop HA中Zookeeper集群确实为每个NameNode都分配了一个故障恢复控制器用于监控NameNode的健康状态。
选择题下列选项描述错误的是 A、Hadoop HA即集群中包含Secondary NameNode作为备份节点存在。 B、ResourceManager负责的是整个Yarn集群资源的监控、分配和管理工作 C、NodeManager负责定时的向ResourceManager汇报所在节点的资源使用情况以及接收并处理来自ApplicationMaster的启动停止容器Container的各种请求。 D、初次启动Hadoop HA集群时需要将格式化文件系统后的目录拷贝至另外一台NameNode节点上。
答案 选ASecondary NameNode名字给人感觉像是NameNode的备份实际不是是属于Standby备用状态。
简答题简述Hadoop HA集群的启动步骤 答 1启动集群各个节点的Zookeeper服务 2启动集群各个节点监控NameNode的管理日志的JournalNode 3在node-01节点格式化NameNode并将格式化后的目录拷贝到node-02中 4在node-01节点上格式化ZKFC 5在node-01节点上启动HDFS 6在node-01节点上启动YARN。 OK以上就是本期知识点“Hadoop高可用集群”的知识啦~~ 感谢友友们的阅读。后续还会继续更新欢迎持续关注哟~ 如果有错误❌欢迎批评指正呀~让我们一起相互进步 如果觉得收获满满可以点点赞支持一下哟~ ❗ 转载请注明出处 作者HinsCoder 博客链接 作者博客主页
