免费自助建站哪个最好,东莞做工业产品网站建设,114推广平台,好的交互设计网站目录
一、部署说明
二、集群规划
三、开始配置
3.1 MapReduce配置文件
3.2 YARN配置文件
3.3 分发配置文件
四、集群启停
4.1 命令介绍
4.2 演示
4.3 查看YARN的WEB UI页面 一、部署说明
Hadoop HDFS分布式文件系统#xff0c;我们会启动#xff1a;
NameNode进…目录
一、部署说明
二、集群规划
三、开始配置
3.1 MapReduce配置文件
3.2 YARN配置文件
3.3 分发配置文件
四、集群启停
4.1 命令介绍
4.2 演示
4.3 查看YARN的WEB UI页面 一、部署说明
Hadoop HDFS分布式文件系统我们会启动
NameNode进程作为管理节点DataNode进程作为工作节点SecondaryNamenode作为辅助
同理Hadoop YARN分布式资源调度会启动
ResourceManager进程作为管理节点NodeManager进程作为工作节点ProxyServer、JobHistoryServer这两个辅助节点
那么MapReduce呢
MapReduce运行在YARN容器内无需启动独立进程
所以关于MapReduce和YARN的部署其实就是2件事情
关于MapReduce 修改相关配置文件但是没有进程可以启动
关于YARN 修改相关配置文件 并启动ResourceManager、NodeManager进程以及辅助进程代理服务器、历史服务器 总结 组件 配置文件 启动进程 备注 Hadoop HDFS 需修改 需启动 NameNode 作为主节点 DataNode 作为从节点 SecondaryNameNode 主节点辅助 分布式文件系统 Hadoop YARN 需修改 需启动 ResourceManager 作为集群资源管理者 NodeManager 作为单机资源管理者 ProxyServer 代理服务器提供安全性 JobHistoryServer 记录历史信息和日志 分布式资源调度 Hadoop MapReduce 需修改 无需启动任何进程 MapReduce程序运行在YARN容器内 分布式数据计算
二、集群规划
有3台服务器其中node1配置较高
集群规划如下 主机 角色 centos100 ResourceManager NodeManager ProxyServer JobHistoryServer centos101 NodeManager centos102 NodeManager
三、开始配置
3.1 MapReduce配置文件
在 $HADOOP_HOME/etc/hadoop 文件夹内修改 mapred-env.sh文件添加如下环境变量 # 设置JDK路径
export JAVA_HOME/opt/software/jdk/jdk1.8.0_202
# 设置JobHistoryServer进程内存为1G
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE1000
# 设置日志级别为INFO
export HADOOP_MAPRED_ROOT_LOGGERINFO,RFAmapred-site.xml文件添加如下配置信息 configurationpropertynamemapreduce.framework.name/namevalueyarn/valuedescriptionMapReduce的运行框架设置为YARN/description/propertypropertynamemapreduce.jobhistory.address/namevaluecentos100:10020/valuedescription历史服务器通讯端口为centos100:10020/description/propertypropertynamemapreduce.jobhistory.webapp.address/namevaluecentos100:19888/valuedescription历史服务器web端口为centos100的19888/description/propertypropertynamemapreduce.jobhistory.intermediate-done-dir/namevalue/data/mr-history/tmp/valuedescription历史信息在HDFS的记录临时路径/description/propertypropertynamemapreduce.jobhistory.done-dir/namevalue/data/mr-history/done/valuedescription历史信息在HDFS的记录路径/description/propertypropertynameyarn.app.mapreduce.am.env/namevalueHADOOP_MAPRED_HOME$HADOOP_HOME/valuedescriptionMapReduce HOME 设置为HADOOP_HOME/description/propertypropertynamemapreduce.map.env/namevalueHADOOP_MAPRED_HOME$HADOOP_HOME/valuedescriptionMapReduce HOME 设置为HADOOP_HOME/description/propertypropertynamemapreduce.reduce.env/namevalueHADOOP_MAPRED_HOME%HADOOP_HOME/valuedescriptionMapReduce HOME 设置为HADOOP_HOME/description/property/configuration3.2 YARN配置文件
在 $HADOOP_HOME/etc/hadoop 文件夹内修改 yarn-env.sh文件添加如下4行环境变量内容 # 设置JDK路径的环境变量
export JAVA_HOME/opt/software/jdk/jdk1.8.0_202
# 设置HADOOP_HOME的环境变量
export HADOOP_HOME/opt/software/hadoop/hadoop-3.3.4
# 设置配置文件路径的环境变量
export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop
# 设置日志文件路径的环境变量
export HADOOP_LOG_DIR$HADOOP_HOME/logs yarn-site.xml文件配置如下 !-- 核心配置文件 --
propertynameyarn.resourcemanager.hostname/namevaluecentos100/valuedescriptionResourceMangager设置在centos100节点/description
/propertypropertynameyarn.nodemanager.local-dirs/namevalue/data/nm-local/valuedescriptionNodeManager中间数据本地存储路径/description
/propertypropertynameyarn.nodemanager.log-dirs/namevalue/data/nm-log/valuedescriptionNodeManager数据日志本地存储路径/description
/propertypropertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/valuedescription为MapReduce程序开启Shuffle服务/description
/property!-- 额外配置 --
!-- 额外配置项的功能后续会慢慢接触到目前先复制粘贴配置上使用即可 --
propertynameyarn.log.server.url/namevaluehttp://centos100:19888/jobhistory/logs/valuedescription历史服务器URL/description
/propertypropertynameyarn.web-proxy.address/namevaluecentos100:8089/valuedescription代理服务器主机和端口/description
/propertypropertynameyarn.log-aggregation-enable/namevaluetrue/valuedescription开启日志聚合/description
/propertypropertynameyarn.nodemanager.remote-app-log-dir/namevalue/tmp/logs/valuedescription程序日志HDFS的存储路径/description
/propertypropertynameyarn.resoucemanager.scheduler.class/namevalueorg.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler/valuedescription选择公平调度器/description
/property 3.3 分发配置文件
MapReduce和YARN的配置文件修改好后需要分发到其它的服务器节点中。
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml centos101:pwd/
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml centos102:pwd/ 分发完成配置文件就可以启动YARN的相关进程啦。
ps分发完成也可以去其他服务器检查一下是否成功 四、集群启停
4.1 命令介绍
常用的进程启动命令如下 一键启动YARN集群 $HADOOP_HOME/sbin/start-yarn.sh 会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager会基于workers文件配置的主机启动NodeManager 一键停止YARN集群 $HADOOP_HOME/sbin/stop-yarn.sh 在当前机器单独启动或停止进程 $HADOOP_HOME/bin/yarn --daemon start|stop resourcemanager|nodemanager|proxyserver start和stop决定启动和停止可控制resourcemanager、nodemanager、proxyserver三种进程 历史服务器启动和停止 $HADOOP_HOME/bin/mapred --daemon start|stop historyserver 4.2 演示
下面开始演示
在centos100服务器以hadoop用户执行
首先执行$HADOOP_HOME/sbin/start-yarn.sh一键启动所需的:
ResourceManagerNodeManagerProxyServer代理服务器 其次执行$HADOOP_HOME/bin/mapred --daemon start historyserver 启动:
HistoryServer历史服务器 4.3 查看YARN的WEB UI页面
打开 http://centos100:8088 即可看到YARN集群的监控页面ResourceManager的WEB UI 最后别忘记了给虚拟机打上快照哦
