邢台网站建设企业,门户网站 建设 北京 航天,没有备案的交易网站,上城区商城网站建设由图所示#xff0c;本文主要是将三台机器log 进行日志聚集查看。图更加直观
1. 首先需要配置历史服务器配置#xff0c;才可以配置日志聚集功能#xff1a; hadoop 配置历史服务器 开启历史服务器查看 hadoop (十)-CSDN博客
2. 配置了三台服务器#xff0c;hadoop22, ha…
由图所示本文主要是将三台机器log 进行日志聚集查看。图更加直观
1. 首先需要配置历史服务器配置才可以配置日志聚集功能 hadoop 配置历史服务器 开启历史服务器查看 hadoop (十)-CSDN博客
2. 配置了三台服务器hadoop22, hadoop23, hadoop24
3. hadoop文件路径: /opt/module/hadoop-3.3.4
4. hadoop22机器配置配置文件 文件路径/opt/module/hadoop-3.3.4/etc/hadoop 文件名称yarn-site.xml 文件中需要修改为你自己的 服务器名
?xml version1.0?
!--Licensed under the Apache License, Version 2.0 (the License);you may not use this file except in compliance with the License.You may obtain a copy of the License athttp://www.apache.org/licenses/LICENSE-2.0Unless required by applicable law or agreed to in writing, softwaredistributed under the License is distributed on an AS IS BASIS,WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.See the License for the specific language governing permissions andlimitations under the License. See accompanying LICENSE file.
--
configuration!-- Site specific YARN configuration properties --!-- 指定MR走shuffle --propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!-- 指定ResourceManager的地址--propertynameyarn.resourcemanager.hostname/namevaluehadoop23/value/property!-- 环境变量的继承 --propertynameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME/value/property!-- 开启日志聚集功能 --propertynameyarn.log-aggregation-enable/namevaluetrue/value/property!-- 设置日志聚集服务器地址 --property nameyarn.log.server.url/name valuehttp://hadoop22:19888/jobhistory/logs/value/property!-- 设置日志保留时间为7天 --propertynameyarn.log-aggregation.retain-seconds/namevalue604800/value/property/configuration5. 分发文件到其他两台服务器
# 这个命令是我相关文章的一个脚本如果没有这个脚本是运行不了的
# 可以查看之前文章添加脚本也可以手动复制修改 也可以centos 的scp 命令发送过去
# 先看注释
# 先看注释
# 先看注释xsync yarn-site.xml 6. 停止历史服务器 # hadoop文件夹
cd /opt/module/hadoop-3.3.4# 停止
bin/mapred --daemon stop historyserver
7. 重启hadoop23机器的yarn集群: 去hadoop23机器
# hadoop文件夹
cd /opt/module/hadoop-3.3.4# hadoop23机器停止yarn集群
sbin/stop-yarn.sh #jps
jps# jps多查看两遍是否已停止# 开启
sbin/start-yarn.sh
8. 去hadoop22机器重启历史服务器 # hadoop文件夹
cd /opt/module/hadoop-3.3.4# 开始
bin/mapred --daemon start historyserver
9. 重新启动计算demo: hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input /output2
10. 查看日志聚集记录 http://hadoop23:8088/cluster 依次点击框中链接 11. 日志已启用成功能够查看日志
