温江做网站,wap 企业网站,电子商务网站建设的方法,给网站设置长尾关键词1 准备工作
准备好集群环境 详情参考博客#xff1a;集群初始配置。安装 Java 输入javac可查看安装提示信息。使用命令sudo apt install openjdk-8-jdk-headless安装JDK配置环境变量。使用sudo vim /etc/profile打开profile文件#xff0c;输入以下内容#xff0c;保存并退…1 准备工作
准备好集群环境 详情参考博客集群初始配置。安装 Java 输入javac可查看安装提示信息。使用命令sudo apt install openjdk-8-jdk-headless安装JDK配置环境变量。使用sudo vim /etc/profile打开profile文件输入以下内容保存并退出。然后输入命令source /etc/profile使修改生效。export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME$JAVA_HOME/jre
export CLASSPATH$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH$JAVA_HOME/bin:$JRE_HOME/bin:$PATH2 获取文件
去官网https://dlcdn.apache.org/hadoop/下载文件。比如下载hadoop-3.4.0.tar.gz。上传至某一个 Linux 设备上。创建目录/opt/hadoop/或根据自己情况选择其他目录。使用以下命令解压sudo tar -zxvf hadoop-3.4.0.tar.gz -C /opt/hadoop/3 修改配置
需要修改/opt/hadoop/etc/hadoop中的hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 和 workers。
3.1 hadoop-env.sh
如果是按照上面方法安装的Java可添加如下内容
export JAVA_HOME/usr/lib/jvm/java-8-openjdk-amd64
export PATH$PATH:$JAVA_HOME/binexport HADOOP_HOME/opt/hadoop/hadoop-3.4.0
export PATH$PATH:$HADOOP_HOME/bin
export PATH$PATH:$HADOOP_HOME/sbinexport HADOOP_PID_DIR$HADOOP_HOME/tmp
export HADOOP_LOG_DIR$HADOOP_HOME/logs然后将该文件复制到/etc/profile.d并运行source /etc/profile使其生效。
3.1 core-site.xml
添加配置如下
configuration!-- 配置指定HDFS的通信地址 --propertynamefs.defaultFS/namevaluehdfs://node1:8020/value/property!-- 配置Hadoop的临时文件存储目录。需要手动创建及修改权限。 --propertynamehadoop.tmp.dir/namevalue${HADOOP_PID_DIR}/value/property!-- 配置网页登录使用的用户 --propertynamehadoop.http.staticuser.user/namevaluecluster/value/property
/configuration3.2 hdfs-site.xml
添加配置如下
configuration!-- 配置NameNode的http访问地址和端口号 --propertynamedfs.namenode.http-address/namevaluenode1:9870/value/property!-- 配置SecondaryNameNode的http访问地址和端口号 --propertynamedfs.namenode.secondary.http-address/namevaluenode2:9868/value/property!----------- 下面的可选择配置 -----------!-- 配置HDFS副本数量 --propertynamedfs.replication/namevalue3/value/property!-- 配置NameNode存放的路径 --propertynamedfs.namenode.name.dir/namevalue/opt/hadoop/hadoop-3.4.0/tmp/dfs/name/value/property!-- 配置DataNode存放的路径 --propertynamedfs.datanode.data.dir/namevalue/opt/hadoop/hadoop-3.4.0/tmp/dfs/data/value/property
/configuration3.3 mapred-site.xml
添加配置如下
configuration!-- 配置MapReduce运行时的框架 --propertynamemapreduce.framework.name/namevalueyarn/value/property!----------- 下面的可选择配置 -----------!-- 配置MapReduce的历史服务器安装的位置及端口号 --propertynamemapreduce.jobhistory.address/namevaluenode3:10020/value/property!-- 设置历史服务器的web页面地址和端口 --propertynamemapreduce.jobhistory.webapp.address/namevaluenode3:19888/value/property!-- 配置存放日志文件的临时目录 --propertynamemapreduce.jobhistory.intermediate-done-dir/namevalue/opt/hadoop/hadoop-3.4.0/tmp/mr-history/tmp/value/property!-- 配置存放运行日志文件的最终目录 --propertynamemapreduce.jobhistory.done-dir/namevalue/opt/hadoop/hadoop-3.4.0/tmp/mr-history/done/value/property
/configuration3.4 yarn-site.xml
添加配置如下
configuration!-- 配置ResourceManager运行位置 --propertynameyarn.resourcemanager.hostsname/namevaluenode3/value/property!-- 配置NodeManager启动时加载server的方式 --propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!----------- 下面的可选择配置 -----------!-- 配置使用mapreduce_shuffle中的类 --propertynameyarn.nodemanager.aux-services.mapreduce.shuffle.class/namevalueorg.apache.hadoop.mapred.ShuffleHandler/value/property!-- 配置ResourceManager服务器的web地址和端口 --propertynameyarn.resourcemanager.webapp.address/namevaluenode3:8088/value/property!-- 配置配置是否启用日志聚集功能 --propertynameyarn.log-aggregation-enable/namevaluetrue/value/property!-- 配置聚集的日志在HDFS上保存的最长时间 --propertynameyarn.log-aggregation.retain-seconds/namevalue106800/value/property!-- 配置日志聚合目录 --propertynameyarn.nodemanager.remote-app-log-dir/namevalue/opt/hadoop/hadoop-3.4.0/logs/value/property
/configurationnamenode、secondary namenode 和 ResourceManager 建议放在不一设备上。
3.5 workers
设置为你的设备地址。如
node1
node2
node34 分发文件
经过上面的配置已经配置好文件接下来需要把文件分发给其他设备。为了方便分发我编写了脚本以供使用。可参考https://blog.csdn.net/White_Ink_/article/details/139909769。
5 启动集群
在 Hadoop 根目录运行以下命令。
在启动 Hadoop 集群前需要先格式化 NameNode在 Master 主机下操作。在下一次格式化之前需要停止所有的 NameNode和 DateNode并删除所有机器的 tmp 和 logs 中的文件。./bin/hdfs namenode -format启动和停止HDFS./sbin/start-dfs.sh #启动HDFS
./sbin/stop-dfs.sh #停止HDFS启动和停止YARN./sbin/start-yarn.sh #启动YARN
./sbin/stop-yarn.sh #停止YARN全部启动和停止./sbin/start-all.sh #启动HDFS和YARN
./sbin/stop-all.sh #停止HDFS和YARN启动和停止历史日志服务器./sbin/mr-jobhistory-daemon.sh start historyserver #启动historyserver
./sbin/mr-jobhistory-daemon.sh start historyserver #停止historyserver6 访问
访问HDFSnode1:9870。访问YARNnode3:8088。
