营销网站制作公司,网页紧急升级恢复,网站怎么做前后台存取,家纺订单外发加工网hadoop有三种部署方式 1、Local (Standalone) Mode#xff08;单机模式#xff09; 数据存储在本地 2、Pseudo-Distributed Mode#xff08;伪集群模式#xff09; 数据存储在HDFS 3、Fully-Distributed Mode#xff08;集群模式#xff09; 集群部署#xff0c;数据存储… hadoop有三种部署方式 1、Local (Standalone) Mode单机模式 数据存储在本地 2、Pseudo-Distributed Mode伪集群模式 数据存储在HDFS 3、Fully-Distributed Mode集群模式 集群部署数据存储在HDFS 一、安装JDK 因为hadoop是Java语言开发的所以依赖jdk环境需要先安装jdk JDK安装教程
二、安装hadoop
2.1、下载hadoop
下载地址
2.2、解压缩
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/2.3、配置环境变量
vim /etc/profile.d/my_env.sh#HADOOP_HOME
export HADOOP_HOME/opt/module/hadoop-3.1.3
export PATH$PATH:$HADOOP_HOME/bin
export PATH$PATH:$HADOOP_HOME/sbin2.4、刷新环境变量
source /etc/profile2.5、验证是否安装成功
hadoop version2.6、集群分发
2.6.1、编写集群分发脚本
vim xsync#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
thenecho Not Enough Arguement!exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
doecho $host #3. 遍历所有目录挨个发送for file in $do#4. 判断文件是否存在if [ -e $file ]then#5. 获取父目录pdir$(cd -P $(dirname $file); pwd)#6. 获取当前文件的名称fname$(basename $file)ssh $host mkdir -p $pdirrsync -av $pdir/$fname $host:$pdirelseecho $file does not exists!fidone
done2.6.2、修改权限
chmod 777 xsync2.6.3、免密登录 这步可以省略 往其他服务器分发文件每次都需要输入服务器密码设置免密登录则可以不用每次都输入密码 2.6.3.1、生产公钥 进入根目录下的.ssh文件如果没有该文件则需要执行一遍ssh命令 ssh-keygen -t rsa2.6.3.2、将公钥分发到其他机器
ssh-copy-id hadoop1032.6.3.3、效果 2.6.4、集群同步 将hadoop102中的jdk和hadoop同步到hadoop103和hadoop104同步之后需要刷新profile # 同步软件
xsync /opt/module/*
# 同步环境变量
xsync /etc/profile.d/my_env.sh三、修改配置
3.1、修改hadoop核心配置
vim /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml!-- 指定 NameNode 的地址 --propertynamefs.defaultFS/namevaluehdfs://hadoop102:8020/value/property!-- 指定 hadoop 数据的存储目录 --propertynamehadoop.tmp.dir/namevalue/opt/module/hadoop-3.1.3/data/value/property3.2、修改hdfs配置
vim /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml!-- nn web 端访问地址--
propertynamedfs.namenode.http-address/namevaluehadoop102:9870/value/property
!-- 2nn web 端访问地址--propertynamedfs.namenode.secondary.http-address/namevaluehadoop104:9868/value/property3.3、修改yarn配置
vim /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml!-- 指定 MR 走 shuffle --propertynameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property!-- 指定 ResourceManager 的地址--propertynameyarn.resourcemanager.hostname/namevaluehadoop103/value/property!-- 环境变量的继承 --propertynameyarn.nodemanager.env-whitelist/namevalueJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
RED_HOME/value/property3.4、修改MapReduce配置
vim /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml!-- 指定 MapReduce 程序运行在 Yarn 上 --propertynamemapreduce.framework.name/namevalueyarn/value/property3.5、将修改好的配置分发到其他服务
xsync /opt/module/hadoop-3.1.3/etc/hadoop/四、启动集群
4.1、设置集群节点
vim /opt/module/hadoop-3.1.3/etc/hadoop/workershadoop102
hadoop103
hadoop104xsync /opt/module/hadoop-3.1.3/etc/hadoop/workers4.2、初始化 NameNode
hdfs namenode -format4.3、修改启停脚本 在#!/usr/bin/env bash下面添加如下配置如果非root用户则不需要添加 vim /opt/module/hadoop-3.1.3/sbin/start-dfs.shHDFS_DATANODE_USERroot
HADOOP_SECURE_DN_USERhdfs
HDFS_NAMENODE_USERroot
HDFS_SECONDARYNAMENODE_USERrootvim /opt/module/hadoop-3.1.3/sbin/stop-dfs.shHDFS_DATANODE_USERroot
HADOOP_SECURE_DN_USERhdfs
HDFS_NAMENODE_USERroot
HDFS_SECONDARYNAMENODE_USERrootvim /opt/module/hadoop-3.1.3/sbin/start-yarn.shYARN_RESOURCEMANAGER_USERroot
HADOOP_SECURE_DN_USERyarn
YARN_NODEMANAGER_USERrootvim /opt/module/hadoop-3.1.3/sbin/stop-yarn.shYARN_RESOURCEMANAGER_USERroot
HADOOP_SECURE_DN_USERyarn
YARN_NODEMANAGER_USERroot4.4、启动集群 在hadoop102服务器上启动hdfs /opt/module/hadoop-3.1.3/sbin/start-dfs.sh在hadoop103服务器上启动yarn /opt/module/hadoop-3.1.3/sbin/start-yarn.sh4.5、访问yarn hadoop103:8088 4.6、访问hdfs hadoop102:9870
