网站开发 pdf,江都区城乡建设局网站马局,手机网速,郑州 发布会hadoop更适合在liunx环境下运行#xff0c;会节省后期很多麻烦#xff0c;而用虚拟器就太占主机内存了#xff0c;因此后面我们将把hadoop安装到wsl后进行学习,后续学习的环境是Ubuntu-16.04 #xff08;windows上如何安装wsl#xff09;
千万强调#xff0c;创建完hado…hadoop更适合在liunx环境下运行会节省后期很多麻烦而用虚拟器就太占主机内存了因此后面我们将把hadoop安装到wsl后进行学习,后续学习的环境是Ubuntu-16.04 windows上如何安装wsl
千万强调创建完hadoop用户后所有命令都是在hadoop用户中执行的即使我们后面给他权限了但是有的命令还是要加sudo!
千万强调创建完hadoop用户后所有命令都是在hadoop用户中执行的即使我们后面给他权限了但是有的命令还是要加sudo!
千万强调创建完hadoop用户后所与命令都是在hadoop用户中执行的即使我们后面给他权限了但是有的命令还是要加sudo!
一 安装Hadoop及基础配置
关于安装时出现的部分问题
如何切换用户
su 用户名 #linux下切换用户ssh到本地时出现Permission denied (publickey).
sudo vim /etc/ssh/sshd_config #修改配置文件
将文件中的PasswordAuthentication 的值no改为yesSSH设置和密钥生成各步骤详解
$ ssh-keygen -t rsa #采用rst算法生成一对秘钥公钥id_rsa.pub私钥id_rsa$ cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys #本地ssh公钥复制到远程服务器的.ssh/authorized_keys中这样就可以免密登录了$ chmod 0600 ~/.ssh/authorized_keys #给足够的权限java配置到环境变量中 我选择的是jdkl1.8.0_411,用原先博客上的配置方法并不能检测到java,换成下面的方式即可
export JAVA_HOME/usr/java/jdk1.8.0_411export PATH$JAVA_HOME/bin:$PATHexport CLASSPATH.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar本地无法访问hadoop服务 按照博客的操作最后发现会连接失败,原因就是因为hadoop3.x之后将默认的端口50070改为了9870才导致链接失败 jps或者java版本不显示
先确定是否成功配置了环境变量即/etc/profile文件下有没有配置java路径
有的话再激活一次环境变量试试 source /etc/profile启动hadoop程序显示localhost: ssh: connect to host localhost port 22: Connection refused 原因是ssh服务没有开启开启一下即可
sudo systemctl start ssh二 配置Hadoop的YARN环境
yarn是hadoop生态中主要负责集群的资源管理和作业调度可以理解成hadoop生态中的话事人。 首先 依旧是移动到hadoop的基础配置文件路径下
cd /usr/local/hadoop/etc/hadoop然后修改mapred-site.xml文件
configurationpropertynamemapreduce.framework.name/namevalueyarn/value/propertypropertynameyarn.app.mapreduce.am.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/propertypropertynamemapreduce.map.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/propertypropertynamemapreduce.reduce.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/property
/configuration然后修改yarn-site.xml文件配置 NodeManager 上运行的附属服务
configurationproperty!--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可
以在
Yarn 上运行 MapRedvimuce 程序。--nameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property
/configuration最后启动yarn服务
cd ${HADOOP_HOME}/sbin/ #移动到对应文件夹下这个环境变量你是之前已经配置好了的
./start-yarn.s #启动服务检验是否成功启动yarn服务,成功的话会出现下面的页面
http://localhost:8088/三 小试牛刀
好嘞现在hadoop的基础配置已经完全结束了现在让我们体验一个小案例Hadoop自带的hadoop-mapreduce-examples-x.jar中包含一些示例程序位于 ${HADOOP_HOME}/share/hadoop/mapreduce 目录。我们将直接利用内置的程序计算PI值
cd ${HADOOP_HOME}/share/hadoop/mapreduce/ #移动到路径存放内置程序的路径下
hadoop jar hadoop-mapreduce-examples-3.3.5.jar pi 2 10 #启动程序具体命令取决于你所安装的hadoop版本四 后续总结
上面的流程全都走了一遍之后后面我们就可以直接愉快的启动和关闭
cd ${HADOOP_HOME}/sbin #后续命令都是在这个路径下完成的
#开启hadoop服务
./start-dfs.sh
./start-yarn.sh#关闭hadoop服务
./stop-dfs.sh
./stop-yarn.sh参考文献
SSH基础知识SSH中的各种keys是什么wsl换盘符
