关于百度网站的优缺点,wordpress开启并调用菜单,新开网店自己如何推广,全国新闻媒体发稿平台文章目录前言一、创建 Ubuntu 用户二、安装 Java2.1、查看本地 Java 版本2.2、验证 Java 在本地的配置情况三、安装 ssh 服务3.1、安装 openssh-server3.2、查看 ssh 服务是否启动四、Hadoop 伪分布式安装4.1、Hadoop 下载4.2、进入下载安装包的目录4.3、Hadoop 解压4.3.1、解压…
文章目录前言一、创建 Ubuntu 用户二、安装 Java2.1、查看本地 Java 版本2.2、验证 Java 在本地的配置情况三、安装 ssh 服务3.1、安装 openssh-server3.2、查看 ssh 服务是否启动四、Hadoop 伪分布式安装4.1、Hadoop 下载4.2、进入下载安装包的目录4.3、Hadoop 解压4.3.1、解压命令 tar zxvf 中 zxvf 分别是什么意思4.3.2、查看 Hadoop 解压后目录文件4.3.3、转移 Hadoop 安装路径4.4、检查 Hadoop 目录所有者权限4.5、修改 Hadoop 目录所有者权限4.5、查看 Hadoop 目录结构4.6、Hadoop 约定目录结构分析4.7、Hadoop 中的配置文件分析4.8、设置 Hadoop 环境变量五、准备启动 Hadoop 集群5.1、启动 Hadoop 集群的准备工作5.2、Hadoop 脚本的用法文档5.3、查看 Hadoop 的版本信息六、伪分布式操作6.1、修改配置文件6.2、执行 NameNode 初始化6.3、开启 NameNode 和 DataNode 守护进程6.4、查看所有的 Java 进程七、访问 Web 界面来查看 Hadoop 的信息八、关闭 Hadoop总结前言 本文为大数据基础系列 4伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例。本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章我个人是很有自信的一篇文章掌握一门课程核心技术点。 一、创建 Ubuntu 用户
关于创建 Ubuntu 用户的内容这里不做详细叙述了需要的同学请参考我之前的文章Ubuntu 答疑Ubuntu 添加和删除用户具体步骤及进程被占用的解决方式。
二、安装 Java
对于 Ubuntu 本身系统可能已经预装了Java它的 JDK 版本类型为 openjdk路径为/usr/lib/jvm/default-java之后配置 JAVA_HOME 环境变量我们可设置为该值。其具体位置如下图所示 Apache Hadoop 的 2.7 版和更高版本需要 Java 7。它是在 OpenJDK 和 OracleHotSpot的 JDK / JRE 上构建和测试的。早期版本2.6 和更早版本支持 Java 6。
2.1、查看本地 Java 版本
我们输入 java -version 查看本地 jdk 版本号没安装的话输入同样指令可以根据提示下载需要版本具体如下图所示 2.2、验证 Java 在本地的配置情况
输入 javac显示命令参数列表说明配置成功不显示请根据提示安装具体如下图所示 三、安装 ssh 服务
需要具体安装 SSH 无密码登陆参考的同学可以看我之前的文章 ssh 配置在 Linux 中 ssh 配置无密码登陆完整步骤以及易错点分析。
对于 Hadoop 的伪分布式和全分布式而言Hadoop 的名称节点NameNode需要启动集群中所有机器的 Hadoop 的守护进程这个过程可以通过 SSH 登陆来实现。Hadoop 并没有提供 SSH 输入密码登陆的形式因此为了能够顺利登陆每台机器需要将所有机器配置为名称节点可以无密码登陆的形式。
3.1、安装 openssh-server
安装 openssh-server在终端输入如下代码
sudo apt install openssh-server本人已经安装具体如下图所示 3.2、查看 ssh 服务是否启动
输入如下代码
sudo ps -e|grep ssh回车有 sshd说明 ssh 服务已经启动具体如下图所示 如果没有启动输入sudo service ssh start回车ssh 服务就会启动。
四、Hadoop 伪分布式安装 伪分布式安装是指在一台机器上模拟一个小的集群但是集群只有一个节点。 4.1、Hadoop 下载
在 Linux 系统/Ubuntu 上打开自带火狐浏览器输入地址 https://hadoop.apache.org/打开 Hadoop 的页面点击 Download 进行下载具体如下图所示 我们选择所需版本的 binary 链接进入具体如下图所示 点击第一个镜像链接进入下载页面具体如下图所示 4.2、进入下载安装包的目录
cd /home/bailu/下载这里根据自己目录输入我的如下图所示 4.3、Hadoop 解压
对下载的 Hadoop 压缩包执行解压命令如下
sudo tar -zxvf hadoop-3.2.1.tar.gz4.3.1、解压命令 tar zxvf 中 zxvf 分别是什么意思
x : 从 tar 包中把文件提取出来。z : 表示 tar 包是被 gzip 压缩过的所以解压时需要用 gunzip 解压。v : 显示详细信息。f xxx.tar.gz : 指定被处理的文件是 xxx.tar.gz。
4.3.2、查看 Hadoop 解压后目录文件
输入 ll 查看下载目录下的文件和目录会看到多了一个目录 hadoop-3.2.1这是安装包解压后的目录具体如下图所示 4.3.3、转移 Hadoop 安装路径
在下载目录下输入如下命令将 hadoop-3.2.1 目录转移到 usr/local/hadoop 中
sudo mv hadoop-3.2.1 /usr/local/hadoop目标文件夹如下图所示 4.4、检查 Hadoop 目录所有者权限
我们进入 Hadoop目录可能会发现文件带锁输入 ll 查看所有者不是本人具体如下图所示 4.5、修改 Hadoop 目录所有者权限
这时我们就需要将 Hadoop 目录的所有者更改根目录输入如下命令
sudo chown bailu:bailu -R /usr/local/hadoop具体如下图所示 修改之后我们可以看到所有者已经更改具体如下图所示 4.5、查看 Hadoop 目录结构
根目录输入 cd /usr/local/hadoop 进入 Hadoop 目录输入 ll 查看 Hadoop 下目录结构具体如下图所示 4.6、Hadoop 约定目录结构分析
binHadoop 最基本的管理脚本和使用脚本所在目录这些脚本是 sbin 目录下管理脚本的基础实现用户可以直接使用这些脚本管理和使用 Hadoop。etcHadoop 配置文件所在目录包括 core-site.xmlhdfs-site.xmlmapred-site.xml 等从 hadoop 1.0 继承而来的配置文件和 yarn-site.xml 等 hadoop 2.0 新增的配置文件。include对外提供的编程库头文件具体动态库和静态库在 lib 目录中这些头文件均是用 c 定义的通常用于 c 程序访问 hdfs 或者编写 mapreduce 程序。lib该目录包含了 Hadoop 对外提供的的编程动态库和静态库与 include 目录中的头文件结合使用。libexec各个服务对应的 shell 配置文件所在目录可用于配置日志输出目录启动参数比如 JVM 参数等基本信息。sbinHadoop 管理脚本所在目录主要包含 HDFS 和 YARN 中各类服务的启动/关闭脚本。shareHadoop 各个模块编译后的 jar 包所在目录。
4.7、Hadoop 中的配置文件分析
文件名称格式描述hadoop-env.shBash 脚本记录配置 Hadoop 运行所需的环境变量以运行 Hadoopcore-site.xmlHadoop 配置 XMLHadoop core 的配置项如 HDFS 和 MapReduce 常用的 I/O 设置等hdfs-site.xmlHadoop 配置 XMLHadoop 守护进程的配置项包括 NameNode、Secondary NameNode 和 DataNode 等mapred-site.xmlHadoop 配置 XMLMapReduce 守护进程的配置项包括 JobTracker 和 TaskTrackermasters纯文本运行 SecondaryNameNode 的机器列表每行一个slaves纯文本运行 DataNode 和 TaskTracker 的机器列表每行一个hadoop-metrics.propertiesJava 属性控制 metrics 在 Hadoop 上如何发布的属性
4.8、设置 Hadoop 环境变量
接下来我们需要设置 Hadoop 环境变量编辑 ~/.bashrc任意目录下输入如下代码
sudo gedit ~/.bashrc具体如下图所示 让环境变量立即生效输入命令 source ~/.bashrc具体如下图所示 五、准备启动 Hadoop 集群
5.1、启动 Hadoop 集群的准备工作
在任意目录下输入如下代码
sudo gedit /usr/local/hadoop/hadoop-3.2.1/etc/hadoop/hadoop-env.sh编辑 etc/hadoop/hadoop-env.sh 以定义一些参数将原文本文件中的 JAVA_HOME 设置成真实的 JDK 地址具体如下所示 设置为 Java 安装的根目录export JAVA_HOME /usr/java/latest5.2、Hadoop 脚本的用法文档
尝试以下命令Hadoop 根目录下输入 bin/hadoop 这将显示 Hadoop 脚本的用法文档具体如下图所示 5.3、查看 Hadoop 的版本信息
这时我们可以查看 Hadoop 的版本信息输入如下命令 ./bin/hadoop version具体如下图所示 六、伪分布式操作
6.1、修改配置文件
对于伪分布式仅需修改 core-site.xml、hdfs-site.xml 文件详细修改如下。
对于 etc/hadoop/core-site.xml输入命令如下
sudo gedit /usr/local/hadoop/hadoop-3.2.1/etc/hadoop/core-site.xml修改之后如下图所示 说明
name 标签设置配置项的名字value 设置配置项的值。对于 core-site.xml 文件只需在其中指定 HDFS 的地址和端口号端口号按照官方文档设置为 9000 即可。
对于 etc/hadoop/hdfs-site.xml输入命令如下
sudo gedit /usr/local/hadoop/hadoop-3.2.1/etc/hadoop/hdfs-site.xml修改之后如下图所示 说明
对于 hdfs-site.xml 文件我们设置 replication 值为 1这也是 Hadoop 运行的默认最小值它限制了 HDFS 文件系统中同一份数据的副本数量。这里采用伪分布式在集群中只有一个节点因此副本数量 replication 的值也只能设置为 1。
6.2、执行 NameNode 初始化
在配置完成后首先需要初始化文件系统。由于 Hadoop 的很多工作是在自带的 HDFS 文件系统上完成的因此需要将文件系统初始化之后才能进一步执行计算任务。
在 Hadoop 根目录执行 NameNode 初始化的命令如下
./bin/hdfs namenode -format具体如下图所示 遇到这一步继续执行具体如下图所示 成功的话会看到successfully formatted和Exitting with status的提示若为Exitting with status 1则是出错。
如果出现启动错误则可以在日志中查看错误原因具体如下图所示 对于控制台报错请注意
每一次的启动日志都是追加在日志文件之后所以对于错误要拉到最后面看对比下记录的时间就知道了。一般出错的提示在最后面通常是写着 Fatal、Error、Warning 或者 Java Exception 的地方。
6.3、开启 NameNode 和 DataNode 守护进程
输入如下命令
./sbin/start-dfs.sh具体如下图所示 6.4、查看所有的 Java 进程
运行之后输入 jps 指令可以查看所有的 Java 进程。在正常启动时可以得到如下类似结果具体如下图所示 说明jps(Java Virtual Machine Process Status Tool)是 java 提供的一个显示当前所有 Java 进程 pid 的命令适合在 linux/unix 平台上简单察看当前 Java 进程的一些简单情况。很多人都是用过 unix 系统里的 ps 命令这个命令主要是用来显示当前系统的进程情况有哪些进程以及进程 id。
jps 也是一样它的作用是显示当前系统的 Java 进程情况及进程 id。我们可以通过它来查看我们到底启动了几个 Java 进程因为每一个 Java 程序都会独占一个 Java 虚拟机实例。
七、访问 Web 界面来查看 Hadoop 的信息
此时可以通过 Linux 本地浏览器访问 Web 界面http://localhost:9870来查看 Hadoop 的信息具体如下图所示 如果存在 DataNode 启动异常时或者没有启动的问题请查看Apache Hadoop 答疑解决 Apache Hadoop 启动时 DataNode 启动异常的问题。具体如下图所示 八、关闭 Hadoop
若要关闭 Hadoop则在 Hadoop 根目录下运行如下命令
./sbin/stop-dfs.sh具体如下图所示 总结 本文是本专栏文章的第四篇也是做重要的一篇后期的 Hadoop 生态体系均是围绕本文展开同时补充了一些 linux 系统操作的相关知识对于巩固 linux 系统也是有一定的帮助。简而言之如果你切实掌握了本文的内容那么你后期学大数据的其他组成部分也就轻车熟路了。 我是白鹿一个不懈奋斗的程序猿。望本文能对你有所裨益欢迎大家的一键三连若有其他问题、建议或者补充可以留言在文章下方感谢大家的支持
