科讯网站发布文章,最新不封网址拿走不谢,2018年做网站赚钱,qq空间怎么添加wordpress文章目录 前言基础环境下载hadoop安装包下载hadoop在windows中的依赖配置环境变量 Hadoop hdfs搭建创建hadfs数据目录修改JAVA依赖修改配置文件初始化hdfs namenode启动hdfs 前言
在大数据开发领域中#xff0c;不得不说说传统经典的hadoop基础计算框架。一般我们都会将hadoo… 文章目录 前言基础环境下载hadoop安装包下载hadoop在windows中的依赖配置环境变量 Hadoop hdfs搭建创建hadfs数据目录修改JAVA依赖修改配置文件初始化hdfs namenode启动hdfs 前言
在大数据开发领域中不得不说说传统经典的hadoop基础计算框架。一般我们都会将hadoop集群部署在服务器上但是作为一个资深搬砖人我们本地环境也需要一个开发hadoop的开发环境。那么今天就安排一个在windows上搭建一个hadoop环境。 docker部署hadoop请移步
基础环境
下载hadoop安装包
http://archive.apache.org/dist/hadoop/core/hadoop-3.3.2/
解压。
下载hadoop在windows中的依赖
https://github.com/cdarlint/winutils
下载完成之后解压将3.2.2目录下的所有文件替换hadoop的bin目录下的文件
并将hadoop.dll 文件复制到C:\Windows\System32 目录
配置环境变量
HADOOP_HOME D:\hadoop-3.2.2 Path中添加 %HADOOP_HOME%\bin
cmd输入 hadoop version
表示基础环境配置成功。 如果需要部署本地hadoop环境HDFS需要继续往下操作。 Hadoop hdfs搭建
创建hadfs数据目录
在hadoop-3.2.2目录下创建data目录 data目录下创建namenode和datanode存储目录 data\namenode data\datanode
修改JAVA依赖
进入目录 etc\hadoop 修改hadoop-env.cmd set JAVA_HOMEC:\Java\jdk1.8.0_271
修改配置文件
1、etc\hadoop目录修改hdfs-site.xml
configurationpropertynamedfs.replication/namevalue1/value/propertypropertynamedfs.namenode.name.dir/namevalueD:\\hadoop-3.2.2\\data\\namenode/value/propertypropertynamedfs.datanode.data.dir/namevalueD:\\hadoop-3.2.2\\data\\datanode/value/property
/configuration2、etc\hadoop目录修改core-site.xml
configurationpropertynamefs.defaultFS/namevaluehdfs://localhost:9000/value/property
/configuration初始化hdfs namenode
进入hadoop-3.2.2\bin目录以管理员身份打开“命令提示符“ 输入 hdfs namenode -format 看到seccessfully就说明format成功。如下图所示
启动hdfs
进入hadoop-3.2.2\sbin目录 输入start-dfs.cmd启动hdfs。 出现以下namenode和datanode窗口
浏览器访问http://127.0.0.1:9870/
至此windows上的hadoop环境搭建完成包含基础环境变量和HDFS。
