做暧在线观看网站,网站开发需求图,佛山网站建设公司怎么样,电子商务网站建设背景文章目录 1 前言2 集群规划3 hadoop安装包上传与安装3.1 上传解压 4 hadoop配置5 从节点同步和环境变量配置6 创建用户7 集群启动8 问题集8.1 Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority. 结语 1 前言
下面我们配置下单namenode节点h… 文章目录 1 前言2 集群规划3 hadoop安装包上传与安装3.1 上传解压 4 hadoop配置5 从节点同步和环境变量配置6 创建用户7 集群启动8 问题集8.1 Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority. 结语 1 前言
下面我们配置下单namenode节点hadoop集群使用vmware虚拟机环境搭建。vmware虚拟机的配置在下面链接2有或者自行查阅文档。hadoop安装包可到官网下载当前相关软件环境如下
软件版本说明hadoop3.3.4jar包vmware15.5虚拟机centos7.6服务器操作系统xshell6远程连接jdk1.8java运行环境
2 集群规划
在前面的准备章节我们准备了基于vmware的三台虚拟机现服务规划如下
节点服务node1NameNode、DataNode、SecondaryNameNodenode2DataNodenode3DataNode
Hadoop HDFS的角色包含
NameNode主节点管理者DataNode从节点工作者SecondaryNameNode主节点辅助
3 hadoop安装包上传与安装
3.1 上传解压
上传hadoop安装包到node节点中如下图3.1-1所示 解压缩安装包到/export/server中 tar -zxvf hadoop-3.3.4.tar.gz -C /export/server 构建软连接 cd /export/server
ln -s /export/server/hadoop-3.3.4 hadoop4 hadoop配置
配置HDFS集群主要涉及以下文件的修改
workers配置从节点DataNode有哪些hadoop-env.sh配置hadoop的相关变量core-site.xmlhadoop的核心配置文件hadfs-site.xmlHDFS核心配置文件
这些文件在$HADOOP_HOME/etc/hadoop文件夹中
ps$HADOOP_HOME是后续我们要设置的环境变量其指代Hadoop安装文件夹即/export/server/hadoop 配置workers # 进入配置文件目录
cd etc/hadoop
# 编辑workers文件
vim workers
# 填入如下内容
node1
node2
node3记录node1node2node3三个从节点 配置hadoop-en.sh # 填入如下内容
export JAVA_HOME/export/server/jdk
export HADOOP_HOME/export/server/hadoop
export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR$HADOOP_HOME/logsJAVA_HOMEjdk安装目录HADOOP_HOMEhadoop安装目录HADOOP_CONF_DIRhadoop配置文件目录HADOOP_LOG_DIRhadoop日志存放目录 配置core-site.xml,此处配置NameNode会报错后面问题集我们在分析 在文件内部填入如下内容
configurationpropertynamefs.defaultFS/namevaluehdfs://node1:8020/value/propertypropertynameio.file.buffer.size/namevalue131072/value/property
/configurationkeyfs.defaultFS;含义HDFS文件系统的网络通讯路径;值hdfs://node1:8020 协议为hdfs://namenode为node1namenode通讯端口为8020 keyio.file.buffer.size含义io操作文件缓冲区大小值131072 bithdfs://node1:8020为整个HDFS内部的通讯地址应用协议为hdfs://Hadoop内置协议表明DataNode将和node1的8020端口通讯node1是NameNode所在机器此配置固定了node1必须启动NameNode进程 配置hdfs-site.xml # 在文件内部填入如下内容
configurationpropertynamedfs.datanode.data.dir.perm/namevalue700/value/propertypropertynamedfs.namenode.name.dir/namevalue/data/nn/value/propertypropertynamedfs.namenode.hosts/namevaluenode1,node2,node3/value/propertypropertynamedfs.blocksize/namevalue268435456/value/propertypropertynamedfs.namenode.handler.count/namevalue100/value/propertypropertynamedfs.datanode.data.dir/namevalue/data/dn/value/property
/configuration keydfs.datanode.data.dir.perm;含义hdfs文件系统默认创建的文件权限设置值700即rwx------keydfs.namenode.name.dir;含义NameNode元数据的存储位置值/data/nn在node1节点的/data/nn目录下keydfs.namenode.hosts含义NameNode允许哪几个节点的DataNode连接即允许加入集群值node1、node2、node3这三台服务器被授权keydfs.blocksize含义hdfs默认块大小值268435456256MBkeydfs.namenode.handler.count;含义namenode处理的并发线程数;值100以100个并行度处理文件系统的管理任务keydfs.datanode.data.dir;含义从节点DataNode的数据存储目录;值/data/dn即数据存放在node1、node2、node3三台机器的/data/dn内
根据上面配置的NameNode和DataNode数据存放位置 namenode数据存放node1的/data/nn datanode数据存放node1、node2、node3的/data/dn 在node1节点 mkdir -p /data/nn
mkdir /data/dn在node2和node3节点 mkdir -p /data/dn5 从节点同步和环境变量配置
目前已经基本完成Hadoop的配置操作可以从node1将hadoop安装文件夹远程复制到node2、node3 分发 # 在node1执行如下命令
cd /export/server
scp -r hadoop-3.3.4 node2:pwd/
scp -r hadoop-3.3.4 node3:pwd/ 在node2执行为hadoop配置软链接 # 在node2执行如下命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop在node3执行为hadoop配置软链接 # 在node3执行如下命令
ln -s /export/server/hadoop-3.3.4 /export/server/hadoop一步一步配置相对清晰但是也繁琐xshell有如下功能可以在所有会话窗口执行相同的操作 配置环境变量
在Hadoop文件夹中的bin、sbin两个文件夹内有许多的脚本和程序现在来配置一下环境变量 vim /etc/profilenode1,node2,node3执行相同操作 # 在/etc/profile文件底部追加如下内容
export HADOOP_HOME/export/server/hadoop
export PATH$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin6 创建用户
hadoop部署的准备工作基本完成为了确保安全hadoop系统不以root用户启动我们以普通用户hadoop来启动整个Hadoop服务所以现在需要对文件权限进行授权。
ps请确保已经提前创建好了hadoop用户前置准备章节中有讲述并配置好了hadoop用户之间的免密登录以root身份在node1、node2、node3三台服务器上均执行如下命令
# 以root身份在三台服务器上均执行
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export7 集群启动
前期准备全部完成现在对整个文件系统执行初始化在node1节点上操作
# 确保以hadoop用户执行
su - hadoop
# 格式化namenode
hadoop namenode -format
# 一键启动hdfs集群
start-dfs.sh
# 一键关闭hdfs集群
stop-dfs.sh# 如果遇到命令未找到的错误表明环境变量未配置好可以以绝对路径执行
/export/server/hadoop/sbin/start-dfs.sh
/export/server/hadoop/sbin/stop-dfs.sh启动完成后可以在浏览器打开http://node1:9870即可查看到hdfs文件系统的管理网页如下图6-1所示 8 问题集
出了问题首先查看日志在配置文件$HADOOP_home/logs下面记录日志。
一些常见的报错比如命令不存在或者因为粗心单词写错这里不再分析可以去链接1视频P23-24查看原因或者自行查阅相关文档。下面主要分析一些本人遇到的非常见错误
8.1 Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority. 日志报错内容 2023-08-27 11:40:09,808 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Failed to start secondary namenode
java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:781)at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddressCheckLogical(DFSUtilClient.java:810)at org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress(DFSUtilClient.java:772)at org.apache.hadoop.hdfs.server.namenode.NameNode.getServiceAddress(NameNode.java:534)at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.initialize(SecondaryNameNode.java:231)at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.init(SecondaryNameNode.java:194)at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.main(SecondaryNameNode.java:690)报错NameNode URI配置有问题这个配置我们是按照视频做了配置如下 configurationpropertynamefs.defaultFS/namevaluehdfs://node1:8020/value/property解决方案修改配置如下 propertynamefs.default.name/namevaluehdfs://node1:8020/value/property具体原理可以查看官方文档解释或者下面链接3
结语
如果小伙伴什么问题或者指教欢迎交流。 ❓QQ:806797785 参考链接:
[1]大数据视频[CP/OL].2020-04-16.p14-p24.
[2]0101前期准备-大数据学习[CP/OL].
[3]Hadoop的core-site.xml配置文件里的fs.default.name和fs.defaultFS[CP/OL].
