遇到灾难网站变灰怎么做,上海建站模板系统,做一套网站开发多少钱,北京平台网站建设公司文章目录 前言一、Linux系统Centos7安装配置JDK8二、Linxu系统Centos7中搭建Hadoop3.1.0服务下载地址服务1#xff1a;详细步骤#xff08;初始化与启动dfs服务#xff09;详细步骤配置环境变量 服务2#xff1a;Hadoop(YARN)环境搭建 三、Linux系统搭建Hive3.1.2服务前提条… 文章目录 前言一、Linux系统Centos7安装配置JDK8二、Linxu系统Centos7中搭建Hadoop3.1.0服务下载地址服务1详细步骤初始化与启动dfs服务详细步骤配置环境变量 服务2Hadoop(YARN)环境搭建 三、Linux系统搭建Hive3.1.2服务前提条件安装MySQL 5.7.27Hive3.1.2详细安装配置步骤下载地址详细安装步骤 启动Hive服务与配置环境变量IDEA远程连接Hive服务前置准备Java程序来连接Hive 四、Linux系统搭建Hbase2.2.4说明下载Zookeeper3.4.5以及Hbase2.2.4安装Zookeeper3.4.5全流程单机安装Hbase2.2.4全流程单机详细安装流程Java客户端连接Hbase 五、Javaweb项目及lib包依赖功能描述测试服务快速命令 六、快捷命令汇总快速关闭各个服务快速启动各个服务 番外极速搭建大数据配套环境导入Virtualbox导入提前搭建好的环境①配置静态ip地址②配置域名映射 测试环境 前言
博主介绍✌目前全网粉丝3Wcsdn博客专家、Java领域优质创作者博客之星、阿里云平台优质作者、专注于Java后端技术领域。
涵盖技术内容Java后端、大数据、算法、分布式微服务、中间件、前端、运维等。
博主所有博客文件目录索引博客目录索引(持续更新)
视频平台b站-Coder长路
本期大数据实战项目功能演示及环境搭建教程b站https://www.bilibili.com/video/BV1F6421V7dY 一、Linux系统Centos7安装配置JDK8
下载地址https://www.oracle.com/java/technologies/downloads/#java8 安装步骤如下
①将JDK8的安装上传到服务器上
mkdir /opt/toolsmkdir /opt/server②解压JDK8到指定目录
cd /opt/toolstar -zvxf jdk-8u221-linux-x64.tar.gz -C /opt/server③编辑配置环境变量
vim /etc/profile# 文件末尾增加 指定jdk目录
# jdk
export JAVA_HOME/opt/server/jdk1.8.0_221
export PATH${JAVA_HOME}/bin:$PATH# 使配置生效
source /etc/profile③测试JDK是否安装成功
java -version二、Linxu系统Centos7中搭建Hadoop3.1.0服务
下载地址
Hadoop下载地址https://archive.apache.org/dist/hadoop/core/ 选择tar.gz压缩包下载 服务1详细步骤初始化与启动dfs服务
详细步骤
步骤1配置免密登录
Hadoop 组件之间需要基于 SSH 进行通讯配置免密登录后不需要每次都输入密码配置映射
vim /etc/hosts# 文件末尾增加之前增加过无需增加
192.168.10.120 server生成私钥
# 不断回车即可
ssh-keygen -t rsa授权进入 ~/.ssh 目录下查看生成的公匙和私匙并将公匙写入到授权文件
cd ~/.ssh
cat id_rsa.pub authorized_keys
chmod 600 authorized_keys步骤2解压Hadoop
将文件上传/opt/tools 解压Hadoop压缩包到server目录
cd /opt/toolstar -zvxf hadoop-3.1.0.tar.gz -C /opt/server/步骤3配置Hadoop
修改配置文件hadoop-env.sh文件设置JDK的安装路径
# 进入到hadoop的配置文件目录
cd /opt/server/hadoop-3.1.0/etc/hadoop# 打开hadoop的环境配置脚本
vim hadoop-env.sh# 配置一开始的Java环境变量
export JAVA_HOME/opt/server/jdk1.8.0_221修改core-site.xml文件分别指定hdfs 协议文件系统的通信地址及hadoop 存储临时文件的目录程序运行可自动创建
vim core-site.xmlconfigurationproperty!--指定 namenode 的 hdfs 协议文件系统的通信地址这里server是域名 我们提前配置了hosts文件--namefs.defaultFS/namevaluehdfs://server:8020/value/propertyproperty!--指定 hadoop 数据文件存储目录--namehadoop.tmp.dir/namevalue/opt/server/hadoop-3.1.0/data/value/property!--下面两个配置解决idea远程连接hive失败问题--propertynamehadoop.proxyuser.root.groups/namevalue*/value/propertypropertynamehadoop.proxyuser.root.hosts/namevalue*/value/property
/configuration修改hdfs-site.xml指定 dfs 的副本系数
vim hdfs-site.xmlconfigurationproperty!--由于我们这里搭建是单机版本所以指定 dfs 的副本系数为 1--namedfs.replication/namevalue1/value/propertyproperty!-- AccessControlException: Permission 报错解决 --namedfs.permissions.enabled/namevaluefalse/value/property
/configuration修改workers文件配置所有从属节点
vim workers# 配置所有从属节点的主机名或 IP 地址由于是单机版本所以指定本机即可
server步骤4初始化并启动HDFS
初始化,第一次启动 Hadoop 时需要进行初始化进入 /opt/server/hadoop-3.1.0/bin目录下执行以下命令
cd /opt/server/hadoop-3.1.0/bin# 初始化
./hdfs namenode -format步骤5配置启动用户Hadoop 3中不允许使用root用户来一键启动集群
cd /opt/server/hadoop-3.1.0/sbin/# 编辑start-dfs.sh、stop-dfs.sh,在顶部加入以下内容
vim start-dfs.shvim stop-dfs.sh# 文件顶部第二行位置加入内容
HDFS_DATANODE_USERroot
HDFS_DATANODE_SECURE_USERhdfs
HDFS_NAMENODE_USERroot
HDFS_SECONDARYNAMENODE_USERroot步骤6启动HDFS
# 启动HDFS进入/opt/server/hadoop-3.1.0/sbin/ 目录下启动 HDFS
cd /opt/server/hadoop-3.1.0/sbin/# 启动HDFS
./start-dfs.sh查看是否启动
jps若是有下面三个运行服务那么就表示运行成功 此时我们也可以在本地访问虚拟机的9870端口
http://192.168.10.120:9870/配置环境变量
# 编辑配置文件
vim /etc/profile# 在底部添加下面两行环境变量
# hadoop
export HADOOP_HOME/opt/server/hadoop-3.1.0
export PATH$PATH:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin# 使配置文件生效
source /etc/profile服务2Hadoop(YARN)环境搭建
步骤1修改mapred-site.xml配置文件
cd /opt/server/hadoop-3.1.0/etc/hadoop# 编辑配置文件
vim mapred-site.xmlconfigurationpropertynamemapreduce.framework.name/namevalueyarn/value/propertypropertynameyarn.app.mapreduce.am.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/propertypropertynamemapreduce.map.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/propertypropertynamemapreduce.reduce.env/namevalueHADOOP_MAPRED_HOME${HADOOP_HOME}/value/property
/configuration步骤2修改yarn-site.xml文件配置 NodeManager 上运行的附属服务
vim yarn-site.xmlconfigurationproperty!--配置 NodeManager 上运行的附属服务。需要配置成 mapreduce_shuffle 后才可
以在
Yarn 上运行 MapRedvimuce 程序。--nameyarn.nodemanager.aux-services/namevaluemapreduce_shuffle/value/property
/configuration步骤3配置启动用户Hadoop 3中不允许使用root用户来一键启动集群
cd /opt/server/hadoop-3.1.0/sbin/vim start-yarn.sh
vim stop-yarn.sh# start-yarn.sh stop-yarn.sh在两个文件顶部添加以下内容
YARN_RESOURCEMANAGER_USERroot
HADOOP_SECURE_DN_USERyarn
YARN_NODEMANAGER_USERroot步骤4启动服务
# 进入 ${HADOOP_HOME}/sbin/ 目录下启动 YARN
cd ${HADOOP_HOME}/sbin/# 启动yarn服务
./start-yarn.sh验证是否成功我们输入JPS若是有下面两个服务则启动成功
jps查看 Web UI 界面端口为 8088
http://192.168.10.120:8088/三、Linux系统搭建Hive3.1.2服务
前提条件
安装Hadoop基于Hadoop的数据仓库软件通常部署运行在Linux系统之上。
安装MySQLMySQL作为Hive的元数据存储库。 安装MySQL 5.7.27
选择MySQL5.7.27 安装步骤
①卸载Centos7自带mariadb
# 查找
rpm -qa|grep mariadb
# mariadb-libs-5.5.52-1.el7.x86_64
# 卸载根据指定名字
rpm -e mariadb-libs-5.5.52-1.el7.x86_64 --nodeps②上传MySQL安装压缩包 # 创建mysql安装包存放点
mkdir /opt/server/mysql# 进入到上传目录
cd /opt/tools# 解压
tar xvf mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar -C /opt/server/mysql/# 安装依赖
yum -y install libaio
yum -y install libncurses*
yum -y install perl perl-devel
yum -y install net-tools
# 切换到安装目录
cd /opt/server/mysql/
# 安装
rpm -ivh mysql-community-common-5.7.27-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.27-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.27-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.27-1.el7.x86_64.rpm③启动MySQL服务
#启动mysql
systemctl start mysqld.service
#查看生成的临时root密码获取到密码之后
cat /var/log/mysqld.log | grep password④修改初始的随机密码并进行授权
# 登录mysql
mysql -u root -p
Enter password: #输入在日志中生成的临时密码# 更新root密码 设置为root
set global validate_password_policy0;
set global validate_password_length1;
set passwordpassword(root);# 授权账户 root、root
grant all privileges on *.* to root % identified by root;
# 刷新
flush privileges;⑤设置MySQL自启动
#mysql的启动和关闭 状态查看
systemctl stop mysqld
systemctl status mysqld
systemctl start mysqld#建议设置为开机自启动服务
systemctl enable mysqld#查看是否已经设置自启动成功
systemctl list-unit-files | grep mysqldHive3.1.2详细安装配置步骤
下载地址
hive下载地址https://archive.apache.org/dist/hive/ 详细安装步骤
同样上传到目录中/opt/tools ①解压hive压缩包
# 切换到安装包目录
cd /opt/tools# 解压到/root/server目录
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/server/②上传MySQL的驱动包
# 上传mysql-connector-java-5.1.38.jar
cd /opt/server/apache-hive-3.1.2-bin/lib③修改hive环境变量文件指定Hadoop的安装路径
# 进入到配置文件目录
cd /opt/server/apache-hive-3.1.2-bin/conf# 复制一份环境配置
cp hive-env.sh.template hive-env.shvim hive-env.sh
# 加入以下内容
HADOOP_HOME/opt/server/hadoop-3.1.0④新建 hive-site.xml 文件配置存放元数据的 MySQL 的地址、驱动、用户名和密码等信息
需要修改用户名、密码即20、24行。设置mysql的连接ip地址这里是server可改为相应的ip地址。
vim hive-site.xml?xml version1.0?
?xml-stylesheet typetext/xsl hrefconfiguration.xsl?
configuration!-- 存储元数据mysql相关配置 /etc/hosts 其中server为服务ip地址我们这里配置了域名--propertynamejavax.jdo.option.ConnectionURL/namevalue jdbc:mysql://server:3306/hive?
createDatabaseIfNotExisttrueamp;useSSLfalseamp;useUnicodetrueamp;chara
cterEncodingUTF-8/value/propertypropertynamejavax.jdo.option.ConnectionDriverName/namevaluecom.mysql.jdbc.Driver/value/propertypropertynamejavax.jdo.option.ConnectionUserName/namevalueroot/value/propertypropertynamejavax.jdo.option.ConnectionPassword/namevalueroot/value/property
/configuration⑤将mysql对应的jdbc驱动包放入到hive的lib目录下 上传上去 放入到服务器中的lib目录下/opt/server/apache-hive-3.1.2-bin/lib
⑥当使用的 hive 是 2以上版本时必须手动初始化元数据库初始化命令
# 进入到bin目录
cd /opt/server/apache-hive-3.1.2-bin/bin# 初始化前先创建数据库hive
mysql -u root -proot
create database hive charsetutf8;# 执行初始化
./schematool -dbType mysql -initSchema初始化成功后我们可进入到mysql看到hive数据库中包含了74张表
mysql -u root -prootshow databases;启动Hive服务与配置环境变量
①添加环境变量
vim /etc/profile# 配置信息如hive的安装目录
# hive
export HIVE_HOME/opt/server/apache-hive-3.1.2-bin
export PATH$HIVE_HOME/bin:$PATH# 刷新配置
source /etc/profile②启动Hive
hive若是我们在hive的交互命令行中输入查看所有数据库中若是有default表示搭建成功
show databases;IDEA远程连接Hive服务
前置准备
# 检查hive server2是否启动若是有我们开启hive远程连接
netstat -anp |grep 10000# 开启远程连接非后台运行
hive --service hiveserver2若是出现下面四个Hive Session 然后我们点击IDEA的测试即可连接成功在Hive远程服务程序会显示OK
jdbc:hive2://192.168.10.120:10000root、root我们也可以后台运行方式
# 开启远程连接后台运行
# nohup: 忽略SIGHUP信号使命令在终端关闭后继续运行。 hive --service hiveserver2: 启动HiveServer2服务。
# hiveserver2.log: 将标准输出重定向到hiveserver2.log文件。
# 21: 将标准错误输出重定向到与标准输出相同的文件。
# : 将命令放入后台运行。
nohup hive --service hiveserver2 hiveserver2.log 21 # 关闭服务方式
ps aux | grep hiveserver2
kill -9 PIDJava程序来连接Hive
选择和Hive版本3.1.2的jar包接着我们来测试程序
public static void main(String[] args) throws Exception {String driver org.apache.hive.jdbc.HiveDriver;String url jdbc:hive2://192.168.10.120:10000/default;Class.forName(driver);Connection connection DriverManager.getConnection(url, root, root);Statement statement connection.createStatement();
}四、Linux系统搭建Hbase2.2.4
说明
Hbase基于hadoop、zookeeper、jdk。 下载Zookeeper3.4.5以及Hbase2.2.4
zookeeper下载地址https://archive.apache.org/dist/zookeeper/ Hbase下载地址https://archive.apache.org/dist/hbase/ 下载好之后上传压缩包到服务器上
/opt/tools安装Zookeeper3.4.5全流程单机
步骤1解压zookeeper安装包
cd /opt/toolstar -zxvf zookeeper-3.4.5.tar.gz -C /opt/server步骤2修改zoo.cfg配置
需要修改的是dataDir、server.0的ip地址
cd /opt/server/zookeeper-3.4.5/conf# 复制一份配置文件
cp zoo_sample.cfg zoo.cfg# 编辑配置文件
vim zoo.cfg# 修改配置内容如下
dataDir/opt/server/zookeeper-3.4.5/data
clientPort2181
server.0server:2287:3387步骤3修改myid:
mkdir -p /opt/server/zookeeper-3.4.5/dataecho 0 /opt/server/zookeeper-3.4.5/data/myid配置环境变量
vim /etc/profile# ZOOKEEPER_HOME
export ZOOKEEPER_HOME/opt/server/zookeeper-3.4.5
export PATH$PATH:$ZOOKEEPER_HOME/bin# 刷新配置
source /etc/profile步骤4启动服务
zkServer.sh start输入jps显示当前运行进程对于QuorumPeerMain即为zookeeper进程程序
jps安装Hbase2.2.4全流程单机
详细安装流程
步骤1解压Hbase2.2.4
# 首先进入到压缩包路径,
cd /opt/toolstar -zxvf hbase-2.2.4-bin.tar.gz -C /opt/server步骤2配置hbase-env.sh配置信息
cd /opt/server/hbase-2.2.4/confvim hbase-env.sh # 28行添加JDK环境
export JAVA_HOME/opt/server/jdk1.8.0_221
# 126行关闭zookeeper管理,是否管理自己的zookeeper实例不使用自带的
export HBASE_MANAGES_ZKfalse步骤3编辑hbase-site.xml配置信息:
hbase.rootdir填写端口号一定要与hadoop初始核心的端口一致。hbase.zookeeper.property.dataDir与原本zookeeper的要一致。hbase.zookeeper.quorum指明的是服务地址。hbase.tmp.dir自定义hbase的tmp目录。zookeeper.znode.parent相对应zookeeper的节点。
# 编辑hbase-site.xml
vim hbase-site.xml
# 添加内容如下
# ①修改hdfs的ip地址注意端口要与hadoop中的core-site.xml里的fs.defaultFS一致。
# ②修改zookeeper的路径configuration!-- Hbase数据在HDFS中的存放位置 --propertynamehbase.rootdir/namevaluehdfs://server:8020/hbase/value/propertypropertynamehbase.zookeeper.property.dataDir/namevalue/opt/server/zookeeper-3.4.5/data/value/property!-- Hbased的运行模式,false为单机模式,true为分布式模式.若为false,Hbase和Zookeeper会运行在同一个JVM里 --propertynamehbase.cluster.distributed/namevaluetrue/value/property!-- zookeeper的服务地址 --propertynamehbase.zookeeper.quorum/namevalueserver/valuedescriptionThe directory shared by RegionServers./description/propertypropertynamehbase.zookeeper.property.clientPort/namevalue2181/value/propertypropertynamehbase.tmp.dir/namevalue/opt/server/hbase-2.2.4/tmp/value/propertypropertynamehbase.unsafe.stream.capability.enforce/namevaluefalse/value/propertypropertynamezookeeper.znode.parent/namevalue/hbase/master/value/property
/configuration步骤4配置服务名
# 修改服务
vim regionservers# 填写域名(默认localhost,我们也可不改)
# 若是没有绑定域名,可设置 vim /etc/hosts 文件末尾增加 192.168.80.100 server
server步骤5配置环境变量
vim /etc/profile# 添加
# HBASE_HOME
export HBASE_HOME/opt/server/hbase-2.2.4
export PATH$PATH:$HBASE_HOME/bin# 刷新配置
source /etc/profile启动Hbase
注意启动前需要启动hadoop、zookeeper服务
start-hbase.sh输入jps查看服务是否启动
jps有问题一定要看日志
访问16010端口即可访问Hbase服务http://192.168.10.120:16010/ Java客户端连接Hbase
前提我们需要配置域名映射因为我们从zookeeper中取到的是服务名自然我们应该去配置映射
路径位置C:\Windows\System32\drivers\etc配置信息192.168.10.120 server
# 刷新DNS解析缓存
ipconfig /flushdnsHbase连接我们只需要知道zookeeper的ip地址以及端口号即可
public static void main(String[] args) {// 创建 HBase 配置对象Configuration conf HBaseConfiguration.create();// 设置 ZooKeeper 地址和端口// conf.set(hbase.zookeeper.quorum, ServerConfig.SERVER_IP);conf.set(hbase.zookeeper.quorum, 192.168.10.120);conf.set(hbase.zookeeper.property.clientPort, 2181);conf.set(zookeeper.znode.parent, /hbase/master);// 建立 HBase 连接try (org.apache.hadoop.hbase.client.Connection connection ConnectionFactory.createConnection(conf)) {System.out.println(connection);// 获取 HBase 管理对象Admin admin connection.getAdmin();// 获取所有命名空间NamespaceDescriptor[] namespaces admin.listNamespaceDescriptors();// 打印命名空间信息System.out.println(Available HBase namespaces:);for (NamespaceDescriptor namespace : namespaces) {System.out.println(namespace.getName());}} catch (IOException e) {e.printStackTrace();}
}五、Javaweb项目及lib包依赖
功能描述
需要导入的外部jar包导入hadoop、hdfs、hbase、mapreduce的Jar包主要是将hadoop解压的目录中的jar包导入如下
/usr/local/hadoop/share/hadoop/common/usr/local/hadoop/share/hadoop/hdfs/usr/local/hadoop/share/hadoop/hdfs/lib/usr/local/hadoop/share/hadoop/mapreduce/usr/local/hadoop/share/hadoop/yarn/usr/local/hadoop/hbase/lib 测试服务快速命令
Hbase命令
# 进入Hbase命令行
hbase shell# hbase
# 查看default数据库
list_namespace_tables default# 查看表结构
describe seeds_table# 查看表数据
scan seeds_table# 删除数据库表只删除数据
truncate seeds_table
# 删除数据库表数据与结构
disable seeds_table
drop seeds_tableHive命令
# 进入Hive
hive# 查看所有数据库
show databases;# 使用数据库
USE default;# 查看所有表
show tables;# 查询表数据
select * from seeds;# 删除表原数据和结构
DROP TABLE IF EXISTS seeds;
-- 仅删除表中的数据保留表结构
TRUNCATE TABLE seeds;六、快捷命令汇总
快速关闭各个服务
# 1、关闭hadoop服务
# 进入hadoop目录
cd /opt/server/hadoop-3.1.0/sbin/
# 关闭
./stop-dfs.sh# 2、关闭yarn服务
cd ${HADOOP_HOME}/sbin/
./stop-yarn.sh# 3、关闭hive服务
ps aux | grep hiveserver2
kill -9 PID# 4、关闭zookeeper
zkServer.sh stop# 5、关闭Hbase关闭hdfs
stop-hbase.sh# 查看java进程
jps快速启动各个服务
# 1、开启hadoop服务
# 进入hadoop目录
cd /opt/server/hadoop-3.1.0/sbin/
# 开启
./start-dfs.sh# 2、开启yarn服务
cd ${HADOOP_HOME}/sbin/
./start-yarn.sh# 3、开启hive远程连接
nohup hive --service hiveserver2 hiveserver2.log 21 # 4、开启zookeeper
zkServer.sh start# 5、开启Hbase开启hdfs
start-hbase.sh# 查看java进程
jps番外极速搭建大数据配套环境导入Virtualbox
导入提前搭建好的环境
①配置静态ip地址
cd /etc/sysconfig/network-scripts/# 直接修改enp0s3配置文件
vi ifcfg-enp0s3配置内容直接在ifcfg-enp0s3网卡文件修改可自行根据主机cmd中的网关地址 开启网络连接 配置DNS1
DNS1: 8.8.8.8②配置域名映射
Hadoop 组件之间需要基于 SSH 进行通讯配置免密登录后不需要每次都输入密码配置映射
vim /etc/hosts# 文件末尾增加之前增加过无需增加
192.168.10.120 server重启下网卡
systemctl restart network测试环境
1、windows环境配置hosts文件
前提我们需要配置域名映射Hbase会使用到因为我们从zookeeper中取到的是服务名自然我们应该去配置映射
路径位置C:\Windows\System32\drivers\etc配置信息192.168.10.126 server
# 刷新DNS解析缓存
ipconfig /flushdns2、finalshell测试连接 3、访问HDFShttp://server:9870/dfshealth.html#tab-overview 整理者长路 时间2024.2.3-6.7
