深圳网站建设 设计创公司,wordpress账号登录,精品外贸网站 dedecms,网站主体负责人 法人Linux部署HBase集群
简介
HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。
和Redis一样#xff0c;HBase是一款KeyValue型存储的数据库。
不过和Redis设计方向不同
Redis设计为少量数据#xff0c;超快检索HBase设计为海量数据#xff0c;快速检索
HB…Linux部署HBase集群
简介
HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。
和Redis一样HBase是一款KeyValue型存储的数据库。
不过和Redis设计方向不同
Redis设计为少量数据超快检索HBase设计为海量数据快速检索
HBase在大数据领域应用十分广泛现在我们来在node1、node2、node3上部署HBase集群。 HBase官网https://hbase.apache.org/ 安装 HBase依赖Zookeeper、JDK、HadoopHDFS请确保已经完成前面 集群化软件前置准备JDKZookeeperHadoop可参考如下文章 11-Linux部署集群准备http://t.csdnimg.cn/zWbnd12-Linux部署Zookeeper集群http://t.csdnimg.cn/dOvt514-Linux部署Hadoop集群http://t.csdnimg.cn/ptHa3 【node1执行】下载HBase安装包 下载 wget --no-check-certificate http://archive.apache.org/dist/hbase/2.1.0/hbase-2.1.0-bin.tar.gz解压 tar -zxvf hbase-2.1.0-bin.tar.gz -C /export/server软链接 ln -s /export/server/hbase-2.1.0 /export/server/hbase【node1执行】修改配置文件修改conf/hbase-env.sh文件 # 在28行配置JAVA_HOME
export JAVA_HOME/export/server/jdk
# 在126行配置
# 意思表示不使用HBase自带的Zookeeper而是用独立Zookeeper
export HBASE_MANAGES_ZKfalse
# 在任意行比如26行添加如下内容
export HBASE_DISABLE_HADOOP_CLASSPATH_LOOKUPtrue【node1执行】修改配置文件修改conf/hbase-site.xml文件 # 将文件的全部内容替换成如下内容
configuration!-- HBase数据在HDFS中的存放的路径 --propertynamehbase.rootdir/namevaluehdfs://node1:8020/hbase/value/property!-- Hbase的运行模式。false是单机模式true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面 --propertynamehbase.cluster.distributed/namevaluetrue/value/property!-- ZooKeeper的地址 --propertynamehbase.zookeeper.quorum/namevaluenode1,node2,node3/value/property!-- ZooKeeper快照的存储位置 --propertynamehbase.zookeeper.property.dataDir/namevalue/export/server/apache-zookeeper-3.6.0-bin/data/value/property!-- V2.1版本在分布式情况下, 设置为false --propertynamehbase.unsafe.stream.capability.enforce/namevaluefalse/value/property
/configuration【node1执行】修改配置文件修改conf/regionservers文件 # 填入如下内容
node1
node2
node3【node1执行】分发hbase到其它机器 scp -r /export/server/hbase-2.1.0 node2:/export/server/
scp -r /export/server/hbase-2.1.0 node3:/export/server/【node2、node3执行】配置软链接 ln -s /export/server/hbase-2.1.0 /export/server/hbase【node1、node2、node3执行】配置环境变量 编辑profile配置文件 vim /etc/profile配置在/etc/profile内追加如下两行 export HBASE_HOME/export/server/hbase
export PATH$HBASE_HOME/bin:$PATH刷新环境变量 source /etc/profile【node1执行】启动HBase 【node1、node2、node3】启动zookeeper /export/server/zookeeper/bin/zkServer.sh start【node1】启动Hadoop start-all.sh请确保Hadoop HDFS、Zookeeper是已经启动了的 start-hbase.sh# 如需停止可使用
stop-hbase.sh由于我们配置了环境变量export PATH P A T H : PATH: PATH:HBASE_HOME/bin start-hbase.sh即在$HBASE_HOME/bin内所以可以无论当前目录在哪均可直接执行 验证HBase 浏览器打开http://192.168.149.131:16010即可看到HBase的WEB UI页面 简单测试使用HBase 【node1执行】 hbase shell# 创建表
create test, cf# 插入数据
put test, rk001, cf:info, bowen# 查询数据
get test, rk001# 扫描表数据
scan test问题:
hbase启动十几秒后HMaster进程会被终止 解决方案
参考http://t.csdnimg.cn/4adOh
查了一堆资料有一篇说是要删除/etc/hosts中的127.0.0.1的地址没用最后根据上述参考重启了Zookeeper启用zkCli.sh
/export/server/zookeeper/bin/zkCli.sh查看所有节点ls /
[zk: localhost:2181(CONNECTED) 1] ls /
[admin, brokers, cluster, config, consumers, controller_epoch, feature, hbase, isr_change_notification, latest_producer_id_block, log_dir_event_notification, zookeeper]删除hbase节点
[zk: localhost:2181(CONNECTED) 4] delete /hbase
Node not empty: /hbase重启zookeeper
/export/server/zookeeper/bin/zkServer.sh stop
/export/server/zookeeper/bin/zkServer.sh start启动hbase
[rootnode1 conf]# start-hbase.sh
running master, logging to /export/server/hbase/logs/hbase-root-master-node1.out
node3: running regionserver, logging to /export/server/hbase/bin/../logs/hbase-root-regionserver-node3.out
node2: running regionserver, logging to /export/server/hbase/bin/../logs/hbase-root-regionserver-node2.out
node1: running regionserver, logging to /export/server/hbase/bin/../logs/hbase-root-regionserver-node1.out查看进程jps
[rootnode1 conf]# jps
2629 NodeManager
3014 WebAppProxyServer
5383 Jps
1752 NameNode
5081 HRegionServer
1898 DataNode
4140 QuorumPeerMain
2477 ResourceManager
4989 HMaster
2222 SecondaryNameNode
[rootnode1 conf]# ssh node2
Last login: Thu Feb 29 08:46:40 2024 from 192.168.149.1
[rootnode2 ~]# jps
2369 HRegionServer
1508 QuorumPeerMain
1621 DataNode
1735 NodeManager
2540 Jps
[rootnode2 ~]# ssh node3
Last login: Thu Feb 29 08:46:41 2024 from 192.168.149.1
[rootnode3 ~]# jps
2417 HRegionServer
2594 Jps
1609 DataNode
1723 NodeManager
1503 QuorumPeerMain
[rootnode3 ~]# exit
登出
Connection to node3 closed.
[rootnode2 ~]# exit
登出
Connection to node2 closed.
[rootnode1 conf]# hbase启动成功
