面膜网站广告怎么做,wordpress侧边小图标联系方式,在工商局网站做变更需要多久,网站制作是什么公司文章目录1. 分布式集群规划2. 数据清理3. 基础环境准备4. 配置ip映射5. 时间同步6. SSH免密码登录完善7. 免密登录验证1. 分布式集群规划
伪分布集群搞定了以后我们来看一下真正的分布式集群是什么样的
看一下这张图#xff0c;图里面表示是三个节点#xff0c;左边这一个是…
文章目录1. 分布式集群规划2. 数据清理3. 基础环境准备4. 配置ip映射5. 时间同步6. SSH免密码登录完善7. 免密登录验证1. 分布式集群规划
伪分布集群搞定了以后我们来看一下真正的分布式集群是什么样的
看一下这张图图里面表示是三个节点左边这一个是主节点右边的两个是从节点hadoop集群是支持主从架构的。
不同节点上面启动的进程默认是不一样的。 下面我们就根据图中的规划实现一个一主两从的hadoop集群
环境准备三个节点
主机名ipbigdata01192.168.92.100bigdata02192.168.92.101bigdata03192.168.92.102
注意每个节点的基础环境都要先配置好先把ip、hostname、firewalld、ssh免密码登录、JDK这些基础环境配置好
目前的节点数量是不够的按照第一周学习的内容通过克隆的方式创建多个节点具体克隆的步骤在这就不再赘述了。
2. 数据清理 声明如果是新机器可以不清理bigdata01这台机器刚才演示过伪分布式因此需要做数据清理。 先把bigdata01中之前按照的hadoop删掉删除解压的目录修改环境变量即可。 注意我们需要把bigdata01节点中/data目录下的hadoop_repo目录和/data/soft下的hadoop-3.2.0目录删掉恢复此节点的环境这里面记录的有之前伪分布集群的一些信息。 [rootbigdata01 ~]# rm -rf /data/soft/hadoop-3.2.0
[rootbigdata01 ~]# rm -rf /data/hadoop_repo假设我们现在已经具备三台linux机器了里面都是全新的环境。
3. 基础环境准备
下面开始操作。 注意针对这三台机器的ip、hostname、firewalld、JDK这些基础环境的配置步骤在这里就不再记录了具体步骤参考伪分布式中的步骤。 这些基础环境配置好以后还没完还有一些配置需要完善。
4. 配置ip映射
配置/etc/hosts 因为需要在主节点远程连接两个从节点所以需要让主节点能够识别从节点的主机名使用主机名远程访问默认情况下只能使用ip远程访问想要使用主机名远程访问的话需要在节点的/etc/hosts文件中配置对应机器的ip和主机名信息。
所以在这里我们就需要在bigdata01的/etc/hosts文件中配置下面信息最好把当前节点信息也配置到里面这样这个文件中的内容就通用了可以直接拷贝到另外两个从节点
[rootbigdata01 ~]# vi /etc/hosts
192.168.92.100 bigdata01
192.168.92.101 bigdata02
192.168.92.102 bigdata03修改bigdata02的/etc/hosts文件
[rootbigdata02 ~]# vi /etc/hosts
192.168.92.100 bigdata01
192.168.92.101 bigdata02
192.168.92.102 bigdata03修改bigdata03的/etc/hosts文件
[rootbigdata03 ~]# vi /etc/hosts
192.168.92.100 bigdata01
192.168.92.101 bigdata02
192.168.92.102 bigdata035. 时间同步
集群节点之间时间同步 集群只要涉及到多个节点的就需要对这些节点做时间同步如果节点之间时间不同步相差太多会应该集群的稳定性甚至导致集群出问题。
首先在bigdata01节点上操作
使用ntpdate -u ntp.sjtu.edu.cn实现时间同步但是执行的时候提示找不到ntpdata命令
[rootbigdata01 ~]# ntpdate -u ntp.sjtu.edu.cn
-bash: ntpdate: command not found默认是没有ntpdate命令的需要使用yum在线安装执行命令 yum install -y ntpdate然后手动执行ntpdate -u ntp.sjtu.edu.cn 确认是否可以正常执行
[rootbigdata01 ~]# ntpdate -u ntp.sjtu.edu.cn建议把这个同步时间的操作添加到linux的crontab定时器中每分钟执行一次
[rootbigdata01 ~]# vi /etc/crontab
* * * * * root /usr/sbin/ntpdate -u ntp.sjtu.edu.cn然后在bigdata02和bigdata03节点上配置时间同步
在bigdata02节点上操作
[rootbigdata02 ~]# yum install -y ntpdate
[rootbigdata02 ~]# vi /etc/crontab
* * * * * root /usr/sbin/ntpdate -u ntp.sjtu.edu.cn在bigdata03节点上操作
[rootbigdata03 ~]# yum install -y ntpdate
[rootbigdata03 ~]# vi /etc/crontab
* * * * * root /usr/sbin/ntpdate -u ntp.sjtu.edu.cn6. SSH免密码登录完善 注意针对免密码登录目前只实现了自己免密码登录自己最终需要实现主机点可以免密码登录到所有节点所以还需要完善免密码登录操作。 首先在bigdata01机器上执行下面命令将公钥信息拷贝到两个从节点
[rootbigdata01 ~]# scp ~/.ssh/authorized_keys bigdata02:~/
The authenticity of host bigdata02 (192.168.92.101) cant be established.
ECDSA key fingerprint is SHA256:OkPdWB6Qbl6dbKtaCWEsnueYoZ1E6jTMswu1gB5e8Wg.
ECDSA key fingerprint is MD5:fa:46:3c:5c:86:b3:6e:36:86:2c:94:8c:5d:a8:83:fc.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added bigdata02,192.168.92.101 (ECDSA) to the list of known hosts.
rootbigdata02s password:
authorized_keys 100% 396 197.0KB/s 00:00
You have mail in /var/spool/mail/root
[rootbigdata01 ~]# scp ~/.ssh/authorized_keys bigdata03:~/
The authenticity of host bigdata03 (192.168.92.102) cant be established.
ECDSA key fingerprint is SHA256:OkPdWB6Qbl6dbKtaCWEsnueYoZ1E6jTMswu1gB5e8Wg.
ECDSA key fingerprint is MD5:fa:46:3c:5c:86:b3:6e:36:86:2c:94:8c:5d:a8:83:fc.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added bigdata03,192.168.92.102 (ECDSA) to the list of known hosts.
rootbigdata03s password:
authorized_keys 100% 396 305.2KB/s 00:00
[rootbigdata01 ~]#然后在bigdata02和bigdata03上执行 bigdata02
[rootbigdata02 ~]# cat ~/authorized_keys ~/.ssh/authorized_keysbigdata03:
[rootbigdata03 ~]# cat ~/authorized_keys ~/.ssh/authorized_keys7. 免密登录验证
验证一下效果在bigdata01节点上使用ssh远程连接两个从节点如果不需要输入密码就表示是成功的此时主机点可以免密码登录到所有节点。
[rootbigdata01 ~]# ssh bigdata02
Last login: Sat Jul 3 18:53:32 2021 from 192.168.92.1
[rootbigdata02 ~]# exit
logout
Connection to bigdata02 closed.
[rootbigdata01 ~]# ssh bigdata03
Last login: Sat Jul 3 18:53:34 2021 from 192.168.92.1
[rootbigdata03 ~]# exit
logout
Connection to bigdata03 closed.
[rootbigdata01 ~]#有没有必要实现从节点之间互相免密码登录呢
这个就没有必要了因为在启动集群的时候只有主节点需要远程连接其它节点。
OK那到这为止集群中三个节点的基础环境就都配置完毕了接下来就需要在这三个节点中安装Hadoop了。
