做网站要要多少钱,工程建设造价全过程监督网站,动漫设计和动漫制作技术的区别,网站蓝色配色目录 网络配置
SSH 免密码登录
部署
执行测试 网络配置 192.168.81.157 node1 master
192.168.81.158 node2 slave1
192.168.81.159 node3 slave2 相同的配置先在一个节点上配置#xff0c;配置完成后复制到其它节点上。
vi /etc/hosts
192.168.81.157 node1
192.168.…目录 网络配置
SSH 免密码登录
部署
执行测试 网络配置 192.168.81.157 node1 master
192.168.81.158 node2 slave1
192.168.81.159 node3 slave2 相同的配置先在一个节点上配置配置完成后复制到其它节点上。
vi /etc/hosts
192.168.81.157 node1
192.168.81.158 node2
192.168.81.159 node3
分别对应每一台主机修改主机名
依次修改所有节点 node[1-3]上分别执行
hostnamectl set-hostname node1 拷贝文件到其他节点
for a in {2..3} ; do scp /etc/hosts node$a:/etc/hosts ; done SSH 免密码登录
1.在集群node1的 /etc/ssh/sshd_config 文件
vi /etc/ssh/sshd_config
RSAAuthentication yes #开启私钥验证 PubkeyAuthentication yes #开启公钥验证
2.将集群node1 修改后的 /etc/ssh/sshd_config 通过 scp 命令复制发送到集群的每一个节点
for a in {2..3} ; do scp /etc/ssh/sshd_config node$a:/etc/ssh/sshd_config ; done
3.生成公钥、私钥
1.在集群的每一个节点节点输入命令 ssh-keygen -t rsa -P 生成 key一律回车
ssh-keygen -t rsa -P
4.在集群的node1 节点输入命令
将集群每一个节点的公钥id_rsa.pub放入到自己的认证文件中authorized_keys;
for a in {1..3}; do ssh rootnode$a cat /root/.ssh/id_rsa.pub /root/.ssh/authorized_keys; done
5.在集群的node1 节点输入命令
将自己的认证文件 authorized_keys 通过 scp 命令复制发送到每一个节点上去: /root/.ssh/authorized_keys
for a in {2..3}; do scp /root/.ssh/authorized_keys rootnode$a:/root/.ssh/authorized_keys ; done
6.在集群的每一个节点节点输入命令
接重启ssh服务
sudo systemctl restart sshd.service
7.验证 ssh 无密登录
开一个其他窗口测试下能否免密登陆
例如在node3
ssh rootnode2
exit 退出 部署
node1机器上
部署/opt/目录
tar xzvf spark-2.4.4-bin-hadoop2.7.tgz
cd spark-2.4.4-bin-hadoop2.7
cp conf/slaves.template conf/slaves
将slave机器名添加上
node2
node3 cp conf/spark-env.sh.template conf/spark-env.sh 所有机器都
yum install -y java-1.8.0-openjdk vi conf/spark-env.sh
export JAVA_HOME/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.232.b09-0.el7_7.x86_64/jre/ 拷贝到其他机器上
for a in {2..3}; do scp -r /opt/spark-2.4.4-bin-hadoop2.7 node$a:/opt ; done 关闭防火墙各台均执行
systemctl stop firewalld.service
systemctl disable firewalld node1机器上启动集群
./sbin/start-all.sh
关闭集群
./sbin/stop-all.sh netstat -tunlp #看到8080端口已经被监听 浏览器访问页面
http://192.168.81.157:8080/ 可以看到slave也加入到集群中了。 执行测试
bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node1:7077 --num-executors 2 /opt/spark-2.4.4-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.4.jar
……
19/12/17 17:46:05 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 2.072959 s
Pi is roughly 3.141275706378532
……
