第2节 spark节点配置

1. 明确要配的节点主机名地址IP角色主节点 master 192.168.56.10 NameNode, ResourceManager, Spark Master从节点1 slave1 192.168.56.11 DataNode, NodeManager, Spark Worker从节点2 slave2 192.168.56.12 DataNode, NodeManager, Spark Worker三台机子都要配下面以slave2为例2. VMware服务检查用 win R 建打开windows终端输入 services.msc 后点击 确定 键services.msc运行后进入服务页面找出并启动下图圈出的这两个服务3. 查看目前IP地址在虚拟机中右键打开终端输入ip a 或 ip addr 或者 ifconfigip a4. 手动配置静态IP在slave2虚拟机的终端里输入命令配置ifcfg-ens33文件sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33用 I 键进入插入模式修改文件内容需要改的地方如下修改部分BOOTPROTOstaticIPADDR192.168.56.12不同主机需要相应的变化slave1 把12改成11master把12改成10NETMASK255.255.255.0GATEWAY192.168.56.1BOOTPROTOstatic IPADDR192.168.56.12 NETMASK255.255.255.0 GATEWAY192.168.56.1删除内容带IPV4IPV6的行都删了修改完如图所示修改完内容后先点击 esc 键再输入 : 和 wq! 保存并退出5. 设置主机名执行命令修改hostname改名为slave2sudo hostnamectl set-hostname slave2配置hosts文件sudo vi /etc/hosts添加圈出来的内容最后文件内容如图所示master 192.168.56.10 slave1 192.168.56.11 slave2 192.168.56.126. 关闭防火墙sudo systemctl stop firewalld sudo systemctl disable firewalld7. 关闭SELinux(新手建议关闭)sudo setenforce 0 sudo sed -i s/SELINUXenforcing/SELINUXdisabled/g /etc/selinux/config8. 查看当前IP地址先输入命令重启网卡如下图所示sudo nmcli connection reload sudo nmcli connection up ens33再输入 ip a或者图中的命令查看都可以一样效果 查看ip地址是否已经修改修改成功后地址应如下图所示肯定和之前的不一样ip a注意如果前面步骤均操作且检查后无错误但地址依旧未修改。(以虚拟机master为例)用 win R 建打开windows终端输入 cmd 后点击 确定 键打开windows终端输入并执行命令 ssh-keygen -R 192.168.56.10 (不同主机需要相应的变化slave1 把12改成11master把12改成10再输入并执行命令 ssh gh33192.168.56.10选择 yes输入该虚拟机密码然后就可以了(到这里这节内容就完成了以下检查环节)9. 检查检查IP是否修改SSH服务是否启动成功以及hostname是否修改成功ip addr show ens33 sudo systemctl status sshd hostname