Hadoop完全分布式集群启动
集群架构
| |hadoop101|hadoop102|hadoop103| -|-|-|- HDFS|NameNode DataNode|DataNode|SecondaryNameNode DataNode |YARN|JobHistory NodeManager|ResourceManager NodeManager|NodeManager
各服务器(节点)的环境最好完全一致。 当使用VMware虚拟机模拟时,可以先配置好一台服务器,然后Clone。
1. 配置网络和主机名
2. 安装JDK
3. 安装hadoop
以上可参考hadoop安装,注意虚拟机网卡设置为NAT模式。
4. Clone主机
4.1 关闭所有非必要的后台程序和服务,关机 4.2 VM->Manager->Clone 4.3 选择完整克隆 4.4 找一个空间较大的磁盘,统一放置在一个位置,设置虚拟机和虚拟机文件夹的名字
- hadoop101
- hadoop102
- hadoop103
4.5 对所有主机进行配置 将虚拟机的ip获取方式由自动(DHCP)改为静态(static) 查看宿主机的ip(不是公网ip),假设为192.168.142.1,则虚拟机的ip要设置为192.168.142.* |hostname|IP| -|- |hadoop101|192.168.142.101 |hadoop102|192.168.142.102 |hadoop103|192.168.142.103