Hadoop完全分布式集群启动

Stardust 2019年01月10日 471次浏览

集群架构

hadoop101hadoop102hadoop103
HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNode
YARNJobHistory NodeManagerResourceManager NodeManagerNodeManager

各服务器(节点)的环境最好完全一致。
当使用VMware虚拟机模拟时,可以先配置好一台服务器,然后Clone。

1. 配置网络和主机名

2. 安装JDK

3. 安装hadoop

以上可参考hadoop安装,注意虚拟机网卡设置为NAT模式

4. Clone主机

4.1 关闭所有非必要的后台程序和服务,关机
4.2 VM->Manager->Clone
4.3 选择完整克隆
4.4 找一个空间较大的磁盘,统一放置在一个位置,设置虚拟机和虚拟机文件夹的名字

  • hadoop101
  • hadoop102
  • hadoop103

4.5 对所有主机进行配置
将虚拟机的ip获取方式由自动(DHCP)改为静态(static)
查看宿主机的ip(不是公网ip),假设为192.168.142.1,则虚拟机的ip要设置为192.168.142.*
|hostname|IP|
-|-
|hadoop101|192.168.142.101
|hadoop102|192.168.142.102
|hadoop103|192.168.142.103

5. 配置ssh实现免密码登录

6. 编写xsync与xcall脚本

7. 编辑并分发hadoop配置文件