the site subtitle

Hadoop完全分布式集群启动

2019.01.10

集群架构

| |hadoop101|hadoop102|hadoop103| -|-|-|- HDFS|NameNode DataNode|DataNode|SecondaryNameNode DataNode |YARN|JobHistory NodeManager|ResourceManager NodeManager|NodeManager

各服务器(节点)的环境最好完全一致。 当使用VMware虚拟机模拟时,可以先配置好一台服务器,然后Clone。

1. 配置网络和主机名

2. 安装JDK

3. 安装hadoop

以上可参考hadoop安装,注意虚拟机网卡设置为NAT模式

4. Clone主机

4.1 关闭所有非必要的后台程序和服务,关机 4.2 VM->Manager->Clone 4.3 选择完整克隆 4.4 找一个空间较大的磁盘,统一放置在一个位置,设置虚拟机和虚拟机文件夹的名字

  • hadoop101
  • hadoop102
  • hadoop103

4.5 对所有主机进行配置 将虚拟机的ip获取方式由自动(DHCP)改为静态(static) 查看宿主机的ip(不是公网ip),假设为192.168.142.1,则虚拟机的ip要设置为192.168.142.* |hostname|IP| -|- |hadoop101|192.168.142.101 |hadoop102|192.168.142.102 |hadoop103|192.168.142.103

5. 配置ssh实现免密码登录

6. 编写xsync与xcall脚本

7. 编辑并分发hadoop配置文件