实战 | 史上最详细Hadoop大数据集群搭建，不看后悔系列大数据小林玩大数据-

1. 搭建环境

1.1 实验环境

本文基于 HA 分布式文件系统（HDFS），搭建 MapReduce on yarn 大数据集群。总共需要四台虚拟机node01、node02、node03、node04，各个角色进程的分配如下表所示：

1.2 架构模型

HDFS 2.x 通过Namenode主备模型解决了 HDFS 1.x 的单点故障和内存受限问题。本文采用基于 ZooKeeper 的名称节点自动切换方案。由 ZooKeeper Failover Controller 进程实时的监控 namenode 的健康状态，ZooKeeper Failover Controller 进程帮助 Namenode 向 ZooKeeper 争抢锁，获得锁的 Namenode 成为 Active ，另一台 Namenode 为 standby。 Active 对外提供服务，Standby 通过 journalnode 保持通信，同步 Active 元数据，随时以待切换。此外，Standby 完成了edits.log 文件的合并，并产生新的 image ，然后推回给 Active。如果 Active 发生故障，则自动切换到备 Standby。Datanode 同时向 Active 和 Standby 保持心跳，报告数据块的信息。HDFS 2.x 的架构模型如下图所示：

1.3 前期准备

• 修改 /etc/hosts 文件，使IP地址与主机一一映射。

//修改node01/etc/hosts文件： [root@node01~]#  vi /etc/hosts  127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.179.101 node01 192.168.179.102 node02 192.168.179.103 node03 192.168.179.104 node04  

• 软件包资源
  jdk-7u67-linux-x64.rpm、hadoop-2.6.5.tar.gz、zookeeper-3.4.6.tar.gz：
  软件包百度网盘资源链接
  提取码：2nma

2. 软件环境依赖部署

众所周知，Hadoop是由热门的Java语言开发的，所以，大数据集群的运行需要依赖Java环境。首先，需要准备java环境。

2.1 jdk安装及配置

把jdk-7u67-linux-x64.rpm、hadoop-2.6.5.tar.gz两个软件包通过ftp上传到node01/home目录下：

1. 解压jdk-7u67-linux-x64.rpm：

 //将jdk解压至node01的/usr/local目录下  [root@node01 ~]#  rpm -ivh  jdk-7u67-linux-x64.rpm 

2. 修改配置文件/etc/profile:

[root@node01 ~]# vi /etc/profile 

3. 执行并验证

1 [root@node01 ~]# source /etc/profile  //使配置文件生效 2 [root@node01 ~]# jps          //验证Java环境   1348 jps                     //java环境成功安装 

4. 分发给node02、node03、node04

//将jdk部署到其它三台机器 [root@node01 ~]# scp -r  /usr/local/java node02：/usr/local/   [root@node01 ~]# scp -r  /usr/local/java node03：/usr/local/   [root@node01 ~]# scp -r  /usr/local/java node04：/usr/local/    //将配置文件远程拷贝到其它三台机器 [root@node01 ~]# scp -r  /etc/profile node02：/etc/ [root@node01 ~]# scp -r  /etc/profile node03：/etc/ [root@node01 ~]# scp -r  /etc/profile node04：/etc/ 

2.2 ssh免密钥配置

• 免密钥需求场景
  • 管理脚本远程管理其它节点启停服务时，namenode上的管理脚本需要免密钥访问其他节点
  • 在HA架构模型中，主备namenode上的ZKFC需要通过免密钥控制对方和自己

[root@node01 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa   //获取密钥，四台节点都要做 ##想免密钥访问谁，就把自己的公钥放到谁的authorized_keys文件中 1 [root@node01 .ssh]# cat id_dsa.pub >> authorized_keys   //和自己免密钥 2 [root@node01 .ssh]# scp id_dsa node02:`pwd`/node01.pub   //把node01公钥发给node02，并命名为node01.pub 3 [root@node02 .ssh]# cat node01.pub >> authorized_keys   //实现了node01对node02的免密钥登录 ##对node03、node04采用上述2、3步骤 ##本集群搭建需要做node01免密钥访问node02、node03、node04 ##以及node02免密钥访问node01 

3. Hadoop及Zookeeper部署

3.1 Hadoop安装及配置

3.1.1 解压hadoop-2.6.5.tar.gz：

为了简便，只需要在 node01 上安装和配置好 Hadoop ，然后通过远程拷贝命令分发给 node02、node03、node04。

 //将hadoop-2.6.5.tar.gz解压至node01的/opt/soft目录下  [root@node01 ~]# tar -zxvf  hadoop-2.6.5.tar.gz [root@node01 ~]# mv hadoop-2.6.5 /opt/soft   //把解压的目录移动至/opt/soft 

3.1.2 修改配置文件/etc/profile:

[root@node01 ~]# vi /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_67 export HADOOP_HOME=/opt/sxt/hadoop-2.6.5 #配置家目录 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin  #配置bin和sbin执行目录 

3.1.3 修改 hadoop-env.sh 和 mapred-env.sh 配置文件

在 Hadoop 中主要修改的配置文件有以下7个：
hadoop-env.sh、mapred-env.sh、hdfs-site.xml、core-site.xml、slaves、mapred-site.xml、yarn-site.xml。
在 MR 离线计算时，名称节点在使用脚本远程访问其它节点时，不会读取到 /etc/pofile 文件的 java 配置，所以要在这两个文件中配置 java 的绝对路径,上述配置的 JAVA_HOME。

[root@node01~]# cd $HADOOP_HOME [root@node01 hadoop-2.6.5]# cd etc/hadoop [root@node01 hadoop]# vi hadoop-env.sh 

[root@node01 hadoop]# vi mapred-env.sh 

3.1.4 配置hdfs-site.xml 文件

该文件的配置总共包含以下五点：

• 指定存放block块的数据节点（Datanode）的副本数，一般不超过所设定的数据节点数，本文设为3，提供以下配置源代码：

[root@node01 hadoop]# vi hdfs-site.xml 

 <property> <name>dfs.replication</name> <value>3</value> </property> 

• 逻辑到物理的映射，namenode服务集群node01、node02，以及他们的启动时所用的端口：8020，和浏览器访问时所用的端口：50070。提供以下配置源代码：

 <property> <name>dfs.nameservices</name> <value>mycluster</value> </property> <property> <name>dfs.ha.namenodes.mycluster</name> <value>nn1,nn2</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn1</name> <value>node01:8020</value> </property> <property> <name>dfs.namenode.rpc-address.mycluster.nn2</name> <value>node02:8020</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn1</name> <value>node01:50070</value> </property> <property> <name>dfs.namenode.http-address.mycluster.nn2</name> <value>node02:50070</value> </property> 

• journalnode相关信息配置，包括三台journalnode的节点及启动端口，和存放数据的目录。提供以下配置源代码：

 <property> <name>dfs.namenode.shared.edits.dir</name> <value>qjournal://node01:8485;node02:8485;node03:8485/mycluster</value> </property> <property> <name>dfs.journalnode.edits.dir</name> <value>/var/hadoop/ha/jn</value> </property> 

• 故障的切换的实现和代理。提供以下配置源代码：

 <property> <name>dfs.client.failover.proxy.provider.mycluster</name> <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value> </property> <property> <name>dfs.ha.fencing.methods</name> <value>sshfence</value> </property> <property> <name>dfs.ha.fencing.ssh.private-key-files</name> <value>/root/.ssh/id_dsa</value> </property> 

• 实现 HDFS 的 HA（高可用）模型自动故障转移开关，打开后，会在名称节点上创建 ZooKeeper Failover Controller 进程，监控名称节点的健康状态。提供以下配置源代码：

 <property> <name>dfs.ha.automatic-failover.enabled</name> <value>true</value> </property> 

3.1.5 配置 core-site.xml 和 Slaves 文件

3.1.5.1 core-site.xml 文件的配置

• fs.defaultFS 的入口修改为上述配置的逻辑名称：hdfs://mycluster

[root@node01 hadoop]# vi core-site.xml 

 <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop/ha</value> </property> 

注意：hadoop.tmp.dir 是存放数据的目录，默认是 /tmp/ ，需要手动指定一个持久目录例：/var/hadoop/ha

• ZooKeeper Failover Controller 会用到 ZooKeeper ，需要配置 ZooKeeper 节点信息

 <property> <name>ha.zookeeper.quorum</name> <value>node02:2181,node03:2181,node04:2181</value> </property> 

3.1.5.2 Slaves 文件的配置

配置数据节点（Datanode）的位置：

[root@node01 hadoop]# vi slaves #打开后添加如下内容： node02 node03 node04 

3.1.6 Hadoop 分发以及 HA HDFS on yarn 配置

3.1.6.1 Hadoop 分发

鉴于以上所有的操作全部都在 node01 虚拟机上操作，所以需要把 node01 上安装配置好的 Hadoop 远程分发到 node02 、node03 、node04 上。

#分发 Hadoop [root@node01~]# cd $HADOOP_HOME  //回到 hadoop 的家目录 [root@node01 hadoop-2.6.5]# scp ./hadoop-2.6.5/   node2:`pwd` [root@node01 hadoop-2.6.5]# scp ./hadoop-2.6.5/   node3:`pwd` [root@node01 hadoop-2.6.5]# scp ./hadoop-2.6.5/   node4:`pwd` #分发 Hadoop 的配置文件 /etc/profile [root@node01 hadoop-2.6.5]# cd    //回到家目录 [root@node01~]# scp /etc/profile  node02:/etc/ [root@node01~]# scp /etc/profile  node03:/etc/ [root@node01~]# scp /etc/profile  node04:/etc/ 

3.1.6.2 HA HDFS on yarn 配置

• yarn 是 Hadoop 2.x 新引入的资源管理系统，yarn 的引入把资源管理和计算调度进行解耦，可使得多个计算框架运行在一个集群，如MapReduce、spark、storm 。yarn 主要有 Resourcemanager （负责整个集群的资源管理及调度）和 Nodemanager (向 RM 汇报集群节点的资源使用情况，管理container的生命周期)两个角色。
  该项配置主要包括 mapre-site.xml 和 yarn-site.xml 两个文件：

[root@node01 hadoop]# cp  mapre-site.xml.template  mapre-site.xml   //复制一份 [root@node01 hadoop]# vi mapre-site.xml 

 #实现了 MapReduce on yarn <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 

注：以上为配置源代码

[root@node01 hadoop]# vi yarn-site.xml 

 <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.resourcemanager.ha.enabled</name> <value>true</value> </property> <property> <name>yarn.resourcemanager.cluster-id</name> <value>cluster1</value> </property> <property> <name>yarn.resourcemanager.ha.rm-ids</name> <value>rm1,rm2</value> </property> <property> <name>yarn.resourcemanager.hostname.rm1</name> <value>node03</value> </property> <property> <name>yarn.resourcemanager.hostname.rm2</name> <value>node04</value> </property> <property> <name>yarn.resourcemanager.zk-address</name> <value>node02:2181,node03:2181,node04:2181</value> </property> 

注： 以上为配置源代码。主要配置 Resourcemanager 和 Nodemanager 的主机位置

• 将 mapre-site.xml 和 yarn-site.xml 两个文件分发给 node02。

[root@node01 hadoop]# scp  mapre-site.xml  yarn-site.xml  node02:`pwd` 

至此所有虚拟机 Hadoop 的安装及配置已经完成。

3.2 ZooKeeper 安装及配置

由 1.1 中的角色进程分配表可知，ZooKeeper 分配在node02、node03、node04 三台节点上，所以只需要在 node02 上安装配置好 ZooKeeper ,然后通过远程拷贝命令分发给 node03、node04。

3.2 .1 ZooKeeper 安装

[root@node02~]# tar -zxvf zookeeper-3.4.6.tar.gz [root@node02~]# mv  zookeeper-3.4.6.tar.gz  /opt/soft    //把解压的文件移至此目录 [root@node02~]# vi /etc/profile  //配置 ZooKeeper home 目录和 bin 目录 export JAVA_HOME=/usr/java/jdk1.7.0_67 export HADOOP_HOME=/opt/sxt/hadoop-2.6.5 export ZOOKEEPER_HOME=/opt/sxt/zookeeper-3.4.6 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin 

3.2 .1 ZooKeeper 配置

[root@node02~]# cd $ZOOKEEPER_HOME [root@node02 zookeeper-3.4.6]# cd conf [root@node02 conf]# mv  zoo_sample.cfg  zoo.cfg  //复制一份并重命名为 zoo.cfg [root@node02 conf]# vi zoo.cfg 

保存后退出。
创建刚刚配置的目录，并把事务 id 存入 myid 文件中。

[root@node02 conf]# mkdir -p /var/hadoop/zk   //创建目录 [root@node02 conf]# echo 1  >>  /var/hadoop/zk/myid   //把事务 id 存入 myid 文件中 [root@node02 conf]# cd /opt/soft [root@node02 soft]# scp -r  ./zookeeper-3.4.6  node03:`pwd` //将 ZooKeeper 分发给node03 [root@node02 soft]# scp -r  ./zookeeper-3.4.6  node04:`pwd` //将 ZooKeeper 分发给node04  //同时将 /etc/profile 配置文件分发给 node03 node04 [root@node02 soft]# scp -r /etc/profile  node03:/etc/ [root@node02 soft]# scp -r /etc/profile  node03:/etc/ 

值得注意的是，需要分别切换到 node03 、node04 上，重复创建目录和存事务 id两件事。

# 在 node03 上： [root@node03 ~]# mkdir -p /var/hadoop/zk   //创建目录 [root@node03 ~]# echo 2  >>  /var/hadoop/zk/myid   //把事务 id 存入 myid 文件中 # 在 node04 上： [root@node04 ~]# mkdir -p /var/hadoop/zk   //创建目录 [root@node04 ~]# echo 3  >>  /var/hadoop/zk/myid   //把事务 id 存入 myid 文件中 

值得恭喜，Hadoop 和 ZooKeeper 两个软件都已经安装配置成功啦！

3.3 HDFS 、ZooKeeper 和 yarn 启动

3.3.1 启动 ZooKeeper

# 分别在 node02 node03 node04 执行以下命令,依次启动 ZooKeeper，ZooKeeper 要先启动 [root@node02 ~]# zkServer.sh  start 

3.3.2 启动 HDFS

启动 HDFS 前，需要格式化 Namenode，格式化 Namenode 前需要启动 journalnode ，因为主备两台 Namenode 需要通过 journalnode 传递数据。

 # 第一、分别在 node01 node02 node03 执行以下命令，依次启动 journalnode [root@node01 ~]# hadoop-daemon.sh  start  journalnode # 第二、在 node01 上格式化 namenode [root@node01 ~]# hdfs namenode  -format   # 第三、启动 node01 上的 namenode  [root@node01 ~]# hadoop-daemon.sh  start  namenode # 第四、在 node02 上同步 [root@node02 ~]# hdfs  namenode  -bootstrapStandby # 第五、在 node01 上格式化 ZooKeeper，此步是启动  ZooKeeper Failover Controller 进程的前置依赖 [root@node01 ~]# hdfs  zkfc  -formatZK 

注意：第二步，需要见到 successfully 字样，namenode才算格式化成功，否则重来

两次格式化做完，终于可以启动 HDFS 了。

 # 在 node01 上 执行以下命令启动 HDFS [root@node01 ~]# start-dfs.sh 

 # 在四台虚拟机上执行 jps 命令验证 HDFS 启动情况 # node01 [root@node01 ~]# jps  4213 NameNode 5148 Jps 4089 JournalNode 4650 DFSZKFailoverController   # node02 [root@node02 ~]# jps 3099 DFSZKFailoverController 2809 JournalNode 1813 QuorumPeerMain 2923 NameNode 4475 Jps   # node03 [root@node03 ~]# jps  2372 Jps 1610 QuorumPeerMain 2171 JournalNode   # node04 [root@node04 ~]# jps 1511 QuorumPeerMain 1982 Jps 

3.3.3 启动 yarn

 # 第一、在 node01 上执行以下命令，启动 三台 Nodemanager [root@node01 ~]# start-yarn.sh # 第二、在 node03 上执行以下命令，手工启动 Resourcemanager [root@node03 ~]# yarn-daemon.sh  start  resourcemanager # 第三、在 node04 上执行以下命令，手工启动 Resourcemanager [root@node04 ~]# yarn-daemon.sh  start  resourcemanager   

注意：上述命令执行完后，依次在 node02、node03 、node04 上执行 jps 验证：node02 比原来多了一个 NodeManager 进程；node03 和 node04 都多了一个 NodeManager 和 ResourceManager 进程。

结语：感谢你！耐心的看完了这篇文章！也恭喜你！我们又成长了一步！建议大家亲手实践一遍，搭建集群不是最终目的，最重要的是理解整个基于 HDFS ，MapReduce on yarn 架构模型！