Hadoop2.7.4 高可用(HA)集群搭建

Hadoop 2017-01-30

0. 集群部署节点角色的规划（3节点）

node-01  namenode  resourcemanager  zkfc  nodemanager  datanode  zk-01  journal node
node-02  namenode  resourcemanager  zkfc  nodemanager  datanode  zk-02  journal node
node-03  datanode  nodemanager  zk-03  journal node

1. 准备Linux环境

  • 0.0 规划目录：

    # 软件安装包目录
mkdir -p /export/softwares
# 软件安装目录
mkdir -p /export/servers
# 软件数据保存目录
mkdir -p /export/data

  • 1.0 配置好各虚拟机的网络（采用NAT联网模式）

    # 修改配置文件方式:
vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"
BOOTPROTO="static"              ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.1.101"           ###
NETMASK="255.255.255.0"          ###
GATEWAY="192.168.1.1"            ###

  • 1.1 修改各个虚拟机主机名

    vi /etc/sysconfig/network
       
NETWORKING=yes
HOSTNAME=node-01

  • 1.2 修改主机名和IP的映射关系

    vi /etc/hosts
           
192.168.1.101    node-01
192.168.1.102    node-02
192.168.1.103    node-03

  • 1.3 关闭防火墙

    # 查看防火墙状态
service iptables status
# 关闭防火墙
service iptables stop
# 查看防火墙开机启动状态
chkconfig iptables --list
# 关闭防火墙开机启动
chkconfig iptables off

service iptables stop && chkconfig iptables off

  • 1.4 配置ssh免登陆

    # 首先要配置node-01到node-01，node-02，node-03的免密码登陆
#在node-01上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点，包括自己
ssh-coyp-id node-01
ssh-coyp-id node-02
ssh-coyp-id node-03
#配置node-02到node-01，node-02，node-03的免密码登陆
#在node-02上生产一对钥匙
ssh-keygen -t rsa
#将公钥拷贝到其他节点
ssh-coyp-id node-01
ssh-coyp-id node-02
ssh-coyp-id node-03
#注意：两个namenode之间要配置ssh免密码登陆，别忘了配置node-01到node-01的免登陆

  • 1.5 同步集群时间

    # 常用的手动进行时间的同步
date -s "2017-03-03 03:03:03"
# 或者网络同步：
yum install ntpdate
ntpdate cn.pool.ntp.org

2. 安装JDK

  • 2.1 上传jdk

    rz jdk-8u65-linux-x64.tar.gz

  • 2.2 解压jdk

    tar -zxvf jdk-8u65-linux-x64.tar.gz -C /export/servers

  • 2.3 将java添加到环境变量中

    vim /etc/profile

# 在文件最后添加
export JAVA_HOME=/export/servers/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

  • 2.4 刷新配置

    source /etc/profile

3. 安装配置zooekeeper集群

  • 3.1 解压

    tar -zxvf zookeeper-3.4.5.tar.gz -C /export/servers

  • 3.2 修改配置文件

    cd /export/servers/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg

修改：dataDir=/export/data/zkdata
在最后添加：
server.1=node-01:2888:3888
server.2=node-02:2888:3888
server.3=node-03:2888:3888

保存退出
然后创建一个zkdata文件夹
mkdir -p /export/data/zkdata
echo 1 > /export/data/zkdata/myid

  • 3.3 将配置好的zookeeper拷贝到其他节点

    scp -r /export/servers/zookeeper-3.4.5/ node-02:/export/servers
scp -r /export/servers/zookeeper-3.4.5/ node-03:/export/servers

注意：修改node-02、node-03对应/export/data/zkdata/myid内容
node-02： 
echo 2 > /export/data/zkdata/myid
node-03： 
echo 3 > /export/data/zkdata/myid

4. 安装hadoop2.7.4

  • 4.1 上传hadoop2.7.4的安装包到服务器

    rz hadoop-2.7.4-with-centos-6.7.tar.gz

  • 4.2 解压安装包

    tar zxvf hadoop-2.7.4-with-centos-6.7.tar.gz -C /export/servers

  • 4.3 配置hadoop2.7.4

    注意：hadoop2.x的配置文件目录：$HADOOP_HOME/etc/hadoop

第一个：hadoop-env.sh
vi hadoop-env.sh
export JAVA_HOME=/export/servers/jdk1.8.0_65

第二个：core-site.xml
<configuration>
    <!-- 集群名称在这里指定！该值来自于hdfs-site.xml中的配置 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://cluster1</value>
    </property>
    <!-- 这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/export/data/hadoop</value>
    </property>

    <!-- ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点-->
    <property>
         <name>ha.zookeeper.quorum</name>
         <value>node-01:2181,node-02:2181,node-02:2181</value>
    </property>
</configuration>

第三个：hdfs-site.xml   
<configuration>
    <!--指定hdfs的nameservices为cluster1，需要和core-site.xml中的保持一致 -->
    <property>
         <name>dfs.nameservices</name>
         <value>cluster1</value>
    </property>
    <!-- cluster1下面有两个NameNode，分别是nn1，nn2 -->
    <property>
         <name>dfs.ha.namenodes.cluster1</name>
         <value>nn1,nn2</value>
    </property>
    <!-- nn1的RPC通信地址 -->
    <property>
         <name>dfs.namenode.rpc-address.cluster1.nn1</name>
         <value>node-01:9000</value>
    </property>
    <!-- nn1的http通信地址 -->
    <property>
         <name>dfs.namenode.http-address.cluster1.nn1</name>
         <value>node-01:50070</value>
    </property>
    <!-- nn2的RPC通信地址 -->
    <property>
         <name>dfs.namenode.rpc-address.cluster1.nn2</name>
         <value>node-02:9000</value>
    </property>
    <!-- nn2的http通信地址 -->
    <property>
         <name>dfs.namenode.http-address.cluster1.nn2</name>
         <value>node-02:50070</value>
    </property>
    <!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
    <property>
         <name>dfs.namenode.shared.edits.dir</name>
         <value>qjournal://node-01:8485;node-02:8485;node-03:8485/cluster1</value>
    </property>
    <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
    <property>
         <name>dfs.journalnode.edits.dir</name>
         <value>/export/data/journaldata</value>
    </property>
    <!-- 开启NameNode失败自动切换 -->
    <property>
         <name>dfs.ha.automatic-failover.enabled</name>
         <value>true</value>
    </property>
    <!-- 指定该集群出故障时，哪个实现类负责执行故障切换 -->
    <property>
         <name>dfs.client.failover.proxy.provider.cluster1</name>
         <value>org.apache.hadoop.hdfs.server.namenode.ha.
ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行-->
    <property>
         <name>dfs.ha.fencing.methods</name>
         <value>
         sshfence
         </value>
    </property>
    <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
    <property>
         <name>dfs.ha.fencing.ssh.private-key-files</name>
         <value>/root/.ssh/id_rsa</value>
    </property>
    <!-- 配置sshfence隔离机制超时时间 -->
    <property>
         <name>dfs.ha.fencing.ssh.connect-timeout</name>
         <value>30000</value>
    </property>
</configuration>

第四个：mapred-site.xml         
<configuration>
    <!-- 指定mr框架为yarn方式 -->
    <property>
         <name>mapreduce.framework.name</name>
         <value>yarn</value>
    </property>
</configuration>

第五个：yarn-site.xml
<configuration>
    <!-- 开启RM高可用 -->
    <property>
         <name>yarn.resourcemanager.ha.enabled</name>
         <value>true</value>
    </property>
    <!-- 指定RM的cluster id -->
    <property>
         <name>yarn.resourcemanager.cluster-id</name>
         <value>yrc</value>
    </property>
    <!-- 指定RM的名字 -->
    <property>
         <name>yarn.resourcemanager.ha.rm-ids</name>
         <value>rm1,rm2</value>
    </property>
    <!-- 分别指定RM的地址 -->
    <property>
         <name>yarn.resourcemanager.hostname.rm1</name>
         <value>node-01</value>
    </property>
    <property>
         <name>yarn.resourcemanager.hostname.rm2</name>
         <value>node-02</value>
    </property>
    <!-- 指定zk集群地址 -->
    <property>
         <name>yarn.resourcemanager.zk-address</name>
         <value>node-01:2181,node-02:2181,node-03:2181</value>
    </property>
    <property>
         <name>yarn.nodemanager.aux-services</name>
         <value>mapreduce_shuffle</value>
    </property>
</configuration>

第六个：slaves文件，里面写上从节点所在的主机名字
vi slaves
node-01
node-02
node-03

  • 4.4 将配置好的hadoop拷贝到其他节点

    scp -r /export/servers/hadoop-2.7.4/ node-02:/export/servers
scp -r /export/servers/hadoop-2.7.4/ node-03:/export/servers

  • 4.5 将hadoop添加到环境变量

    vi /etc/proflie

# set hadoop env
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# 退出并保存，让后执行命令
source /etc/profile

  • 4.6 启动hadoop注意：严格按照下面的步骤!!!!!!

    第一步：启动zookeeper集群（分别在node-01，node-02，node-03上启动zk）
cd /export/servers/zookeeper/bin
./zkServer.sh start
#查看状态：一个leader，两个follower
./zkServer.sh status

第二步：手动启动journalnode（分别在node-01，node-02，node-03上执行）
cd /export/servers/hadoop-2.7.4/sbin
./hadoop-daemon.sh start journalnode
#运行jps命令检验，node-01，node-02，node-03上多了JournalNode进程

第三步：格式化namenode
#在node-01上执行命令:
hdfs namenode -format
#格式化后会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，这里我配置的是/export/data/hadoop，然后将/export/data/hadoop拷贝到node-02的/export/data/hadoop下。
scp -r /export/data/hadoop node-02:/export/data/hadoop
##也可以这样，建议hdfs namenode -bootstrapStandby

第四步：格式化ZKFC(在node-01上执行即可)
hdfs zkfc -formatZK

第五步：启动HDFS(在node-01上执行)
/export/servers/hadoop-2.7.4/sbin/start-dfs.sh

第六步：启动YARN(#####注意#####：是在hadoop02上执行start-yarn.sh，把namenode和resourcemanager分开是因为性能问题，因为他们都要占用大量资源，所以把他们分开了，他们分开了就要分别在不同的机器上启动----这里在一台机器上)
/export/servers/hadoop-2.7.4/sbin/start-yarn.sh

    4.7 验证是否启动成功

    # 使用jps命令验证
node-01:
1616 NameNode
2257 NodeManager
2579 Jps
1379 QuorumPeerMain
2036 DFSZKFailoverController
1450 JournalNode
1723 DataNode
2158 ResourceManager

node-02:
1841 NodeManager
1746 DFSZKFailoverController
1444 JournalNode
1526 NameNode
1368 QuorumPeerMain
1599 DataNode
1983 Jps

node-03:
1520 DataNode
1367 QuorumPeerMain
1784 Jps
1437 JournalNode
1661 NodeManager

到此，hadoop-2.7.4配置完毕，可以统计浏览器访问:
http://hadoop00:50070
NameNode 'node-01:9000' (active)
http://hadoop01:50070
NameNode 'node-02:9000' (standby)

每一个成功的背后都有无数个无人知晓的黑夜。

因为

夜晚，是超越对手的最佳时机。

===================== 码农1024 =====================#蔺光岭#


本文由 蔺光岭 创作，采用 知识共享署名 4.0，可自由转载、引用，但需署名作者且注明文章出处。

还不快抢沙发

添加新评论