0. 集群部署节点角色的规划（3节点）
node-01 namenode datanode nodemanager zk-01
node-02 datanode resourcemanager nodemanager zk-02
node-03 datanode nodemanager zk-031. 准备Linux环境
0.0 规划目录：
# 软件安装包目录 mkdir -p /export/softwares # 软件安装目录 mkdir -p /export/servers # 软件数据保存目录 mkdir -p /export/data1.0 配置好各虚拟机的网络（采用NAT联网模式）
# 修改配置文件方式: vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE="eth0" BOOTPROTO="static" ### HWADDR="00:0C:29:3C:BF:E7" IPV6INIT="yes" NM_CONTROLLED="yes" ONBOOT="yes" TYPE="Ethernet" UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c" IPADDR="192.168.1.101" ### NETMASK="255.255.255.0" ### GATEWAY="192.168.1.1" ###1.1 修改各个虚拟机主机名
vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=node-011.2 修改主机名和IP的映射关系
vi /etc/hosts 192.168.1.101 node-01 192.168.1.102 node-02 192.168.1.103 node-031.3 关闭防火墙
# 查看防火墙状态 service iptables status # 关闭防火墙 service iptables stop # 查看防火墙开机启动状态 chkconfig iptables --list # 关闭防火墙开机启动 chkconfig iptables off service iptables stop && chkconfig iptables off1.4 配置ssh免登陆
# 生成ssh免登陆密钥 ssh-keygen -t rsa （四个回车） # 执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥） # 将公钥拷贝到要免密登陆的目标机器上 ssh-copy-id node-21.5 同步集群时间
# 常用的手动进行时间的同步 date -s "2017-03-03 03:03:03" # 或者网络同步： yum install ntpdate ntpdate cn.pool.ntp.org
2. 安装JDK
2.1 上传jdk
rz jdk-8u65-linux-x64.tar.gz2.2 解压jdk
tar -zxvf jdk-8u65-linux-x64.tar.gz -C /export/servers2.3 将java添加到环境变量中
vim /etc/profile # 在文件最后添加 export JAVA_HOME=/export/servers/jdk1.8.0_65 export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar2.4 刷新配置
source /etc/profile
3. 安装配置zooekeeper集群
3.1 解压
tar -zxvf zookeeper-3.4.5.tar.gz -C /export/servers3.2 修改配置文件
cd /export/servers/zookeeper-3.4.5/conf/ cp zoo_sample.cfg zoo.cfg vim zoo.cfg 修改：dataDir=/export/data/zkdata 在最后添加： server.1=node-01:2888:3888 server.2=node-02:2888:3888 server.3=node-03:2888:3888 保存退出 然后创建一个zkdata文件夹 mkdir -p /export/data/zkdata echo 1 > /export/data/zkdata/myid3.3 将配置好的zookeeper拷贝到其他节点
scp -r /export/servers/zookeeper-3.4.5/ node-02:/export/servers scp -r /export/servers/zookeeper-3.4.5/ node-03:/export/servers 注意：修改node-02、node-03对应/export/data/zkdata/myid内容 node-02： echo 2 > /export/data/zkdata/myid node-03： echo 3 > /export/data/zkdata/myid
4. 安装hadoop2.7.4
4.1 上传hadoop2.7.4的安装包到服务器
rz hadoop-2.7.4-with-centos-6.7.tar.gz4.2 解压安装包
tar zxvf hadoop-2.7.4-with-centos-6.7.tar.gz -C /export/servers4.3 配置hadoop2.7.4
注意：hadoop2.x的配置文件目录：$HADOOP_HOME/etc/hadoop 第一个：hadoop-env.sh vi hadoop-env.sh export JAVA_HOME=/export/servers/jdk1.8.0_65 第二个：core-site.xml <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://node-01:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录,默认/tmp/hadoop-${user.name} --> <property> <name>hadoop.tmp.dir</name> <value>/export/servers/hadoop</value> </property> 第三个：hdfs-site.xml <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>node-02:50090</value> </property> 第四个：mapred-site.xml mv mapred-site.xml.template mapred-site.xml vi mapred-site.xml <!-- 指定mr运行时框架，这里指定在yarn上，默认是local --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 第五个：yarn-site.xml <!-- 指定YARN的老大（ResourceManager）的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>node-0</value> </property> <!-- NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序默认值："" --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> 第六个：slaves文件，里面写上从节点所在的主机名字 vi slaves node-01 node-02 node-034.4 将hadoop添加到环境变量
vi /etc/proflie # set hadoop env export HADOOP_HOME=/export/servers/hadoop-2.7.4 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # 退出并保存，让后执行命令 source /etc/profile4.5 将配置好的hadoop拷贝到其他节点
scp -r /export/servers/hadoop-2.7.4/ node-02:/export/servers scp -r /export/servers/hadoop-2.7.4/ node-03:/export/servers4.6 格式化namenode（本质是对namenode进行初始化）
hdfs namenode -format (hadoop namenode -format)4.7 启动hadoop
第一步：启动zookeeper集群（分别在node-01，node-02，node-03上启动zk） cd /export/servers/zookeeper/bin ./zkServer.sh start #查看状态：一个leader，两个follower ./zkServer.sh status 第二步：先启动HDFS sbin/start-dfs.sh 第三步：再启动YARN sbin/start-yarn.sh4.8 验证是否启动成功
# 使用jps命令验证 node-01: 2886 DataNode 2759 NameNode 1927 ResourceManager 1418 QuorumPeerMain 2029 NodeManager 3103 Jps node-02: 1872 SecondaryNameNode 1554 NodeManager 1925 Jps 1770 DataNode 1405 QuorumPeerMain node-03: 1670 DataNode 1480 NodeManager 1758 Jps http://node-01:50070 （HDFS管理界面） http://node-01:8088 （MR管理界面）
每一个成功的背后都有无数个无人知晓的黑夜。
因为
夜晚，是超越对手的最佳时机。
===================== 码农1024 =====================#蔺光岭#
还不快抢沙发