• 集群规划：

  node-01 zk-01
  node-02 zk-02
  node-03 zk-03

• 下载spark安装包

  • 下载地址spark官网：http://spark.apache.org/downloads.html
  • 这里我们使用 spark-2.0.2-bin-hadoop2.7版本.

• 上传并解压安装包

  # 指定上传目录
  cd /export/software
  # 上传安装包
  rz
  # 解压安装包到指定目录
  tar -zxvf spark-2.0.2-bin-hadoop2.7 -C /export/servers
  # 重命名安装包
  mv spark-2.0.2-bin-hadoop2.7 spark

• 修改配置文件

  • 配置文件目录在 /export/servers/spark/conf

  • vi spark-env.sh 修改文件(先把spark-env.sh.template重命名为spark-env.sh)

    # 配置java环境变量
    export JAVA_HOME=/export/servers/jdk
    # 指定spark老大Master的IP
    # export SPARK_MASTER_HOST=node-01
    # 指定spark老大Master的端口
    export SPARK_MASTER_PORT=7077
    
    # 注释掉export SPARK_MASTER_HOST=hdp-node-01
    # 在spark-env.sh添加SPARK_DAEMON_JAVA_OPTS
    # spark.deploy.recoveryMode：恢复模式（Master重新启动的模式）有三种：(1)ZooKeeper (2) FileSystem (3)NONE
    # spark.deploy.zookeeper.url：ZooKeeper的Server地址
    # spark.deploy.zookeeper.dir：保存集群元数据信息的文件、目录。包括Worker，Driver和Application。
    export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER  -Dspark.deploy.zookeeper.url=node-01:2181,node-02:2181,node-03:2181  -Dspark.deploy.zookeeper.dir=/spark"

  • vi slaves 修改文件(先把slaves.template重命名为slaves)

    # 添加Worker节点
    node-02
    node-03

• 拷贝配置到其他主机

  • 通过scp 命令将spark的安装目录拷贝到其他机器上

    scp -r /export/servers/spark node-02:/export/servers
    scp -r /export/servers/spark node-03:/export/servers

• 配置spark环境变量

  • 将spark添加到环境变量,添加以下内容到 /etc/profile

    export SPARK_HOME=/export/servers/spark
    export PATH=$PATH:$SPARK_HOME/bin

  • 注意最后 source /etc/profile 刷新配置

• 启动spark

  • 在主节点上启动spark

    /export/servers/spark/sbin/stop-all.sh 

• 停止spark

  • 在主节点上停止spark集群

    /export/servers/spark/sbin/stop-all.sh 

• spark的web界面

  • 正常启动spark集群后，可以通过访问 http://node-01:8080,查看spark的web界面，查看相关信息。

注意：

  在普通模式下启动spark集群，只需要在主机上面执行start-all.sh 就可以了。
  在高可用模式下启动spark集群，先需要在任意一台主节点上启动start-all.sh命令。然后在另外一台主节点上单独启动master。命令start-master.sh。

每一个成功的背后都有无数个无人知晓的黑夜。

因为

夜晚，是超越对手的最佳时机。

===================== 码农1024 =====================#蔺光岭#