• 集群规划：

  node-01
  node-02
  node-03

• 下载spark安装包

  • 下载地址spark官网：http://spark.apache.org/downloads.html
  • 这里我们使用 spark-2.0.2-bin-hadoop2.7版本.

• 上传并解压安装包

  # 指定上传目录
  cd /export/software
  # 上传安装包
  rz
  # 解压安装包到指定目录
  tar -zxvf spark-2.0.2-bin-hadoop2.7 -C /export/servers
  # 重命名安装包
  mv spark-2.0.2-bin-hadoop2.7 spark

• 修改配置文件

  • 配置文件目录在 /export/servers/spark/conf

  • vi spark-env.sh 修改文件(先把spark-env.sh.template重命名为spark-env.sh)

    # 配置java环境变量
    export JAVA_HOME=/export/servers/jdk
    # 指定spark老大Master的IP
    export SPARK_MASTER_HOST=node-01
    # 指定spark老大Master的端口
    export SPARK_MASTER_PORT=7077

  • vi slaves 修改文件(先把slaves.template重命名为slaves)

    # 添加Worker节点
    node-02
    node-03

• 拷贝配置到其他主机

  • 通过scp 命令将spark的安装目录拷贝到其他机器上

    scp -r /export/servers/spark node-02:/export/servers
    scp -r /export/servers/spark node-03:/export/servers

• 配置spark环境变量

  • 将spark添加到环境变量,添加以下内容到 /etc/profile

    export SPARK_HOME=/export/servers/spark
    export PATH=$PATH:$SPARK_HOME/bin

  • 注意最后 source /etc/profile 刷新配置

• 启动spark

  • 在主节点上启动spark

    /export/servers/spark/sbin/stop-all.sh 

• 停止spark

  • 在主节点上停止spark集群

    /export/servers/spark/sbin/stop-all.sh 

• spark的web界面

  • 正常启动spark集群后，可以通过访问 http://node-01:8080,查看spark的web界面，查看相关信息。

每一个成功的背后都有无数个无人知晓的黑夜。

因为

夜晚，是超越对手的最佳时机。

===================== 码农1024 =====================#蔺光岭#