AmosCloud

Library

Have a Question?

If you have any question you can ask below or enter what you are looking for!

Spark

Spark

集群搭建

  • 关于版本:
    • 最新版本 3.1.2
    • 企业开发常用版本 2.1.x ~ 2.4.x
    • 经典复古版本 1.6.3
  1. 上传解压改名字

  2. 修改配置文件

    • spark-default.conf
      设置spark集群配置
# 设置Spark集群的master主机名和服务端口
spark.master     spark://node01:7077
  • spark-env.sh
    设置需要依赖的环境变量
HADOOP_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop
SPARK_MASTER_HOST=node01
SPARK_MASTER_PORT=7077
export JAVA_HOME=/opt/jdk1.8
  • wokers
    设置所有从节点启动的主机名

    node01
    node02
    node03
  1. 分发安装包
#!/bin/bash

HOSTS=`cat /etc/hosts | grep node | awk '{print $2}'`

for HOST in $HOSTS
do
   echo "将${1}文件发送到${HOST}的${2}路径"
   scp -rq $1 $HOST:$2
   echo "发送完成"
done
  1. 配置环境变量
echo 'export SPARK_HOME=/opt/spark-3.1.2' >> /etc/profile
echo 'export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH' >> /etc/profile
source /etc/profile
  1. 启动集群

start-spark-all.sh