Spark

Spark

集群搭建

• 关于版本：
  • 最新版本 3.1.2
  • 企业开发常用版本 2.1.x ~ 2.4.x
  • 经典复古版本 1.6.3

1. 上传解压改名字

2. 修改配置文件

   • spark-default.conf
     设置spark集群配置

# 设置Spark集群的master主机名和服务端口
spark.master     spark://node01:7077

• spark-env.sh
  设置需要依赖的环境变量

HADOOP_CONF_DIR=/opt/hadoop-2.7.7/etc/hadoop
SPARK_MASTER_HOST=node01
SPARK_MASTER_PORT=7077
export JAVA_HOME=/opt/jdk1.8

• wokers
  设置所有从节点启动的主机名

  node01
  node02
  node03

3. 分发安装包

#!/bin/bash

HOSTS=`cat /etc/hosts | grep node | awk '{print $2}'`

for HOST in $HOSTS
do
   echo "将${1}文件发送到${HOST}的${2}路径"
   scp -rq $1 $HOST:$2
   echo "发送完成"
done

4. 配置环境变量

echo 'export SPARK_HOME=/opt/spark-3.1.2' >> /etc/profile
echo 'export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH' >> /etc/profile
source /etc/profile

5. 启动集群

start-spark-all.sh