一、安装spark
1、将spark-2.1.2-bin-hadoop2.6.tgz使用WinSCP上传到/usr/local目录下。
2、解压缩spark包：tar zxvf spark-2.1.2-bin-hadoop2.6.tgz。
3、更改spark目录名：mv spark-2.1.2-bin-hadoop2.6 spark
4、设置spark环境变量
vi .bashrc
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=node10:2181,node11:2181,node12:2181"
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
source .bashrc
二、配置spark集群
1、cd /usr/local/spark/conf
2、cp spark-env.sh.template spark-env.sh
2、cp slaves.template slaves
3、vi spark-env.sh
export JAVA_HOME=/usr/java/latest
export SCALA_HOME=/usr/local/scala
####使用zookeeper需要注释掉这一行
#export SPARK_MASTER_IP=node1
export SPARK_WORKER_MEMORY=512m
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
4、修改slaves文件
node1
node2
node3
5、配置spark-shell日志
/usr/local/spark/conf/log4j.properties:
log4j.logger.org.apache.spark.repl.Main=INFO
三、启动Spark集群
# 需要在各节点上首先启动zookeeper
zkServer.sh start
1、在主节点node1上spark目录下的sbin目录
2、执行./start-all.sh
3、使用jps和8080端口可以检查集群是否启动成功 http://node1:8080/
node1是Master，node1/node2/node3启动Worker进程
4、进入spark-shell查看是否正常