10.Linux下Spark的安装配置

本案例软件包：链接：https://pan.baidu.com/s/1zABhjj2umontXe2CYBW_DQ 
提取码：1123（若链接失效在下面评论，我会及时更新）.

目录

（1）安装Spark

1.先用xftp将安装包传到home/hadoop/Downloads文件夹下，然后解压安装。

2.解压缩：

3. 更改文件夹名称：

4.修改hadoop用户对文件夹spark的访问权限：

（2）配置

1.复制一份由Spark安装文件自带的配置文件模板：

2.使用vim编辑器打开spark-env.sh，再第一行添加配置信息：

3.验证Spark安装是否成功：

4. 启动HDFS后，Spark可以对HDFS中的数据进行读写。

（1）安装Spark

1.先用xftp将安装包传到home/hadoop/Downloads文件夹下，然后解压安装。

2.解压缩：

sudo tar -zxf spark-2.1.0-bin-without-hadoop.tgz -C /usr/local

3. 更改文件夹名称：

cd  /usr/local
sudo mv spark-2.1.0-bin-without-hadoop spark

4.修改hadoop用户对文件夹spark的访问权限：

sudo chown -R hadoop:hadoop ./spark

（2）配置

1.复制一份由Spark安装文件自带的配置文件模板：

cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh
vim ./conf/spark-env.sh

2.使用vim编辑器打开spark-env.sh，再第一行添加配置信息：

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

3.验证Spark安装是否成功：

cd /usr/local/spark
bin/run-example SparkPi 2>&1 | grep "Pi is roughly"

 如图所示：返回结果：Pi is roughly 3.144115720578603

既安装成功！！！

4. 启动HDFS后，Spark可以对HDFS中的数据进行读写。