Kafka

Kafka

 Kafka集群的安装

1. 首先进到software目录当中
2. 把安装包导入进去
3. 解压之后的效果如下图所示，并把原始kafka文件名重命名一下
4. 重命名之后的效果如下图所示：

解压过后的目录如下图所示：

上传安装包到集群中，并解压。

利用已有的3台机器：node01、node02、node03

修改配置：

1.·cd config

2.·vi server.properties

启动kafka集群

启动脚本和停止脚本命令。

kafka-server-start.sh

kafka-server-stop.sh

以后台守护进程启动：

kafka-server-start.sh -daemon /opt/software/kafka/config/server.properties

启动集群：

Spark Core

第二节 安装部署Spark（二）

• 实验步骤

Spark-yarn

1. 解压缩文件，并重命名为spark-yarn。

1. 修改配置文件

1. 修改hadoop配置文件
2. cd /opt/software/hadoop/hadoop-2.9.2/etc/hadoop/

Vi yarn-site.xml

1. 返回到spark-yarn目录

mv spark-env.sh.template spark-env.sh

vi spark-env.sh

1. 启动HDFS以及Yarn集群
2. 提交测试应用

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master yarn \

--deploy-mode cluster \

./examples/jars/spark-examples_2.12-3.0.0.jar \

查看node01:8088页面

配置历史服务

修改 spark-defaults.conf.template 文件名为 spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

1. 修改 spark-default.conf 文件，配置日志存储路径

注意：需要启动 hadoop 集群，HDFS 上的 directory 目录需要提前存在。

hdfs dfs -mkdir /directory

1. 修改 spark-env.sh 文件, 添加日志配置

1. 开启历史服务，并且重新提交应用

sbin/start-history-server.sh

bin/spark-submit \

--class org.apache.spark.examples.SparkPi \

--master yarn \

--deploy-mode cluster \

./examples/jars/spark-examples_2.12-3.0.0.jar \

10