Kafka入门-监控与可视化

Kafka监控

安装MySQL

首先确定没有安装过mysql

rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -ee --nodeps

下载mysql

wget --no-check-certificate http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

开始安装

yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server --nogpgcheck

启动mysql

systemctl start mysqld.service

查看mysql初始密码

sudo cat /var/log/mysqld.log | grep password

利用初始密码登录mysql

mysql -uroot -p'xxx'

设置复杂密码

set password=password("xxxXX8");

更改mysql密码策略

set global validate_password_length=4;
set global validate_password_policy=0;

设置简单密码

set password=password("000000");

进入mysql库

use mysql;

查询user表

select user, host from user;

修改user表，把host表内容改为%

update user set host="%" where user="root";

刷新

flush privileges;

Kafka环境准备

关闭Kafka

kf.sh stop

进入到安装目录下修改bin/kafka-server-start.sh文件

vim bin/kafka-server-start.sh

修改原有的参数

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

为

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx2G -Xms2G -XX:PermSize=128m	-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
    export JMX_PORT="9999"
fi

分发修改好的文件

xsync kafka-server-start.sh

启动kafka

kf.sh start

安装Kafka-Eagle

首先到官网下载安装包

https://www.kafka-eagle.org/

将安装包放入虚拟机中，并解压

 tar -zxvf kafka-eagle-bin-3.0.1.tar.gz 

进入解压后的文件夹，发现里面又是一个压缩包

[root@centos101 kafka-eagle-bin-3.0.1]# ls
efak-web-3.0.1-bin.tar.gz

将这个压缩包再次解压

tar -zxvf efak-web-3.0.1-bin.tar.gz 

进入解压后的文件内修改配置文件conf/system-config.properties

vim system-config.properties

修改

efak.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

为

efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.27.101:2181,192.168.27.102:2181,192.168.27.103:2181/kafka

注释掉这行代码

#cluster2.efak.offset.storage=zk

配置mysql

efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=000000

配置环境变量

vim /etc/profile.d/my_env.sh

#KAFKA_EFAK
export KE_HOME=/mydata/kafka/kafka-eagle-bin-3.0.1/efak-web-3.0.1
export PATH=$PATH:$KE_HOME/bin

执行source操作

source /etc/profile

启动efak，在安装目录下执行命令

bin/ke.sh start

浏览器访问页面，用提示的账户和密码登录进去，就可以访问到主页面

可以可视化的查看kafka内的信息