杰霸霸博客

主题

Kafka-Eagle 监控 ​

Kafka-Eagle 框架可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。

1. Kafka环境准备 ​

  1. 关闭Kafka集群
sh
[jack@hadoop105 kafka-3.6.1]$ kafka-cluster stop
  1. 修改kafka-server-start.sh脚本 修改如下参数值：
sh
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
 export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

为：

sh
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
 export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G 
-XX:PermSize=128m 
-XX:+UseG1GC 
-XX:MaxGCPauseMillis=200 
-XX:ParallelGCThreads=8 
-XX:ConcGCThreads=5 
-XX:InitiatingHeapOccupancyPercent=70"
 export JMX_PORT="9999"
 #export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

警告

修改之后在启动Kafka之前要分发之其他节点

2. Kafka-Eagle安装 ​

  1. 官网下载：https://www.kafka-eagle.org/
  2. 上传服务器解压 上传压缩包kafka-eagle-bin-3.0.1.tar.gz到集群/opt/software目录
sh
[jack@hadoop105 software]$ ll
总用量 631140
drwxr-xr-x. 2 root root        202 3月   5 15:30 hadoop_source
-rw-r--r--. 1 jack wheel 113609072 3月  11 21:53 kafka_2.12-3.6.1.tgz
-rw-r--r--. 1 jack wheel  89962364 3月  18 19:35 kafka-eagle-bin-3.0.1.tar.gz
-rw-r--r--. 1 root root  439284500 3月  13 22:09 mysql-8.0.35-linux-glibc2.17-x86_64.tar.xz
-rw-r--r--. 1 root root    3424072 3月   5 22:34 redis-7.2.4.tar.gz
[jack@hadoop105 software]$ tar -xfv kafka-eagle-bin-3.0.1.tar.gz -C /opt/module/
[jack@hadoop105 software]$ cd /opt/module/
[jack@hadoop105 module]$ mv kafka-eagle-bin-3.0.1/ kafka-eagle-3.0.1/
## 进入刚才解压的目录
[jack@hadoop105 module]$ cd kafka-eagle-3.0.1/
## 将 efak-web-3.0.1-bin.tar.gz 解压至/opt/module/kafka-eagle-3.0.1中
[jack@hadoop105 kafka-eagle-3.0.1]$ tar -xvf efak-web-3.0.1-bin.tar.gz -C /opt/module/kafka-eagle-3.0.1
  1. 修改配置文件 修改/opt/module/efak-web-3.0.1/conf/system-config.properties
sh
[jack@hadoop105 kafka-eagle-3.0.1]$ cd /opt/module/kafka-eagle-3.0.1/conf
[jack@hadoop105 conf]$ vi system-config.properties
## 注释掉第7行，修改第5,6行
efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.101.105:2181/kafka
## 注释掉第54行
#cluster2.efak.offset.storage=zk
## 配置jdbc连接，配置116行~119行，默认sqlite数据库没有用户名和密码
efak.driver=org.sqlite.JDBC
efak.url=jdbc:sqlite:/opt/module/kafka-eagle-3.0.1/db/kafka-eagle.db
efak.username=
efak.password=
## 注释掉124行~125行
  1. 添加环境变量
sh
[jack@hadoop105 conf]$ sudo vi /etc/profile.d/kafka_env.sh
## 添加以下内容
# KE_HOME
export KE_HOME=/opt/module/kafka-eagle-3.0.1
export PATH=$PATH:$KE_HOME/bin
[jack@hadoop105 conf]$ source /etc/profile

3. 启动Kafka-Eagle ​

提示

启动之前需要先启动 ZK 以及 KAFKA

sh
[jack@hadoop105 kafka-3.6.1]$ kafka-cluster start
hadoop105 ...done!
hadoop106 ...done!
hadoop107 ...done!

进入kafka-eagle的bin目录

sh
[jack@hadoop105 bin]$ ./ke.sh start
[2024-03-18 20:20:28] INFO: Starting  EFAK( Eagle For Apache Kafka ) environment check ...
Welcome to
    ______    ______    ___     __ __
   / ____/   / ____/   /   |   / //_/
  / __/     / /_      / /| |  / ,<   
 / /___    / __/     / ___ | / /| |  
/_____/   /_/       /_/  |_|/_/ |_|  
( Eagle For Apache Kafka® )

Version v3.0.1 -- Copyright 2016-2022
*******************************************************************
* EFAK Service has started success.
* Welcome, Now you can visit 'http://192.168.101.105:8048'
* Account:admin ,Password:123456
*******************************************************************
* <Usage> ke.sh [start|status|stop|restart|stats] </Usage>
* <Usage> https://www.kafka-eagle.org/ </Usage>
*******************************************************************

4. 访问webUI ​

按照日志提示访问： http://192.168.101.105:8048
Alt text 输入提示的用户名密码进入控制台页面： Alt text