基于kafka_exporterprometheusgrafana的kafka监控实现

news/2024/5/19 1:58:10 标签: prometheus, grafana, kafka

kafka_exporter_0">一、安装配置kafka_exporter

下载kafka_exporter

wget http://*.*.*.45:10000/prometheus/kafka_exporter-1.4.2.linux-amd64.tar.gz
tar -zxcf kafka_exporter-1.4.2.linux-amd64.tar.gz

启动kafka_exporter

./kafka_exporter --kafka.server=*.*.*.77:8423 --kafka.server=*.*.*.78:8423 --kafka.server=*.*.*.79:8423 --kafka.server=*.*.*.80:8423 --kafka.server=*.*.*.81:8423 &

Error Init Kafka Client: kafka: client has run out of available brokers to talk to (Is your cluster reachable?)
报错原因:kafka_exporter版本太低 !!!

防火墙开放端口(未启动防火墙不需要)

firewall-cmd --add-port=9092/tcp --permanent       	# 开放 9092 端口
firewall-cmd --reload              					# 重新加载 
firewall-cmd --list-ports     						# 查看所有开放端口 
或 
firewall-cmd --add-port=9092/tcp --permanent && firewall-cmd --reload && firewall-cmd --list-ports

kafka_exporter启动脚本

#!/bin/bash 
nohup /data/gxpt/kafka_exporter/kafka_exporter-2.0 --kafka.server=*.*.*.77:8423 --kafka.server=*.*.*.78:8423 --kafka.server=*.*.*.79:8423 --kafka.server=*.*.*.80:8423 --kafka.server=*.*.*.81:8423 --sasl.enabled --sasl.username=user --sasl.password=md5(pwd)  --sasl.mechanism=scram-sha512 --log.enable-sarama  --web.listen-address=:19091 > /dev/null 2>&1  &

其中,kafka监控账号:user/pwd【md5(pwd)】 监听端口号:–web.listen-address=:19091 kafka_exporter

prometheus_36">二、安装配置prometheus

prometheus.yml配置文件添加以下配置

scrape_configs:
  - job_name: "kafka"
    static_configs:
    - targets: ['localhost:19091']

使用sudo权限,后台执行Prometheus启动命令,并启用lifecycle功能,指定监听端口为9090

sudo nohup ./prometheus --web.enable-lifecycle --web.listen-address=:9090 &

grafana_54">三、安装配置grafana

下载grafana

wget https://dl.grafana.com/enterprise/release/grafana-enterprise-10.2.3-1.x86_64.rpm

安装grafana

yum install grafana-enterprise-10.2.3-1.x86_64.rpm

sudo yum install -y https://dl.grafana.com/enterprise/release/grafana-enterprise-10.2.3-1.x86_64.rpm

启动grafana,默认端口3000

systemctl start grafana-server.service

登录grafana

http://localhost:3000/dashboards amdin/admin

下载kafka监控模板

https://grafana.com/grafana/dashboards/7589-kafka-exporter-overview/
https://grafana.com/grafana/dashboards/11962-kafka-metrics/

配置普米数据源,导入模板即可显示监控信息;


http://www.niftyadmin.cn/n/5320292.html

相关文章

在root账号下启动 elasticsearch

最新版本的 elasticsearch 不能用root账号运行,但是每次启动都要切换到其他账号下面,也是一件很麻烦的事情。下面写个脚本,以指定用户运行elasticsearch 假设服务器已经装好了elasticsearch,并且在 /usr/local/elasticsearch-8.1…

工作电压范围宽的国产音频限幅器D2761用于蓝牙音箱,输出噪声最大仅-90dBV

近年来随着相关技术的不断提升,音箱也逐渐从传统的音箱向智能音箱、无线音箱升级。同时在消费升级的背景下,智能音箱成为人们提升生活品质的方式之一。智能音箱是智能化和语音交互技术的产物,具有点歌、购物、控制智能家居设备等功能&#xf…

ubuntu 22 搭建git服务

第一步,安装git: sudo apt-get install git 创建用户信息 git config --global user.name soft 第二步,创建一个git用户,用来运行git服务: sudo adduser git 创建git仓库的存储目录、更改文件目录属主为代码仓库…

精确掌控并发:分布式环境下并发流量控制的设计与实现(二)

3. 固定窗口 参考:精确掌控并发:分布式环境下并发流量控制的设计与实现(一)-CSDN博客 4. 滑动窗口 滑动窗口算法是一种更为灵活的流量控制方案,它比固定窗口算法能更平滑地处理突发流量。在滑动窗口中,时…

Python 架构模式:第五章到第九章

第五章:高档和低档的 TDD 原文:5: TDD in High Gear and Low Gear 译者:飞龙 协议:CC BY-NC-SA 4.0 我们引入了服务层来捕获我们从工作应用程序中需要的一些额外的编排责任。服务层帮助我们清晰地定义我们的用例以及每个用例的工作…

提高iOS App开发效率的方法

引言 随着智能手机的普及,iOS App开发成为越来越受欢迎的技术领域之一。许多人选择开发iOS应用程序来满足市场需求,但是iOS App开发需要掌握一些关键技术和工具,以提高开发效率和质量。本文将介绍一些关键点,可以帮助你进行高效的…

不同activity项目创建时的区别

在 Android Studio 中创建项目时,可以选择创建不同类型的 Activity 作为应用程序的入口点。其中,包括 Empty Activity、Basic Activity、Empty Compose Activity 和 Basic Compose Activity 四种类型。 Empty Activity:这是最简单的 Activity…

Arduino实现简易颜色识别机械臂

机械臂 一 功能原理1 硬件设备2 arduino库3 工作原理 二 代码设计全局参数1 颜色识别2 机械臂转动3 机械臂复位 三 展示效果 一 功能原理 识别出不同颜色的物体,让机械臂进行夹取并放入不同位置。 1 硬件设备 2 arduino库 3 工作原理 二 代码设计 项目重点划分…