常用监控方案 Prometheus + Grafana 简单使用小结

news/2024/5/19 1:32:49 标签: prometheus, grafana, 监控, 开源, micrometer

文章目录

  • 前言
  • 一、概念
    • 1.1 发展
    • 1.2 时序数据
    • 1.3 Metric
  • 二、Prometheus
    • 2.1 架构
    • 2.2 配置
    • 2.3 查询语言PromQL
    • 2.4 Exporter
  • 三、Grafana
    • 3.1 数据源
    • 3.2 权限
    • 3.3 面板可视化
    • 3.4 仪表盘
  • 四、实战
  • 参考

前言

​ Prometheus 是用 GO 语言开发的一个开源的系统监控和告警工具包，最初是 2012 年 SoundCloud 发布的，后面被很多大公司组织所使用，于2016年加入了云原生云计算基金会(Cloud Native Computing Foundation，CNCF)，并于2018年毕业，它现在是一个独立的开源项目，并独立于任何公司进行维护。

​ Prometheus是一个非常优秀的监控工具，准确的说，更是一套监控方案。Prometheus提供了监控数据收集，存储，处理可视化和告警的一套完整的监控解决方案。

​ Grafana 是一个开源的跨平台的度量分析、可视化工具，支持多种数据源，如Prometheus、Elasticsearch、InfluxDB等。它提供了丰富的可视化图表和面板，可以帮助用户更好地理解和分析监控数据。

Prometheus 自身携带一个web UI用来显示数据图表，但是有点简陋，而 Grafana 能够支持精美图表的制作并显示，而且自身支持Prometheus, 所以经典的监控方案就是 Prometheus + Grafana。

一、概念

1.1 发展

运维监控的发展历程可以追溯到计算机技术的早期阶段。随着计算机技术的不断发展，运维监控也在不断地演化和改进。

  • 最初的运维监控主要是通过手动检查系统日志和性能指标来进行的，这种方法非常耗时且容易出错。
  • 随着计算机技术的不断发展，出现了一些基于SNMP 协议的监控工具，例如Nagios、Zabbix等等。这些工具可以自动地收集系统日志和性能指标，并对其进行分析和处理，从而帮助用户更好地了解系统的运行状态。
  • 近年来，随着云计算和容器技术的不断发展，运维监控也在不断地演化和改进。例如 Prometheus就是一种基于云原生技术的开源监控系统，它可以帮助用户更好地管理和监控云原生应用程序。

总之，随着计算机技术的不断发展，运维监控也在不断地演化和改进，从最初的手动检查到基于SNMP协议的监控工具，再到现在的自动化运维监控工具，运维监控为用户提供更好的服务和支持。

1.2 时序数据

时序数据，即时间序列数据(Time Series Data)，按时间维度顺序记录且索引的数据。像物联网、车联网、工业互联网等领域各种类型的设备都会产生海量的时序数据，这些数据将占世界数据总量的90%以上。在监控平台，时序数据常常指的是系统的性能指标、日志信息等等带有时间戳的序列数据。

时序数据和传统关系数据的对比，时序数据侧重CRUD中的CR，没有U

1.3 Metric

metric（度量，指标）一个很重要的概念，在运维监控出现的非常高频，是指监控系统中的指标，例如CPU使用率、内存使用率、网络流量等等，在Prometheus 其本质是指存在于数据库的一条记录。

在Prometheus client 中可分为4种类型

  • Counter：一种累积度量，它表示一个单调递增的计数器，其值只能在重新启动时增加或重置为零。例如，可以使用计数器来表示所服务的请求、已完成的任务或错误的数量。
  • Gauge：一个可以任意起伏的单个数值。 测量器通常用于测量值，比如温度或当前内存使用量，但也用于可能上下波动的“计数”，比如并发请求的数量。
  • Histogram：直方图，表示一段时间内的数据采样统计结果，通过分桶（bucket）的方式来统计样本的分布。比如统计接口的耗时，多少的请求落在 10ms - 20ms，多少的请求落在 20ms - 30ms 等。
  • Summary：和Histogram类似，根据样本统计出百分位。例如统计链路耗时，TP99 是多少，TP95 是多少等。

二、Prometheus

2.1 架构

  • Prometheus Server：利用服务发现机制获取需要监控的 target，通过Pull方式从target处拉取指标数据，根据定义的rule，可以提前对指标数据再次进行计算，触发报警的发送到 alertmanager组件，用于收集和存储时间序列数据。

  • PushGateway：各个目标主机可上报数据到 PushGateway，然后Prometheus server统一从pushgateway拉取数据。

  • Exporters：采集已有的第三方服务监控指标并暴露metrics。Prometheus支持多种exporter，通过exporter可以采集metrics数据，然后发送到Prometheus server 端。

  • Alertmanager：组件根据报警的告警方式发送相应的通知。从Prometheus server端接收到alerts 后，会进行去重，分组，并路由到相应的接收方，发出报警，常见的接收方式有：电子邮件，微信，钉钉，slack等。

  • Grafana：数据可视化组件，监控仪表盘，通过PromQL从Prometheus Server查询数据，进行展示

  • Prometheus web UI：简单的Web控制台,默认端口9090

2.2 配置

Prometheus 可以通过 --config.file 命令选项来加载配置文件。

当启用–web.enable-lifecycle，可通过URL /-/reload 发送 POST 请求实现不需要重启Prometheus 加载配置文件

配置文档：https://prometheus.io/docs/prometheus/latest/configuration/configuration/，下面是4个常用的配置大类

  • global

    配置全局的信息，如监控数据的间隔，业务的超时时间，告警规则执行周期等

    • scrape_interval 拉取 targets 的默认时间间隔，默认1m
    • scrape_timeout 拉取超时时间，默认10s
    • evaluation_interval 执行rules间隔时间，默认1m

  • rule_files

    包含两种规则文件：记录规则和告警规则。

    • 记录规则

      记录规则允许预先计算经常需要的或计算成本昂贵的表达式，并将其结果保存为一组新的时间序列。查询预先计算的结果通常会比每次需要时执行原始表达式快得多。这对于仪表板特别有用，它们需要在每次刷新时重复查询相同的表达式。

      文档：https://prometheus.io/docs/prometheus/latest/configuration/recording_rules/

    • 告警规则

      根据PromQL来定义警报条件，并向外部服务发送关于触发警报的通知。

      文档：https://prometheus.io/docs/prometheus/latest/configuration/alerting_rules/

  • alerting

    配置管理 Alertmanager

  • scrape_configs

    配置拉取数据节点job，文档：https://prometheus.io/docs/prometheus/latest/configuration/configuration/#scrape_config

    • job_name job名字
    • scrape_interval 抓取频率，默认globa.scrape_interval
    • scrape_timeout 抓取超时，默认globa.scrape_timeout
    • metrics_path 抓取路径, 默认/metric
    • static_configs 抓取目标URL地址

2.3 查询语言PromQL

Prometheus 提供了一种名为PromQL（Prometheus Query Language）的函数式查询语言，允许用户实时选择和聚合时间序列数据.文档地址：https://prometheus.io/docs/prometheus/latest/querying/basics/

  • 过滤查询

    通过{} 对结果进行过滤，内部标签值可使用=表示相等，!= 表示不相等，=~表示正则匹配，!~表示正则不匹配

    http_requests_total{method="GET"}
http_requests_total{environment=~"staging|testing|development",method!="GET"}
http_requests_total{status!~"4.."}

  • 范围时间查询

    可通过[时间值]进行选择，例如

    http_requests_total [5m]

  • 偏移时间查询

    通过offset 可以允许更改查询中单个即时向量和范围向量的时间偏移量。例如过去5分钟http请求总数

    http_requests_total offset 5m

  • 定点时间查询

    @ 允许更改查询中 单个即时向量和范围向量的计算时间。提供给@修改符的时间是一个unix时间戳，用浮点数表示

    例如：返回在2021-01-04T07:40:00+00:00时的值

    http_requests_total @ 1609746000

  • 聚合查询

    Prometheus 提供sum,max,min,avg,count,bottomk,topk等聚合命令查询数据

    sum(http_requests_total)
sum by (application, group) (http_requests_total)
topk(5, http_requests_total)

  • 函数查询

    Prometheus 提供函数参与计算查询数据，文档：https://prometheus.io/docs/prometheus/latest/querying/functions/

    rate(http_requests_total[5m])[30m:1m]

2.4 Exporter

Prometheus通过 Exporter 来获取数据，可以根据文档中的链接按需下载安装：https://prometheus.io/docs/instrumenting/exporters/

三、Grafana

3.1 数据源

<a class=grafana_datasource_01.png" />

3.2 权限

grafana 提供一套权限系统，能够让用户根据不同的角色拥有不同的权限，如面板的查看，编辑等等

权限分为三种：admin, viewer, editer

可通过邀请用户，并向用户发送链接的操作来添加用户，并且可以通过组来通知查看面板的权限控制

3.3 面板可视化

相关文档：https://grafana.com/docs/grafana/latest/panels-visualizations/

  • 面板查询表达式

    <a class=grafana_03_create-panel_query.png" />

  • 面板种类

    最常见的就是Graph，更多的种类可以去官网下载导入，注意下版本

    <a class=grafana_04_panel_type.png" />

  • 面板参数

    y轴的参数如果是百分比可以通过如下控制

    <a class=grafana_05_panel_percent.png" />

3.4 仪表盘

上述多个面板整合在一起就是仪表盘了

  • 导入

    除了可以自定义面板外，还可以使用其他人制作好的面板 https://grafana.com/grafana/dashboards/，通过菜单中的Import导入

  • 查看

    • 查看仪表盘可通过url添加参数&kiosk 隐藏侧边栏和顶部菜单

    • 匿名访问

      修改配置文件conf/defaults.ini

      [auth.anonymous]
# 设置为true即可匿名访问，不用登陆就可以直接访问url
enabled = true

    • 嵌套允许

      修改配置文件conf/defaults.ini

      # 设置为true即可嵌套
allow_embedding = true

  • 变量

    通过变量可以实现下拉列表选择想要显示的部分：文档：https://grafana.com/docs/grafana/latest/dashboards/variables/

四、实战

4.1 监控 Windows/Linux

windows: 下载Exporter https://github.com/prometheus-community/windows_exporter/releases

linux: 下载 https://github.com/prometheus/node_exporter/releases

下面以windows 为例

windows_exporter.exe --collectors.enabled "[defaults],process,container"
windows_exporter.exe --config.file config.yml

<a class=grafana_02_windows.png" />

监控项

监控指标表达式
CPU 使用率100 - (avg by (instance,region) (irate(windows_cpu_time_total{mode=“idle”}[2m])) * 100)
内存 使用率100-(windows_os_physical_memory_free_bytes/windows_cs_physical_memory_bytes)*100
磁盘总使用率(sum(windows_logical_disk_size_bytes{volume!~“Harddisk."}) by (instance) - sum(windows_logical_disk_free_bytes{volume!~"Harddisk.”}) by (instance)) / sum(windows_logical_disk_size_bytes{volume!~"Harddisk."}) by (instance) *100
各个磁盘使用率100- 100 * (windows_logical_disk_free_bytes/windows_logical_disk_size_bytes)
带宽(sum(irate(windows_net_bytes_total[1m])) > 1)* 8
系统线程windows_system_threads
系统进程windows_os_processes

4.2 监控 JVM

下载Exporter：https://github.com/prometheus/jmx_exporter/releases

java -javaagent:jmx_prometheus_javaagent-0.18.0.jar=12345:config.yml -jar vhr-web-0.0.1-SNAPSHOT.jar

rules:
- pattern: ".*"

<a class=grafana_06_panel_jvm.png" />

监控指标表达式
jvm 堆内存使用jvm_memory_bytes_used{area=“heap”}
Eden 区使用jvm_memory_pool_bytes_used{pool=“PS Eden Space”}
Old 区使用jvm_memory_pool_bytes_used{pool=“PS Old Gen”}
元空间 使用jvm_memory_pool_bytes_used{pool=“Metaspace”}
gc时间increase(jvm_gc_collection_seconds_sum[$__interval])
gc增长次数increase(jvm_gc_collection_seconds_count[$__interval])

4.3 监控 MySQL

https://github.com/prometheus/mysqld_exporter/releases

mysqld_exporter.exe --config.my-cnf config.cnf --web.listen-address=localhost:9104

[client]
user=root
password=

<a class=grafana_08_mysql_01.png" />

监控指标表达式
连接数sum(max_over_time(mysql_global_status_threads_connected[$__interval]))
慢查询数sum(rate(mysql_global_status_slow_queries[$__interval]))
平均运行线程数sum(avg_over_time(mysql_global_status_threads_running[$__interval]))
当前QPSrate(mysql_global_status_queries[$__interval])

4.4 监控 Springboot API

有时候在 Springboot 项目中需要统计 API 接口的调用次数和调用时间，可以使用actuator+micrometer ，已经内置两个注解实现两者功能，因为要使用到aop，所以还需导入aop包

文档：https://docs.spring.io/spring-boot/docs/current/reference/html/actuator.html#actuator.enabling

<dependency>
    <groupId>io.micrometer</groupId>
    <artifactId>micrometer-registry-prometheus</artifactId>
</dependency>

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-actuator</artifactId>
</dependency>

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-aop</artifactId>
</dependency>

management:
  metrics:
    tags:
      application: ${spring.application.name}
    web:
      server:
        max-uri-tags: 200
  endpoints:
    web:
      exposure:
        include: prometheus

spring:
  application:
    name: prometheus-test-api

@Bean
public TimedAspect timedAspect(MeterRegistry registry) {
	return new TimedAspect(registry);
}

@GetMapping("/test")
@Timed(value = "test_method",description = "测试接口耗时")
@Counted(value = "test_method", description = "测试接口次数")
public String test() {
    //try {
    //    Thread.sleep(1000);
    //} catch (InterruptedException e) {
    //    throw new RuntimeException(e);
    //}
    return "ok";
}

<a class=grafana_09_springboot.png" />

参考

  1. Prometheus+Grafana 搭建全方位的监控告警系统

http://www.niftyadmin.cn/n/362350.html

相关文章

HP打印机网络连接扫描仪失败

HP打印机网络连接扫描仪失败

财务反映，使用主机上的HP LaserJet Pro M329-HP Scan连接扫描仪提示失败。 测试果然失败，提示如下图： 点击修复后，提示 需要安装HP Print and Scan Doctor。 同意安装，并启动HP Print and Scan Doctor 点击开始，其开始搜索，过程有点慢。 第一次发现其连接错误，居然…
阅读更多...
网络安全大厂面试题汇总

网络安全大厂面试题汇总

注&#xff1a;本套面试题&#xff0c;已整理成pdf文档&#xff0c;但内容还在持续更新中&#xff0c;因为无论如何都不可能覆盖所有的面试问题&#xff0c;更多的还是希望由点达面&#xff0c;查漏补缺。 ​ 某大厂一面整理 1、防范常见的 Web 攻击 2、重要协议分布层 3、ar…
阅读更多...
Kubernetes（k8s）安装教程简洁版

Kubernetes（k8s）安装教程简洁版

k8s部署安装 本次搭建了三台虚拟机&#xff08;系统centos&#xff09;&#xff0c;一台master节点&#xff0c;两台worker节点 master节点主要是控制平台&#xff0c;不跑任务&#xff1b;worker节点主要用来跑任务&#xff0c;可以扩缩容 所需组件 docker&#xff08;也可…
阅读更多...
Flink第七章:状态编程

Flink第七章:状态编程

系列文章目录 Flink第一章:环境搭建 Flink第二章:基本操作. Flink第三章:基本操作(二) Flink第四章:水位线和窗口 Flink第五章:处理函数 Flink第六章:多流操作 Flink第七章:状态编程 文章目录 系列文章目录前言一、Keyed State(按键分区)1.KeyedStateTest.scala2.PeriodicPVEx…
阅读更多...
vue 3 第二十七章：样式（动态class、动态style）

vue 3 第二十七章：样式（动态class、动态style）

文章目录 动态 class动态 style 在 Vue 中&#xff0c;我们可以使用动态绑定语法来动态地添加类名或样式。本章将介绍 Vue 3 中如何使用动态绑定语法来动态地添加类名或样式。 动态 class 在 Vue 中&#xff0c;我们可以使用 :class 或 v-bind:class 指令来动态地添加类名。例…
阅读更多...
【uniapp】踩坑日记核心重点

【uniapp】踩坑日记核心重点

一、scroll-view内部使用弹出层问题 在uniapp中使用scroll-view标签&#xff0c;其内部如果调用了poup等类似全局的弹出层&#xff0c;弹窗后引发相关的问题&#xff08;弹出层始终仅在scroll-view内部&#xff09;&#xff0c;难以察觉找到问题所在。&#xff08;h5端一般是正…
阅读更多...
蓝桥杯并查集总结

蓝桥杯并查集总结

本文先是给出三篇并查集原理解释文章链接&#xff0c;又提供了python代码模版&#xff1b;而后给出了一份蓝桥杯并查集的题单&#xff0c;并附有部分题目及其求解思路、代码。 目录部分 并查集原理 python代码 并查集题单 蓝桥幼儿园 题目描述 输入描述 输出描述 输入…
阅读更多...
leetcode--环形链表.找到入环节点（java）

leetcode--环形链表.找到入环节点（java）

环形链表II 环形链表.找到入环节点题目描述解题思路 环形链表.找到入环节点 LeetCode 142&#xff1a;环形链表II 可以在这里测试 题目描述 给定一个链表的头节点 head &#xff0c;返回链表开始入环的第一个节点。 如果链表无环&#xff0c;则返回 null。 如果链表中有某个节…
阅读更多...
最新文章

Copyright @ 2022~2023