确如此，这里我分享一下我个人的做法，希望对你有所启发。 每个规则都应该对应具体的 Runbook Runbook 就是告警处理手册，也就是告警触发之后，应该细化排查哪些方面，按照一个什么方式执行动 作，应该有一个手册参考。如果告警发生之后没有后续动作，那这个告警的意义就不大了。在 Nightingale 的告警规则配置页面，可以看到一个专门的 Runbook 配置，Grafana 的告警配置页面， 也有一个 Runbook 每个告警都应该合理分级 基本每个监控系统都支持为告警规则配置不同的级别，基本上每个监控系统的用户也都知道应该做分级告 警。但是具体怎么分级，却没有一个行业共识，大家各做各的。这里我也分享一下我的理解，你可以参考 借鉴。 首先，不同级别的告警应该对应不同的处理逻辑，这样分级才有意义，比如通知渠道不同，通知范围不 同，或者介入处理的人的范围不同，处理时效不同 ，如果某两个级别对应完全一样的处理逻辑，就可以 置就在订 阅规则下面，这里不再赘述。 分派策略 告警事件进入 FlashDuty，会自动收敛，目前采用三级收敛：event -> alert -> incident，具体逻辑可 以参考：【思路方法篇】-【告警收敛逻辑】章节。这样的三级收敛机制，会有非常好的降噪效果，大幅减 少打扰。示意图如下： 监控系统会产生原始的告警事件（event），属于同一个告警的多个事件被合并成告警（alert），类似的告

without）： avg(mem_available_percent{app=~"clickhouse|canal"}) by (app) 函数 Prometheus 函数非常多，具体文档参考：https://prometheus.io/docs/prometheus/latest/ querying/functions/ 这一节我们举例说明一些常用的函数。 absent_over_time 0-965304237246.0)/(1661570900.0-1661570850.0)*60= 23595160.8 ? 上例中，我的测试数据是没有缺失数据点的，如果有缺失数据点的情况，数据外推会更为 复杂，具体可以参考这篇文章：https://mp.weixin.qq.com/s/9aiqrtLTnzysV9olMx-rzA 1 2 3 4 5 6 7 8 9 10 1 2 rate 趁热打铁，说一下 ="10.3.4.5"}[1m]) 是取10.3.4.5这个机器 的内存可用率，取其最近1分钟内的多个值（如果10秒上报一次，1分钟内有6个值），求平均。 更多函数就不过多介绍了，相对容易理解，参考 Prometheus 官方文档即可。最后扩展介绍一 个 MetricsQL（MetricsQL 是 VictoriaMetrics 提供的一种查询语言，兼容 PromQL 并对其做 了增强，如果你的存储是

. . . . . . . . . . . . . . . . v <------------------ 时间 ----------------> ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ 参考文档：https://ganeshvernekar.com/blog/prometheus-tsdb-the-head-block/ ⚫ • • • • ⚫ • • • ⚫ • • 计算指标需要多少内存 lert.git prometheus kafka adapt: https://github.com/Telefonica/prometheus-kafka-adapter.git ⚫ ⚫ 参考文档：https://valyala.medium.com/prometheus-vs-victoriametrics-benchmark-on-node-exporter-metrics-4ca29c75590f