事件 ONCALL 中心建设方法 一站式处理值班 OnCall，智能降噪 北京快猫星云科技有限公司 前言 市面上有众多监控系统，刨去商业软件不说，开源的就有 Nagios、Zabbix、Open-Falcon、 Nightingale、Grafana、Prometheus、Elastalert 等等，还有云厂商提供的监控系统，比如华为云的云 监控、腾 Prometheus 可能有多套）或者 Nightingale， 日志的监控可能用的 Elastalert，如果上云了，可能还会有多套不同的云监控（尤其是多云场景下）。 监控系统的重心，通常是采集、存储、可视化、生成告警事件，但通常都不具有完备的事件后续处理能 力。这里说的后续处理主要包括：多渠道分级通知、告警静默、抑制、收敛聚合、降噪、排班、认领升 级、协同闭环处理等等。监控系统或多或少都有一些 警太多、打扰太多的原因是什么，然后针对原因提出对应的 方案。 告警太多的常见原因 最常见的原因，是告警规则设置得不合理。比如很多规则触发了告警之后，实际没有后续动作，只是起到 常态化通知的效果，不需要排查，也不需要止损，甚至连个长线的 TODO 都没有。这类告警多了人就疲 了，当重要的告警来临的时候，也容易忽略。这样的规则如果不经过治理，日积月累，就会产生很多无用 的告警。

找到相关指标数据，会找到5条，再根 据 mem_total{app="clickhouse"} 也能找到5条，二者相除的逻辑姑且可以理解为，循环遍历 mem_available 的5条记录，对于每一条，去 mem_total 的5条记录中找标签相同的记录，进 行除法运算。除法运算得到5条结果（0~1之间的数字），然后跟100相乘（得到百分比大 小），100这个数字称为标量，5条结果和标量计算，会把每一条结果分别乘以100，得到最终 拼上 < 60 即可： 1 如上的方法，其实就是告警引擎的核心逻辑。告警规则里会要求用户配置promql以及执行频 率，告警引擎就会根据执行频率周期性执行，每次执行的时候就是拿着promql去查询，promql 中带有阈值，即上例中的 <60，所以如果所有机器的内存可用率都很高，比如维持在80~90， 那这个promql是不会返回查询结果的，此时监控系统就认为一切正常。如果返回了结果，比如 18秒，但是99分位时间是10秒，相差巨大，更容易暴露问 题。这里所谓的99分位延迟10秒，可以理解为，99%的请求都在10秒内返回。 从监控系统角度，如何来存储和计算出99分位值呢？如果每分钟有1亿个请求，难道真的要在监 控系统中存储这1亿个请求，然后排序，然后求取分位值？那这个代价就太大了。监控数据是采 样数据，对准确性要求没有那么的高，有没有什么办法可以降低这个代价呢？这就是 Prometheus

Agentd Agentd LoadBalance 1. 单机版Prom 2. 集群版m3db 3. 集群版n9e-tsdb 3种存储方案，按需选择 Agentd 夜莺设计实现 Agentd 数据采集 第四部分 监控系统的核心功能，是数据采集、存储、分析、展示，完 备性看采集能力，是否能够兼容并包，纳入更多生态的能力， 至关重要 夜莺数据采集 01.监控数据采集，all in 夜莺Server数据处理 06. data - read 夜莺Server数据处理 夜莺设计实现 技术难点及细节 第六部分 0１. 规则集中化管理及自动发现 夜莺 技术难点及细节 0２. 采集器 夜莺 技术难点及细节 0２. 数据序列化及传输问题 夜莺 技术难点及细节 Thank you

发送告警渠道多 • 重要告警没有及时到达 • 优化告警没有数据依据 问题 • 告警标准化 • 告警收敛 • 告警渠道管理理 • 告警升级 • 告警报表 核⼼心功能 API⽹网关 服务树 告警收敛 屏蔽规则 事件管理理 告警渠道 报表系统 ⼯工单系统 鉴权 频控 标准化 时间维度 业务维度 关联关系 rms 告警升级 企业微信 钉钉 邮件 短信