looking for nice co-workers in the Munich area FOSDEM, DebConf, DENOGx, PromCon staff Author of https://github.com/RichiH/vcsh Debian Developer Prometheus team member Richard Hartmann, RichiH@{freenode OpenMetrics Outro Looks Prometheus http_requests_total{env=" prod" ,method=" post" ,code=" 200" } 1027 http_requests_total{env=" prod" ,method=" post" ,code=" 400" } 3 http_requests_total{env=" prod" ,method=" method=" post" ,code=" 500" } 12 http_requests_total{env=" prod" ,method=" get" ,code=" 200" } 20 http_requests_total{env=" test" ,method=" post" ,code=" 200" } 372 http_requests_total{env=" test" ,method="

，是否有巨大变化，那怎么 才能获取历史数据呢？可以使用 offset 关键字。 offset 后面跟一个时间段，比如 5m、1d、7d、1w，offset 要紧跟查询选择器，比如： sum(http_requests_total{method="GET"} offset 1d) 运算符 PromQL 支持基本的算术运算符和比较运算符，可以对不同的即时向量做运算，这为监控系统 带来了巨大 method_code:http_errors:rate5m{method="get", code="500"} 24 method_code:http_errors:rate5m{method="get", code="404"} 30 method_code:http_errors:rate5m{method="put", code="501"} 3 method_code:http_error 3 4 5 method_code:http_errors:rate5m{method="post", code="404"} 21 method:http_requests:rate5m{method="get"} 600 method:http_requests:rate5m{method="del"} 34 method:http_requests:rate5m{method="post"}

情再 高，也不如机器来得快，如果有些告警能够直接关联自动化处理逻辑，无疑可以大大增加事件闭环率。 告警自动处理 很多监控系统都可以配置 Webhook，当告警触发之后自动回调某个 HTTP 接口，来串联一些自动化的 逻辑，让告警事件无人值守自动处理。比如某个机房的某个服务挂掉了，Webhook 的逻辑是自动调用切 流的接口，把服务流量切走，这样来达到止损的目的。 告警 常强的需求，故而，我们推荐您使用 FlashDuty 来处理。下面是 FlashDuty 相关信息： ● 注册地址：https://console.flashcat.cloud/signup?from=wp_oncall 注册之后就有两周全功能免 费体验期 ● 联系我们：https://flashcat.cloud/contact/ 任何问题（采购、产品使用等）都可以联系我们

pull-based system Black-box monitoring: Looking at a service from the outside (Does the server answer to HTTP requests?) White-box monitoring: Instrumention code from the inside (How much time does this subroutine observability Outro Exposition format http_requests_total{env=" prod" ,method=" post" ,code=" 200" } 1027 http_requests_total{env=" prod" ,method=" post" ,code=" 400" } 3 http_requests_total{env=" prod" ,method=" method=" post" ,code=" 500" } 12 http_requests_total{env=" prod" ,method=" get" ,code=" 200" } 20 http_requests_total{env=" test" ,method=" post" ,code=" 200" } 372 http_requests_total{env=" test" ,method="

完整的监控体系 ✦ 科学的告警策略略 ✦ 统⼀一的告警中⼼心 完整的监控体系 • 虚拟机 • 物理理设备 • 容器器 • 专线质量量 • 机房出⼝口质量量 • 交换设备 • http • tcp • ping 基础层 应⽤用层 • cache资源 • db资源 • mq资源 • lb资源 • es资源 • 分布式⽂文件 • 进程监控 业务层 获取监控数据 推送告警 1. 降低编写规则的成本 2. 降低多idc维护成本 规则管理理⻚页⾯面 例例⼦子 - 业务监控 稿件 账号 Feed PAAS托管 服务树 container http
 server sdk 注册 获取target 采集数据 吞吐量量 响应时间 错误率 饱和度 熔断 限流 投稿数量量
 订单数据 在线⼈人数
 … ⻩黄⾦金金指标 业务指标

reduction in on-disk size 4x reduction in query latency on expensive queries Want to reproduce? https://github.com/prometheus/prombench Richard Hartmann & Frederic Branczyk @TwitchiH & @fredbrancz Prometheus project, IETF RFC, test suite, etc We are writing code in Prometheus and the Python client library https://github.com/OpenObservability/OpenMetrics Prometheus 2.5 has experimental OpenMetrics support Richard Relevant talks Storing 16 Bytes at Scale: https://promcon.io/2017-munich/talks/staleness-in-prometheus-2-0/ Staleness and Isolation in Prometheus 2.0: https://promcon.io/2017-munich/talks/staleness-in-prometheus-2-0/

时间 ----------------> ⚫ ⚫ ⚫ ⚫ ⚫ ⚫ 参考文档：https://ganeshvernekar.com/blog/prometheus-tsdb-the-head-block/ ⚫ • • • • ⚫ • • • ⚫ • • 计算指标需要多少内存 https://www.robustperception.io/how-much-ram-does- ⚫ ⚫ ⚫ prometheus alert: https://github.com/feiyu563/PrometheusAlert.git prometheus kafka adapt: https://github.com/Telefonica/prometheus-kafka-adapter.git ⚫ ⚫ 参考文档：https://valyala.medium.com/prom

括小米、美团、滴滴 在内的数百家企业的生产环境验证，简单可依赖，好用到爆！ 3500+ 600+ 500+ star issue fork 项目：https://github.com/didi/nightingale 官网：https://n9e.didiyun.com/ Nightingale 众多企业已上生产，共同打磨夜莺 上图展示部分社区用户，加入夜莺社群，请联系微信：UlricQin