画一个饼图。这里有个难点：接入层这个 Pod 没有 version 标签， version 信息只是出现在 kube_pod_labels 中，如何让二者联动呢？上答案： sum( rate(http_request_count{code=~"^(?:5..)$"}[5m])) by (pod) * on (pod) group_left(label_version) kube_pod_labels t_over_time做失联告警，就要配置100条告 警规则，每个规则里的promql都要把机器标识信息写上。 ? 对于拉模式的监控系统，比如 Prometheus，很容易判断机器失联，因为 pull 不到数据 了，就知道 target 挂了，通过 up 指标就可以告警；对于推模式的监控系统，比如 Open- Falcon、Datadog、Nightingale，就不好搞了。所以夜莺的告警规则里专门做了一个机器 下面我们假设一个指标及其数据，做一个算法演示，假设指标名是 http_request_duration_seconds_bucket ，其各个 bucket 的值如下： http_request_duration_seconds_bucket{job="n9e-proxy", le="0.1"} 500 http_request_duration_seconds_bucket{job="n9e-proxy"

Introduction Background Operations & observability Outro Working assumptions & concepts Prometheus is a pull-based system Black-box monitoring: Looking at a service from the outside (Does the server answer