基于open-falcon的 平安云监控 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 Ø argus是什么 Ø 为什么选用Go Ø argus的前身 Ø argus的现状 Ø argus的未来 团队介绍 Ø 平安云IAAS团队 Ø 负责平安集团IAAS平台建设 Ø 为平安集团内部其他子公司服务 Ø 打造对外的金融云服务 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 背景 Ø 应对云主机快速增长 Ø 打造用户自助服务的监控平台 Ø 适应内部的三级网络架构 背景 云管区 公共服务区 可用区 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 Ø argus是什么 Ø 为什么选用Go Ø argus的前身 Ø argus的现状 Ø argus的未来 系统定位 Ø 保证基础监控，提供监控通道 Ø 要求高可用、高可扩展 Ø 分离用户、平台管理员 保证告警覆盖率，按类型初始化通用告警策略 Ø 兼顾通用的和个性的监控要求 目录 Ø 团队介绍 Ø 背景 Ø 系统定位 Ø argus是什么 Ø 为什么选用Go Ø argus的前身 Ø argus的现状 Ø argus的未来 argus是什么 Ø 是平安云监控系统 Ø 希腊神话里的百眼巨人 Ø 基平open-falcon开发的平安云监控系统 Ø 是一个Go语言实现的项目 目录 Ø

每秒百万数据点 Go 应用监控系统演进 张平 AfterShip 高级 SRE 关于 AfterShip 拥抱云原生和开源系统 目 录 监控架构概览 01 如何监控 Go 应用？ 02 Metrics 系统架构演进 03 Why VictoriaMetrics so good？ 04 总结与展望 05 监控架构概览 第一部分 监控系统架构概览 -- 数据源 监控系统架构概览 -- -- 告警配置 监控系统架构概览 -- 告警通道 如何监控 Go 应用？ 第二部分 基于 Prometheus Go 应用监控接入流程 确定指标 为应用埋点 部署应用 配置服务发现 监控展示 指标类型 ● Go 运行时指标 ○ Goroutine 数量 ● 应用层指标 ○ infra_http_request_total ● 业务指标 ○ 总 Tracking 查询量 ○ 2020 年指标数据 业务指标数量 每秒写入数据点 Active Time Series 2018-2020 年架构 2020 年底面临的问题 ● 无法查询超过 30 天的数据 ● 查询慢，平均时间超过 2 分钟 ● 跨集群指标无法聚合 ● Prometheus 集群经常崩溃 ● 维护时 Prometheus 会丢数据 ● 成本高，需要大容量 SSD 磁盘 2021-2022

基于 Golang 构建⾼可扩展的云原⽣ PaaS 平台 刘浩杨 端点 技术专家 个⼈简介 - 18年加⼊端点，现任微服务和监控团队负责⼈ - 端点开源 PaaS Erda 的核⼼架构师 - 开源爱好者， Apache SkyWalking PMC 成员 ⽬ 录 ⾯向云原⽣的软件交付 01 端点⼀站式 PaaS - Erda 02 Erda 架构的思考 03 模块化开发框架 构建标准的交付环境 交付产物标准化 - 业务配置 - 资源配置 - 依赖配置 - 流⽔线配置 配置即代码 : 实现⼤规模交付的部署过程可被验证 PaaS 平台：资源管理，容器编排，基础监控和告警 APM 监控：应⽤诊断，链路追踪，⽇志分析 微服务治理组件 可靠的业务 贴身护航 基础⽀撑 持续保障系统稳定性 只需很少的运维投⼊即可保证系统稳定性 端点⼀站式 PaaS - Erda 镜像服务 Add-on filebeat / telegraf 监控 ⽇志 HPA Operator 注册中⼼ 配置中⼼ API ⽹关 微服务拓扑 全链路追踪 错误分析 ⽇志分析 主动监控 浏览器监控 APP 监控 慢SQL JVM 诊断 ⾃定义告警 APM 微服务管理 资源管理 标签管理 系统监控 集群管理 服务⽬录 埋点 数据库 ⽇志 画像 标签 报表 推荐

⽐比。效果很好， 但缺点也同样明显。 简单 · 可信赖 压⼒力力感知与退避算法 如何感知上下游压⼒力力 • 响应时间 • 特定错误码 • 超时错误 快速启动还是慢启动 • 速度的控制 退避策略略 • 起始阶段慢增⻓长 • 指数增⻓长 简单 · 可信赖 ⾼高可⽤用与⽔水平扩展 简单 · 可信赖 master/server架构 • master/server间采⽤用golang 可信赖 调度框架 • server感知 • 任务发现及粒度切分 • 数据平滑 • 调度组 • 管理理接⼝口 简单 · 可信赖 调度算法 简单 · 可信赖 ⾃自动化运维 简单 · 可信赖 监控⽅方案 • logkit：七⽜牛pandora团队开发的纯go语⾔言数据收集、推 送⼯工具，⽀支持多种数据源，⾼高效易易⽤用 • 时序数据库（TSDB）：兼容influxdb，适配grafana 简单 · 可信赖 线上系统现状 • 每⽇日处理理超过千亿数据点 • 每⽇日处理理百TB级别的数据量量 • 线上导出延迟在1分钟以内 • 较少的⼈人⼯工介⼊入 • 秒级扩容 • 实时的可视化监控系统 • 易易⽤用的报警系统 • ⾃自动⽣生成线上⽇日报 简单 · 可信赖 Go的应⽤用 我们⽤用Golang做了了些什什么 • 流式计算、离线计算、⽇日志检索、时序数据库等⼀一整套服务的核⼼心代码都使⽤用

• 分布式单体型 改造策略 • 初期挑选精兵，后期可成为⼦项⽬核⼼⼈员 • 由外向内，由边缘到核⼼ • 数据拆分、迁移和验证，可回滚 • fork请求，proxy验证 • 定期复盘过程，总结可复制套路 • 汇报成果，让领导看到收益 数据拆分 • 数据不能乱，规则先确定 • 定义数据边界，避免数据冗余 • 数据库互相隔离，避免故障传递 • No join, no 订单 物流 接⼝聚类收敛 • 按功能聚类接⼝ • 避免微服务过微 • 避免调⽤链路过深 正确性验证 • 循序渐进可回滚 • fork请求，验证返回 • 灰度逐步迁移 • 监控有⽆漏⽹请求 • 保留回滚可能性 数据迁移 CI/CD • mono repo • gitlab + jenkins • ansible + supervisor • docker

打开了 N个开发⼯具窗⼝来回切，⼀会⼉⾃⼰都蒙圈了；⼀ 个代码仓库有效代码只有⼏百⾏，⼀个脚本搞定的事 情硬是搞出来 n 个服务......（职责划分和架构选型不 合理，为了微服务⽽微服务） • 监控，告警，CI/CD，服务治理，分布式追踪等基础 设施不完善，维护成本⾼（⾃建—>云原⽣） 02 困境 MVC架构 微服务架构的困境与突破 ➢ 构建合理的业务模型（Monolith or Microservice） 何为建模 ➢ 不同的想法 1. 不⽤建模，搞出来的系统照样跑的好好 的； 2. ⼈⼒不⾜，先顶住再优化； 3. 先⼲起来，后⾯再重构； ➢ 后续可能会带来的问题 1. 维护成本⾼ 2. 迭代效率慢 建模：通过表象看本质 03 相关建模理论 领域驱动设计（DDD） ⽤例驱动设计（UDD） UML

com/articles/2021/06/22/kubernetes-operators-101-part-2-how-operators-work 为什么使用Operator? • Kubernetes生态系统 比如监控、日志、Dashboard等 • Kubernetes集群基础能力 比如自动化安装、配置、更新等。 • Kubernetes API 避免了重复开发资源的增删改查等框架代码 如何打造一个Operator 智能环境感知任务； • 基于视觉的语义分割，帮助机器人识别出低矮障碍，比如马路牙子和斜坡， 帮助机器人做出正确的避让决策。 技术挑战 • 机器人本体资源不足。比如无法部署GPU，导致推理速度慢，机器人来不及做避 让决策； • 数据异构问题导致AI模型失效。比如，AI模型无法很好地识别到新环境的图片； • 边侧数据不足，AI模型训练难以收敛或启动。 云机器人园区室外递送终身学习案例

效率评估方法 实际测试 假设我们现在有算法 A 和 算法 B ，都能够解决同一问题，现在需要对比两个算法之间的效率。我们能够想到 的最直接的方式，就是找一台计算机，把两个算法都完整跑一遍，并监控记录运行时间和内存占用情况。这种 评估方式能够反映真实情况，但是也存在很大的硬伤。 难以排除测试环境的干扰因素。硬件配置会影响到算法的性能表现。例如，在某台计算机中，算法 A 比算法 B 运行时 的时间增长趋势 相比直接统计算法运行时间，时间复杂度分析的做法有什么好处呢？以及有什么不足？ 时间复杂度可以有效评估算法效率。算法 B 运行时间的增长是线性的，在 ? > 1 时慢于算法 A ，在 ? > 1000000 时慢于算法 C 。实质上，只要输入数据大小 ? 足够大，复杂度为「常数阶」的算法一定优于 「线性阶」的算法，这也正是时间增长趋势的含义。 时间复杂度的推算方法更加简便。在时间复 时间，再在数组中删除该元素，使用 ?(?) 时间； ‧ 获取最小 / 最大元素：数组头部和尾部元素即是最小和最大元素，使用 ?(1) 时间； 观察发现，无序数组和有序数组中的各项操作的时间复杂度是“偏科”的，即有的快有的慢；而二叉搜索树的 各项操作的时间复杂度都是对数阶，在数据量 ? 很大时有巨大优势。 无序数组 有序数组 二叉搜索树 查找指定元素 ?(?) ?(log ?) ?(log ?) 插入元素 ?(1)

效率评估方法 实际测试 假设我们现在有算法 A 和 算法 B ，都能够解决同一问题，现在需要对比两个算法之间的效率。我们能够想到 的最直接的方式，就是找一台计算机，把两个算法都完整跑一遍，并监控记录运行时间和内存占用情况。这种 评估方式能够反映真实情况，但是也存在很大的硬伤。 难以排除测试环境的干扰因素。硬件配置会影响到算法的性能表现。例如，在某台计算机中，算法 A 比算法 B 运行时 的时间增长趋势 相比直接统计算法运行时间，时间复杂度分析的做法有什么好处呢？以及有什么不足？ 时间复杂度可以有效评估算法效率。算法 B 运行时间的增长是线性的，在 ? > 1 时慢于算法 A ，在 ? > 1000000 时慢于算法 C 。实质上，只要输入数据大小 ? 足够大，复杂度为「常数阶」的算法一定优于 「线性阶」的算法，这也正是时间增长趋势的含义。 时间复杂度的推算方法更加简便。在时间复 时间，再在数组中删除该元素，使用 ?(?) 时间； ‧ 获取最小 / 最大元素：数组头部和尾部元素即是最小和最大元素，使用 ?(1) 时间； 观察发现，无序数组和有序数组中的各项操作的时间复杂度是“偏科”的，即有的快有的慢；而二叉搜索树的 各项操作的时间复杂度都是对数阶，在数据量 ? 很大时有巨大优势。 无序数组 有序数组 二叉搜索树 查找指定元素 ?(?) ?(log ?) ?(log ?) 插入元素 ?(1)

化过程。 2.1.2. 效率评估方法 实际测试 假设我们现在有算法 A 和算法 B，它们都能解决同一问题，现在需要对比这两个算法的效率。我们最直接的 方法就是找一台计算机，运行这两个算法，并监控记录它们的运行时间和内存占用情况。这种评估方式能够 反映真实情况，但也存在较大局限性。 难以排除测试环境的干扰因素。硬件配置会影响算法的性能表现。例如，在某台计算机中，算法 A 的运行时 间比算法 的时间增长趋势 相较于直接统计算法运行时间，时间复杂度分析有哪些优势和局限性呢？ 时间复杂度能够有效评估算法效率。例如，算法 B 的运行时间呈线性增长，在 ? > 1 时比算法 A 慢，在 ? > 1000000 时比算法 C 慢。事实上，只要输入数据大小 ? 足够大，复杂度为「常数阶」的算法一定优于 「线性阶」的算法，这正是时间增长趋势所表达的含义。 时间复杂度的推算方法更简便。显然，运行平台和计 计数排序适用于数据量大但数据范围较小的情况。比如，在上述示例中 ? 不能太大，否则会占用过多空间。 而当 ? ≪ ? 时，计数排序使用 ?(?) 时间，可能比 ?(? log ?) 的排序算法还要慢。 11.10. 基数排序 上一节我们介绍了计数排序，它适用于数据量 ? 较大但数据范围 ? 较小的情况。假设我们需要对 ? = 106 个学号进行排序，而学号是一个 8 位数字，这意味着数据范围