APM 深水区： 赵宇辰 @ 听云 构建连接运维与业务之桥 目录 • APM现状和痛点 • 什么是APM深水区 • 技术原理 • 实际案例 APM现状：全链路监控 基础架构 业务系统 SaaS 原生App 浏览器 H5/Webview 应用性能监控 第一代APM： 主动拨测 APP监控 浏览器监控 基础架构监控 模拟用户 拨测节点 真实用户 小程序监控 哪些错误是真正紧急、影响业务的？ 哪些业务被影响了？是否是核心业务？ 如何补救？ 运维现状： • 系统响应时间、错误率上升 • 不知道影响了哪些业务/BU/部门/用户 • 企业损失、成本消耗无法衡量、补救 现状：运维和业务的割裂（互联网场景） 业务洞察： ⚫ 转化率 / 收入 / 活跃用户 / KPI 迅速下降 ⚫ 业务团队不知具体原因 ⚫ 多团队、部门之间解决方案不明确 ⚫ 公司业务、健康状况时刻受到影响 公司业务、健康状况时刻受到影响 业务现状： • 系统响应慢 • 营销流程中点击“提交”要等很久 • 领导批准审批超时、报错 现状：运维和业务的割裂（企业场景） 运维困境： ⚫ 各系统看似正常 ⚫ OA系统响应及时 ⚫ 网络正常 ⚫ 数据库没有报错 ⚫ 业务和IT系统的对应关系缺失 ⚫ 难以迅速定位问题 ⚫ IT / CIO / 业务部门：KPI、考核、管理层压力 目录 • APM现状和痛点

冲上云霄—腾讯海量业务上云实践 腾讯云高级工程师 黄宏东 自我介绍 ⚫ 业务开发出身的运维 ⚫ 先后在腾讯负责游戏、安全、医疗类业务运维 ⚫ 经历数年业务爆量、成本优化、业务上云、智能运维等重点项目 ⚫ 目前负责腾讯自研业务的运维与上云工作 01 腾讯业务为什么要上云 02 业务上云的价值 03 如何上云 目录 04 上云案例分享 腾讯业务为什么要上云 接入服务 业务 服务框架 服务框架 KV/RDS CVM/Docker 接入服务 业务 服务框架 KV/RDS CVM/Docker 接入服务 业务 服务框架 KV/RDS CVM/Docker 接入服务 业务 服务框架 KV/RDS CVM/Docker IEG PCG WXG CDG “烟囱式”的业务支持体系 幸福的烦恼 ⚫ 重复造轮子，每个部门一套轮子 ⚫ 缺乏统一规范，包括开源代码在内 将原有七大事业群（BG）重组整合，新成立云与智慧产业事业群（CSIG）、平台与内容 事业群（PCG）。在连接人、连接数字内容、连接服务的基础上，更加彰显了腾讯推动由消费 互联网，向产业互联网的升级的决心。 业务上云价值 • 开发效率更高 • 云上特性（VM热迁移等） • 丰富的标准化云服务 • 云原生TKE、研发CICD流程 • 计算资源重用 • 公共组件产品化 • 丰富的公有云海外资源 •

2015年年加⼊入B站 • devops • 热爱新技术,热爱开源 • ⼩小宅男 故事的开始 B站炸了了.舆情监控(括弧笑脸) 我们的挑战 • 技术栈多 • 产品模块复杂 • 业务爆发式增⻓长 • 运维要求⾼高 当前情况: • 覆盖率低 • 误报，漏漏报多 • 告警⻛风暴暴 监控问题爆发: 重新定义的监控系统 ✦ 完整的监控体系 ✦ 科学的告警策略略 • http • tcp • ping 基础层 应⽤用层 • cache资源 • db资源 • mq资源 • lb资源 • es资源 • 分布式⽂文件 • 进程监控 业务层 • qps/tps • 耗时分布 • 饱和度 • 吞吐量量 • 依赖响应 • 缓存命中率 • 调⽤用链 • SLA • ⽇日志 播放质量量 • 点播/直播 活跃项⽬目,具有成熟的⽣生态环境 结论 • prometheus • ⽀支持任意维度label • cncf基⾦金金会 metric • 40w+/s的指标采集 • 10k+ 监控⽬目标 • 10+ prometheus节点 现状: • 性能 • ⾼高可⽤用 • 分布式 • 使⽤用成本 问题: ? 性能问题 • 本地ssd prometheus Shard

算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景 支持。增强服务器和云计算的特性，发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术；同 时发布边缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 引领内核创新 • 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法，保障在线业务对 CPU 的实时抢占 及抖动抑制，创新业务优先级 OOM 内存回收算法，保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 增强：内存可靠性分级技术，可以指定内核、关键进程等对内存故障敏感的数据优先使用高可靠内存，降 低宕机率，提升可靠性（技术预览特性）。 夯实云化基座 • 容器操作系统 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8s 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 Docker+Qemu 方案，底噪和启动时间优化 40%。 •

算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景支持。 增强服务器和云计算的特性，发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术；同时发布边 缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 基础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 引领内核创新 • 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法保障在线业务对 CPU 的实时抢占及 抖动抑制，创新业务优先级 OOM 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间，提 增强：内存可靠性分级技术，可以指定内核、关键进程等对内存故障敏感的数据优先使用高可靠内存，降低宕 机率，提升可靠性（技术预览特性）。 夯实云化基座 • 容器操作系统 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8s 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 Docker+Qemu 方案，底噪和启动时间优化 40%。 • 双平面部署工具

2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是 openEuler 全新发布后的第一个社区版本，实现了 全场景支持。增强服务器和云计算的特性，发布面向云原生的业务混部CPU调度算法、容器化操作系统KubeOS等关键技术； 同时发布边缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 30 日，发布 openEuler 22.09 创新版本，持续补齐全场景的支持。 2022 年 12 月 30 日，发布 openEuler 22.03 LTS SP1 版本，打造最佳迁移工具实现业务无感迁移，性能持续领先。 2023 年 3 月 30 日，发布 openEuler 23.03 内核创新版本，采用 Linux Kernel 6.1 内核，为未来 openEuler 长生命周 期版本采用 边云协同框架等能力，进一步提升数字基础设施协同能力，构建万物互联的基础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 夯实云化基座 • 容器操作系统 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 Docker+Qemu 方案，底噪和启动时间优化 40%。 • 双平面部署工具

可以跟踪网站上的模拟鼠标点击路径并检查功能和响应时间 广泛的可视化选项 • 创建自定义图形的能力，可以将多个监控项组合成一个聚合图形 • 网络拓扑图 • 在仪表盘中显示幻灯片 • 报表 • 受监控资源的高级（业务）视图 历史数据存储 • 存储在数据库中的数据 • 可配置的历史（保留趋势） • 内置管家程序 建议的配置 • 将受监控的设备添加为主机 • 一旦主机被数据库添加，就会开始进行数据采集 Zabbix 提供可编程接口，用于大规模操作、第 3 方软件集成和其他用途。 权限系统 • 安全用户认证 • 某些用户可以被限制仅访问某些视图 全功能且易于扩展的 agent • 部署在被监控目标上 • Linux 和 Windows 操作系统都适用于 二进制守护进程 • 用 C 编写，用于提高性能和减少内存占用 • 轻量级、便携 为复杂环境做好准备 • 使用 Zabbix proxy server 收集性能和可用性数据。proxy 是 Zabbix 部署的可选部分；但是对于分散单个 Zabbix server 的 负载非常有用。 Agent Zabbix agent 部署在被监控目标上，以主动监控本地资源和应用程序，并将收集到的数据报告给 Zabbix server。从 Zabbix 4.4 开始， 有两种类型的 agent 可用：Zabbix agent （轻量级，在许多平台上支持，用

2021年 9 月 30 日，全新openEuler 21.09创新版如期而至，这是openEuler全新发布后的第一个社区版本，实现了全场景支持。 增强服务器和云计算的特性，发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术；同时发布边缘和 嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 30 日，发布 openEuler 22.09 创新版本，持续补齐全场景的支持。 2022 年 12 月 30 日，发布 openEuler 22.03 LTS SP1 版本，打造最佳迁移工具实现业务无感迁移，性能持续领先。 2023 年 3 月 30 日，发布 openEuler 23.03 内核创新版本，采用 Linux Kernel 6.1 内核，为未来 openEuler 长生命周期版本 进一步提升数字基础设施协同能力，构建万物互联的基础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 夯实云化基座 • 容器操作系统 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 Docker+QEMU 方案，底噪和启动时间优化 40%。 • 双平面部署工具

算能力。 2021 年 9 月 30 日，全新 openEuler 21.09 创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景 支持。增强服务器和云计算的特性，发布面向云原生的业务混部 CPU 调度算法、容器化操作系统 KubeOS 等关键技术； 同时发布边缘和嵌入式版本。 2022 年 3 月 30 日，基于统一的 5.10 内核，发布面向服务器、云计算、边缘计算、嵌入式的全场景 30 日，发布 openEuler 22.09 创新版本，持续补齐全场景的支持。 2022 年 12 月 30 日，发布 openEuler 22.03 LTS SP1 版本，打造最佳迁移工具实现业务无感迁移，性能持续领先。 2023 年 3 月 30 日，发布 openEuler 23.03 内核创新版本，采用 Linux Kernel 6.1 内核，为未来 openEuler 长生命周 期版本采用 openEuler 社区低版本的有益特性及社区创新特性。 • 潮汐 affinity 调度特性：感知业务负载动态调整业务 CPU 亲和性，当业务负载低时使用 prefered cpus 处理，增强资 源的局部性；当业务负载高时，突破 preferred cpus 范围限制，通过增加 CPU 核的供给提高业务的 QoS。 • CPU QoS 优先级负载均衡特性：在离线混部 CPU QoS 隔离增强，支持多核

可以跟踪网站上的模拟鼠标点击的路径并检查功能和响应时间 丰富的可视化选项 • 创建自定义图形的能力，可以将多个监控项组合成一个聚合图形 • 网络拓扑图 • 在仪表盘中显示幻灯片 • 报表 • 被监控资源的高级（业务）视图 历史数据存储 • 存储在数据库中的数据 • 可配置的历史数据（保留趋势） • 内置管家程序 轻松配置 • 将受监控的设备添加为主机 • 一旦主机添加到被数据库，就会开始进行数据采集 Zabbix 提供可编程接口，用于批量操作、第三方软件集成和其他用途。 权限系统 • 安全用户认证 • 某些用户可以被限制仅访问某些视图 功能齐全且易于扩展的 agent • 部署在被监控目标上 • Linux 和 Windows 操作系统都适用于 二进制守护进程 • 用 C 编写，用于提高性能和减少内存占用 • 轻量级、便携 为复杂环境做好准备 • 使用 Zabbix proxy server 收集性能和可用性数据。proxy 是 Zabbix 部署的可选部分；但是对于分散单个 Zabbix server 的 负载非常有用。 Agent Zabbix agent 部署在被监控目标上，以主动监控本地资源和应用程序，并将收集到的数据报告给 Zabbix server。从 Zabbix 4.4 开始， 有两种类型的 agent 可用：Zabbix agent （轻量级，在许多平台上支持，用