利用夜莺扩展能力打造全方位监控系统 喻波 滴滴 专家工程师 目 录 运维监控需求来源 01 监控痛点：全面完备、跨云 02 夜莺介绍： 国产开源监控系统 03 夜莺设计实现：Agentd 数据采集 04 夜莺设计实现：Server 数据处理 05 夜莺设计实现：技术难点及细节 06 运维监控需求来源 第一部分 如果贵司的业务强依赖IT技术，IT故障会直接影响营业收入，

和最佳实践，基于平台工程打造，可以轻松连 接一切工具链 企业自建 DevOps 流程平台 围绕 Jenkins 或 CI/CD 工具 搭建流程串接胶水平台 局限性大扩展性差 内部推广难度极高 做完后价值难被证明 通用性、可扩展性、技术先进性强，可以灵活 广泛接入各种技术和业务场景 基于代码管理的 DevOps 方案 Gitee 平台 GitLab 平台 局限性大、全流程安全性低 维护成本高 以此环境作为发布生产环境前的用户验收环节 发布 / 运维工程师 用于生产查看 prod 生产环境管理，变更过程需经过严格审批 管理员 ( 运维 ) 准备——环境 管理员 ( 运维 ) 准备——环境 产品规划 需求开发 Sprint 发布 本地自测—— IDE 热部署 1. 查看服务和环境 2. 本地代码热部署到远端 测试验证 变更发布 需求开发 提交代码及 CI 过程 1. 本地编写代码推送到远端分支 检查、代码扫描 。 Sprint 发布 测试验证 变更发布 产品规划 需求开发 单个工程师自测——手工 / 自动触发 dev 工作流执行 步骤包含： dev 环境构建 -> 部署 -> 冒烟测试 ->IM 通知 Sprint 发布 测试验证 变更发布 产品规划 需求开发 Sprint 发布 测试验证 变更发布 产品规划 多人做集成联调——更新不同服务 启动 dev 工作流，选择多个服务和对应的

和最佳实践，基于平台工程打造，可以轻松连 接一切工具链 企业自建 DevOps 流程平台 围绕 Jenkins 或 CI/CD 工具搭 建流程串接胶水平台 局限性大扩展性差 内部推广难度极高 做完后价值难被证明 通用性、可扩展性、技术先进性强，可以灵活 广泛接入各种技术和业务场景 基于代码管理的 DevOps 方案 Gitee 平台 GitLab 平台 局限性大、全流程安全性低 维护成本高 uat 以此环境作为发布生产环境前的用户验收环节 发布/运维工程师 用于生产查看 prod 生产环境管理，变更过程需经过严格审批 管理员(运维)准备——环境 管理员(运维)准备——环境 产品规划 需求开发 Sprint 发布 本地自测——IDE 热部署 1. 查看服务和环境 2. 本地代码热部署到远端 测试验证 变更发布 需求开发 提交代码及 CI 过程 1. 本地编写代码推送到远端分支 检查、代码扫描。 Sprint 发布 测试验证 变更发布 产品规划 需求开发 单个工程师自测——手工/自动触发 dev 工作流执行 步骤包含：dev 环境构建->部署->冒烟测试 ->IM 通知 Sprint 发布 测试验证 变更发布 产品规划 需求开发 Sprint 发布 测试验证 变更发布 产品规划 多人做集成联调——更新不同服务 启动 dev 工作流，选择多个服务和对应的

1.5 重点回顾 1.6 本章习题 1.7 参考资料与延伸阅读 第二章、主机规划与磁盘分区 2.1 Linux与硬件的搭配 2.2 磁盘分区 2.3 安装Linux前的规划 2.4 重点回顾 2.5 本章习题 2.6 参考资料与延伸阅读 第三章、安装 CentOS7.x 3.1 本练习机的规划--尤其是分区参数 3.2 开始安装CentOS 7 3.3 多重开机安装流程与管理（Option） 的追踪与 debug 12.7 重点回顾 12.8 本章习题 第十三章、Linux 帐号管理与 ACL 权限设置 13.1 Linux 的帐号与群组 13.2 帐号管理 13.3 主机的细部权限规划：ACL 的使用 13.4 使用者身份切换 13.5 使用者的特殊 shell 与 PAM 模块 13.6 Linux 主机上的使用者讯息传递 13.7 CentOS 7 环境下大量创建帐号的方法 VBird 与 Linux 2. VBird 的 Linux 学习之路 3. 学习心态的分别 4. 基本的学习流程 5. 基本的建站流程表 6. 简易的安全防护 第一部份 Linux 的规划与安装 常常听到Linux具有非常优良的血统，所以具有相当良好的多用户多任务环境，可以方便程序 设计师来开发软件。 此外，Linux本身是不用钱的“自由软件”，使用上面并没有所谓的“盗 版”问题。但是，为什么Linux不用钱？

7 参考资料与延伸阅读 4. 第二章、主机规划与磁盘分区 4.1. 2.1 Linux与硬件的搭配 4.2. 2.2 磁盘分区 4.3. 2.3 安装Linux前的规划 4.4. 2.4 重点回顾 4.5. 2.5 本章习题 4.6. 2.6 参考资料与延伸阅读 5. 第三章、安装 CentOS7.x 5.1. 3.1 本练习机的规划—尤其是分区参数 5.2. 3.2 开始安装CentOS 8 本章习题 15. 第十三章、Linux 帐号管理与 ACL 权限设置 15.1. 13.1 Linux 的帐号与群组 15.2. 13.2 帐号管理 15.3. 13.3 主机的细部权限规划：ACL 的使用 15.4. 13.4 使用者身份切换 15.5. 13.5 使用者的特殊 shell 与 PAM 模块 15.6. 13.6 Linux 主机上的使用者讯息传递 15.7. 主机也是很有用的， 至 少对于需要多平台但又缺乏空间与金钱的朋友来说，这样的处理是非常有用的！ 在第一篇里面，我们会由计算机概论谈起，再讲到Linux的历史渊源与自由软件的关系，然后重点在于如何规划硬件 与Linux安装， 最后谈到如何登陆与使用Linux图形/命令行的环境。本篇数据较多，第一次接触Linux的新朋友， 很多数据若看不懂可以先略过，等到后续文章都读完了再回来看，才会有帮助喔！

社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10, 还在内核方向实现内核热升级、 内存分级扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021年 9 月 30 日，全新openEuler 21.09创新版如期而至，这是欧拉全新发布后的第一个社区版本，实现了全场景支持。 增强 22.09 23.03 openEuler 21.09 技术白皮书 03 openEuler 覆盖全场景的创新平台 openEuler 已支持 X86、Arm、RISC-V 多处理器架构，未来还会扩展 PowerPC、SW64 等更多芯片架构支持，持续 完善多样化算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 swap。 夯实云化基座 容器操作系统 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于

志性的事件。 2021 年 3 月 31 日，openEuler 21.03 创新版如期而至，该版本不仅将内核切换到 Linux Kernel 5.10, 还在内核方向实 现内核热升级、内存分层扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 openEuler 作为一个发行版平台，每两年推出一个 LTS 版本。该版本为企业级用户提供一个安全稳定可靠的操作系统。 openEuler Linux Kernel 5.10 计算 架构 进程 管理 驱动 框架 内存分层 扩展 IO异步 通讯框架 虚拟化 增强 调度 管理 引领内核创新： • Linux Kernel 5.10 ：调度、IO、内存管理深度优化。 • 内存分层扩展 etMem：支持多种内存、存储介质统一管理，系统容量平滑扩展。 • 内核热升级：内核漏洞快速修复，业务不感知。 构筑云化基座： • iSula：iSulad 不友好，利用内核 热升级，可以让客户无感知的情况下对引入新的内核特性。 内存分层扩展 etMem 当前内存制造工艺已经达到瓶颈，Arm 生态发展让每个 CPU 核的成本越来越低。数据库、虚拟机、大数据、人工智能、 深度学习场景同时需要算力和内存的支持。内存容量成为了制约业务和算力的问题。 内存分层扩展通过 DRAM 和低速内存介质，如 SCM、AEP 等形成多级内存，通过内存自动调度让热数据在

⚫大规模实时监控平台的实践方案 ⚫智能故障定位与处理实践 ⚫ APM 在京东物流的落地实践 ⚫ 智能运维(AIOps)落地规划 业界智能运维发展趋势 新的问题 运维人数不变，管理机器数翻倍 1 2  3 4 正在消失的运维 运维从业者减少，运维专家匮乏 运维平台日趋复杂，缺乏统一规划 公司内部监控/运维系统繁多，形成数据孤岛 网络拓扑日益复杂，资源云化，虚拟资 源频繁弹性伸缩。不可靠的CMDB ⚫业界智能运维发展现状及趋势分析 ⚫智能运维体系建设方法论 ⚫大规模实时监控平台的实践方案 ⚫智能故障定位与处理实践 ⚫ APM 在京东物流的落地实践 ⚫智能运维(AIOps)落地规划 智能运维体系建设方法论 ◼统一规划、避免重复建设 ◼标准化是前提 ◼产品化设计、产品化开发 ◼服务驱动 ◼运维中台 ◼业务增值 ◼过程改进 智能运维体系建设方法论 ◼闭环 ◼生命周期管理 ◼流程管理 目录 ⚫业界智能运维发展现状及趋势分析 ⚫智能运维体系建设方法论 ⚫大规模实时监控平台的实践方案 ⚫智能故障定位与处理实践 ⚫ APM 在京东物流的落地实践 ⚫智能运维(AIOps)落地规划 大规模实时监控平台V1.0 大规模监控平台架构 大规模实时监控平台V1.0 ◼多级部门、应用多维度统计 ◼日报、周报、同比、环比统计 ◼低资源使用率TOP统计 ◼低负载应用榜单 ◼低资源使用率应用优化建议

社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 内核创新版，该版本将内核升级到 5.10, 并在内核方向实现内核热升级、内存分级 扩展等多个创新特性，加速提升多核性能，构筑千核运算能力。 2021年 9 月 30 日，全新openEuler 21.09创新版如期而至，这是openEuler全新发布后的第一个社区版本，实现了全场景支持。 LTS SP4 版本，其作为 20.03 LTS 版本的增强扩展版本，面向服务器、云原生、 边缘计算场景，提供更多新特性和功能增强。 2023 年 12 月 30 日，发布 openEuler 22.03 LTS SP3 版本，是 22.03 LTS 版本增强扩展版本，面向服务器、云原生、边缘计 算和嵌入式场景，持续提供更多新特性和功能扩展，给开发者和用户带来全新的体验，服务更多的领域和更多的用户。 力，从而不断孵化新技术。 发行版平台和技术孵化器互相促进、互相推动、牵引版本持续演进。 openEuler 已支持 x86、Arm、SW64、RISC-V、LoongArch 多处理器架构，逐步扩展 PowerPC 等更多芯片架构支持，持续完 善多样性算力生态体验。 openEuler 社区面向场景化的 SIG 不断组建，推动 openEuler 应用边界从最初的服务器场景，逐步拓展到云计算、边缘计算、

5.4 实现运营分析、IT 投入透明化及时回收优化.............................................12 1.5.5 建立数据中心 IT 体系演进框架支持迭代扩展建设.....................................12 1.6 各行业客户案例............................................. ....................................................................................... 49 3.4 模块化扩展能力................................................................................................. 体系演进框架支持迭代扩展建设 建立 IT 工具体系演进框架门户，能够支持不断迭代建设，覆盖服务运维场景，不断提 升服务和自动化的覆盖范围，整合演进过程中的新基础架构、新运维工具，与时俱进，保持 服务化和自动化的覆盖。能够: 快速整合支持新采纳的基础架构云平台，架构设计支持以插件符合开放封闭原则进行扩 展支持，只需要开发插件，不需要动 Web 页面层和中间业务逻辑层； 模块化扩展和整合，能够在