基于APM的智能运维体系在京东物流的落地和实践 付正全 京东物流 架构师 自我介绍 付正全，京东物流架构师，国家认证信息系统项目管 理师，曾任浪潮集团系统架构师，专注监控平台研发 工作 8 年，研究过市场上数十家厂商的监控平台产品， 对 DevOps 和监控平台有比较深入的了解。目前负责 京东物流火眼监控平台的架构设计和开发工作。 目录 ⚫业界智能运维发展现状及趋势 ⚫智能运维体系建设方法论 ⚫业界智能运维发展现状及趋势分析 ⚫智能运维体系建设方法论 ⚫大规模实时监控平台的实践方案 ⚫智能故障定位与处理实践 ⚫ APM 在京东物流的落地实践 ⚫智能运维(AIOps)落地规划 智能运维体系建设方法论 ◼统一规划、避免重复建设 ◼标准化是前提 ◼产品化设计、产品化开发 ◼服务驱动 ◼运维中台 ◼业务增值 ◼过程改进 智能运维体系建设方法论 ◼闭环 ◼生命周期管理 ◼流程管理 ◼审计归档 目录 ⚫业界智能运维发展现状及趋势分析 ⚫智能运维体系建设方法论 ⚫大规模实时监控平台的实践方案 ⚫智能故障定位与处理实践 ⚫ APM 在京东物流的落地实践 ⚫智能运维(AIOps)落地规划 大规模实时监控平台V1.0 大规模监控平台架构 大规模实时监控平台V1.0 ◼多级部门、应用多维度统计 ◼日报、周报、同比、环比统计 ◼低资源使用率TOP统计

CI CD CO 支撑着半个腾讯的技术运营体系——蓝鲸PaaS 腾讯蓝鲸智云，简称蓝鲸，是腾讯互动娱乐事业群（Interactive Entertainment Group，简称IEG）自用的一套用于 构建企业研发运营一体化体系的PaaS开发框架，提供了aPaaS（DevOps流水线、运行环境托管、前后台框架）和 iPaaS（持续集成、CMDB、作业平台、容器管理、数据平台、AI等原子平台）等模块，帮助企业技术人员快速构建基 平铺式架构，拓扑关系复杂，模块数量上百，服务器数量 几千…… 腾讯游戏300多款业务中，大多数是由世界各地开发商开发 出来。 所使用的开发语言、开发框架、操作系统、数据库等技术， 是没有直观规律的。 开发商很难为了运维体系而对架构或技术做大规模的修改。 有几乎所有的业务类型 有几乎所有的流行技术 300多款游戏相互之间是没有关系的。 发布变更、故障处理等运维操作场景和操作流程是没有直 观规律的。 服务器数量，也就是操作单元，有二十余万。 调度自动化 • 运维PaaS 2015-2017 • 数据运维 • 运维运营PaaS 2017-2019 • DevOps • AIOps • 研发运维运营一体化 01 蓝鲸技术运营PaaS体系 02 企业落地解决方案 03 企业典型场景分享 CONTENTS 嘉为蓝鲸：研发运营技术PaaS解决方案 PaaS平台 iPaaS+aPaaS 统一DevOps 统一监控&自愈自动化 统一配置管理

SFTP ⽂件上传 / 下载；实现 Web SFTP ⽂件管理； ⼯单管理（X-Pack） ⽀持对⽤户登录⾏为进⾏控制；⽀持资产授权⼯单申请；⽀持⼆级审批流程； 组织管理（X-Pack） 实现多租户管理与权限隔离；全局组织功能； 访问控制（X-Pack） ⽀持⽤户登录资产时访问控制，包括接受、拒绝和复核； 账号管理 Accounting 账号列表 ⽀持查看所有账号信息； 账号模版 活动⽇志 ⽀持按照时间线记录每⼀种资源的活动⽇志； 其他 Other 资产同步（X-Pack） ⽀持对公有云、私有云资产的⾃动同步；⽀持对局域⽹内资产的⾃动发现； 远程应⽤ 全新的远程应⽤设计体系，⽀持⾃动管理远程应⽤（MySQL Workbench8、Navicat Premium 16 (X-Pack) ）和⼀键部署远程应⽤发布机； 作业中⼼ ⽀持对批量资产执⾏快捷命令、命令脚本以及 Playbook X-Pack X-Pack JumpServer 提供的特⾊功能 体验极佳的 Web Terminal ⼴泛类型 资产⽀持 超⼤规模 分布式资产⽀持 ⽀持审计录像 的云端存储 内置多租户体系 软件 / 硬件 灵活选择 体验极佳的 Web Terminal Linux Web Terminal Windows Web Terminal - 兼容纯浏览器和传统终端的访问模式 -

、稳定、易用的操作系统。通过为应用提供确定 性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种 处理器架构、覆盖数字设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 openEuler 正式成立。 调度 内存管理 Cache QOS 网络 QOS 在线抢占 离线 Kill SMT 负载均衡 OOM 优先级内存回收 动态水线控制策略 Cache 干扰预测 Cache 租户隔离 流量标签化管理 租户宽带分配 openEuler 21.09 技术白皮书 15 功能描述 1. 全局管理器 OS-Controller，监控所有节点上的 OS 实例，收集所有节点 OS 信息，实现全局 安全容器方案 容器作为云计算广泛使用的技术，在简化应用封装，加快应用部署、减少环境依赖方面优势明显。容器可以直接访问 主机资源，容器间共享主机内核，存在容器逃逸等诸多安全问题，无法满足典型金融多租户安全隔离诉求。业界阿里和 Intel 主导 kata 开源项目，使用虚拟化隔离层容器形成安全容器方案，Google 推出 GVisor 安全沙箱，结合进程级虚拟 化隔离容器应用安全风险。 openEuler

致力于提供安全、稳定、易用的操作系统。通过为应用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 openEuler 社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持 多种处理器架构、覆盖数字基础设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 openEuler 正式成立。 行业应用 工控 机器人 电力 � 嵌入式虚拟化 Linux 5.10 内核 调度/内存/文件系统/... 分布式软总线 Linux 生态 硬实时应用 硬实时 实时内核 工具体系 统一构建系统 IDE DFX 体系 性能优化 调试 维测 SDKs 仿真 统一 元数据表达 构建 DSL 统一 执行引擎 混合部署框架 11 openEuler 22.03 LTS SP2 技术白皮书 频繁交互、大数据交互等典型场景下提升 REE-TEE 交互性能 10 倍 +。 本次版本新增支持远程证明，安全通道两个特性。 远程证明 机密计算厂商纷纷推出远程证明技术，可以让租户随时检测云上可信执行环境及应用的可信状态，彻底打消租户的顾虑。 远程证明是一种动态度量技术，可以对可信执行环境和运行在环境里的应用进行实时度量，生成证明报告，并使用预 置根密钥签名，防止证明报告被篡改或伪造。 secGear

、稳定、易用的操作系统。通过为应 用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种 处理器架构、覆盖数字设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 openEuler 正式成立。 安全容器方案 容器作为云计算广泛使用的技术，在简化应用封装，加快应用部署、减少环境依赖方面优势明显。容器可以直接访问 主机资源，容器间共享主机内核，会存在容器逃逸等诸多安全问题，无法满足典型金融多租户安全隔离诉求。业界阿里和 Intel 主导的 kata 开源项目，使用虚拟化隔离层容器形成安全容器方案，Google 推出的 GVisor 安全沙箱，则结合进程级 虚拟化隔离容器应用安全风险。 调度 内存管理 Cache QoS 网络 QoS 在线抢占 离线 Kill SMT 负载均衡 OOM 优先级内存回收 动态水线控制策略 Cache 干扰预测 Cache 租户隔离 流量标签化管理 租户宽带分配 用户 仓库 K8s Node API-Master OS-Controllor Kubelet OS-proxy OS-agent 系统镜像 Portal K8s

成为唯一被独立统计的中立型多云管理厂商。FIT2CLOUD 的研发与服务团队分布在北京、 上海、深圳、广州、南京、杭州、武汉、成都、西安、郑州、济南、长沙、厦门等地，团队 在企业 IT 云化转型、软件持续测试、云原生体系构建等方面拥有丰富的经验，客户广泛覆 盖金融、制造、能源、交通、医疗、教育、通信、传媒、房地产、互联网等行业。 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 3 目录 前言 .. 12 1.5.4 实现运营分析、IT 投入透明化及时回收优化.............................................12 1.5.5 建立数据中心 IT 体系演进框架支持迭代扩展建设.....................................12 1.6 各行业客户案例................................... 业 IT 面临的问题及解决方案进行了长期专注 的产品研发及落地实践，籍此白皮书阐述和介绍多年实践积累的产品及解决方案，希望能够 帮助广大企业能够从根本上解决传统 IT 以及 IT 基础架构、工具体系演进过程中面临的问题， 早日完成实现 IT 服务管理模式的转型，从而助力加速企业数字化转型，业务的快速发展， 减少业务快速发展在 IT 侧形成的阻力，同时解放释放 IT 人力。 杭州飞致云信息科技有限公司

技术白皮书 openEuler WHITE PAPER openEuler 是一个开源的 Linux 发行版平台。将通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包 容的软件生态体系。openEuler 旨在通过社区合作，打造创新平台，构建支持多种处理器架构、统一和开放的操作系统社区， 推动软硬件应用生态繁荣发展。 2019 年 12 月 31 日，一个面向多样性算力的操作系统开源社区 等新型虚拟 化架构或组件。具 备安全、轻量、高性能、低损耗、组件灵活拆分的特点。 StratoVirt 主要优势如下： • 强安全性：基于 Rust 实现语言级安全，模型设计上最小化攻击面， 实现多租户物理隔离。 • 轻量低噪：采用极简设备模型时，启动时间小于 50ms，内存底噪小于 4M，支持 Serverless 负载。 • 软硬协同：StratoVirt 支持 x86 的 VT，支持鲲鹏的 是基于硬件机密计算技术为开发者提供的一个应用开发框架，开发者基于 secGear 框架可以简化编写安全应 用的复杂度，提升开发效率。 secGear 支持 x86、Arm 等多种芯片架构，不同的体系架构下硬件机密计算技术的实现和编程接口是不一样的，通过 secGear 开发框架可以让开发者用在编写代码时获得一致的编程体验。 功能描述 • 提供 API 支持应用对机密计算生命周期的管理和对机密计算安全函数的调用。

致力于提供安全、稳定、易用的操作系统。通过为应用提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 openEuler 社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多种处 理器架构、覆盖数字基础设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 openEuler 正式成立。 PKI 为基础的软件构建签名体系，在软件构建阶段，自 动为目标文件添加数字签名，并在关键组件中预置公钥证书，从而在用户安装 openEuler 镜像后，可以直接开启相关的签名校验机 制，提升系统安全性。 openEuler Signatrust 是社区基础设施 SIG 组针对操作系统常见的签名场景推出的高效、便捷、安全的签名服务，可支持 openPGP 及 X509 体系的密钥管理，同时对接了 这可以实现资源集中管理、自动化部署和弹性扩展等功能，同时 OpenStack 还可以为企业提供强大的安全保障措施，如访问 控制、数据加密和审计日志等。 • 公有云：OpenStack 也可以为公有云提供资源池，解决多租户云环境中不同用户之间的性能和隔离问题。在这种场景下， OpenStack 可以为公有云提供弹性计算、容器、网络和存储等基础设施服务，帮助公有云提供商实现资源集中管理和高可用性。 • 混合云：OpenStack

，支持服 务器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开放、多元和架构包容的软件生态体系，孵化支持多 种处理器架构、覆盖数字基础设施全场景，推动企业数字基础设施软硬件、应用生态繁荣发展。 2019 年 12 月 31 日，面向多样性计算的操作系统开源社区 openEuler 正式成立。 金融 政企 交通 制造 Sandbox Plugin 特性增强 42 openEuler 23.09 技术白皮书 单机多租户共享场景 • 以容器形态对外提供 Serverless 服务，需要容器规格小，单机密度高，启动速度快。 • 在一台物理机上会部署多个不同租户的容器，需要容器之间有强隔离的安全保证。 • 用户通常会应用在弹性扩缩容的场景，需要容器启动和销毁的速度快。 可信与不可信应用混合部署