腾讯智能运维（Metis）项目实践 张戎 机器学习高级研究员 张戎 腾讯云 云服务平台部 机器学习高级研究员 • 2015年毕业于新加坡国立大学数学专业，获博士学位； • 2015年加入腾讯科技（深圳）有限公司，机器学习岗位； • 智能推荐系统：神盾推荐项目，2015年7月-2016年5月 • 智能安全系统：机器学习+安全业务，2016年6月-2017年7月 • 智能运维系统：机器学习+业务运维，2017年8月-至今 智能运维场景描述 整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来 智能运维（AIOps） 基于机器学习的智能运维 发现问题 • 时间序列异常 • 日志分析异常 • 设备性能异常 分析问题 • 多维下钻分析 • 关联事件分析 • 容量预估分析 解决问题 • 扩容 • 决策 • 指数移动平均算法 • 二次指数移动平均算法 • 三次指数移动平均算法 • 奇异值分解算法 • 自回归算法 • 深度学习算法 时间序列的分类特征 • 熵特征 • 值分布特征 • 小波分析特征 单维时间序列分析 有监督异常检测算法 （RF，GBDT，XGBoost，深度学习） 数据层 数据存储 数据提取 统计算法 输出疑似异常 无监督算法 输出疑似异常 有监督算法 特征工程

Web 控制台的账号，以及用于给应用通过 API 操作云平台需要的授权云平台 API 账号。 项目生命周期 指项目从开发测试、投产到系统运维、应用运维的整个过程。 应用系统 由多个应用组成的分布式系统。 应用 指独立部署运行的应用程序。 应用运行环境 支持应用系统运行的各类资源和环境，包括各类基础架构平台的虚拟机、 操作系统、云磁盘、网络、安全组、弹性 IP，负载均衡、RDS、对象存储、 规范的运维安全审计系统。JumpServer 使用 Python / Django 为主进行开发，遵循 Web 2.0 规范，配备了业界领先的 Web Terminal 方案，交互界面美观、用户体验好。采纳分布式架构，支持多机 房跨区域部署，支持横向扩展，无资产数量及并发限制。 CMDB 全称为配置管理数据库，Configuration Management Database, 用于保 存构筑企业 IT 是普遍接受 IDC 的定义：中间件是一种独立的系统软件服务程序，分布式 应用软件借助这种软件在不同的技术之间共享资源，中间件位于客户机服 务器的操作系统之上，管理计算资源和网络通信。常见的中间件包括  Web 中间件: Tomcat、Weblogic、WebSphere  消息中间件: RabbitMQ、RocketMQ  分布式协调中间件: Zookeeper 数据库 包含几类数据库:

应用通过 API 操作云平台需要的授权云平台 API 账号。 项目生命周期 指项目从开发测试、投产到系统运维、应用运维的整个过程。 杭州飞致云信息科技有限公司 7 应用系统 由多个应用组成的分布式系统。 应用 指独立部署运行的应用程序。 应用运行环境 支持应用系统运行的各类资源和环境，包括各类基础架构平台的 虚拟机、操作系统、云磁盘、网络、安全组、弹性 IP，负载均衡、 RDS、对象存储、DNS 规范的运维安全审计系统。JumpServer 使用 Python / Django 为主进行开发，遵循 Web 2.0 规范， 配备了业界领先的 Web Terminal 方案，交互界面美观、用户 体验好。采纳分布式架构，支持多机房跨区域部署，支持横向扩 展，无资产数量及并发限制。 资源池 资源池用于定义限制资源部署分配的范围，比如哪个云平台资源 池下、哪个网络子网、哪个集群、哪些宿主机、哪些存储器。比 它并没有很严格的定义，但是普遍接受 IDC 的定义：中间件是一 种独立的系统软件服务程序，分布式应用软件借助这种软件在不 同的技术之间共享资源，中间件位于客户机服务器的操作系统之 上，管理计算资源和网络通信。常见的中间件包括  Web 中间件: Tomcat、Weblogic、WebSphere  消息中间件: RabbitMQ、RocketMQ  分布式协调中间件: Zookeeper 数据库 包含几类数据库:

开发的模式，实现所有运维任 务自动化、工具化、可视化。 数据驱动运维：基于大数据 的接入、存储、分析技术，对运 维数据进行全面挖掘和分析，实 现数据驱动自动化运维。 机器驱动运维：基于智能算法 的机器自我学习，训练机器智能运 维模型，实现无人值守和智能的运 维与运营。 数据化 2015--2017 智能化 2017—现在 蓝鲸目前在腾讯应用情况及发展方向 4个转型的绊脚石

企业基于 CI/CD 工具自建 DevOps 流程平台 围绕 Jenkins 、 Tekton 、 Argo 等 搭建流程串接胶水平台 建设成本高 500-2000 万之间 使用和学习门槛高；随业务发展扩展性差 局限性大，内部推广难度极高，做完后维 护成本高价值难被证明 低采购成本、低实施成本， 内置模板库和最佳实践；高扩展性、技术先进性强 ，可灵活广泛接入现有工具链和业务场景 可用性极高，没有 Zadig 集成测试完 全没法做。 —— 字节跳动 SRE 工程师卢肇 兴 解决方案： Gerrit + Zadig 实现机器自动验证 扫 码 查 看 案 例 细 节 典型客户：新零售独角兽 用 Zadig 15 万家门店周发布 7 次 “ 没有 Zadig, 我们的自动化测试不可能做起

强，全球多地跨云跨域安全可靠自动化部署 企业基于 CI/CD 工具自建 DevOps 流程平台 围绕 Jenkins 、Tekton、Argo 等搭建流程串接胶水平台 建设成本高 500-2000万之间 使用和学习门槛高；随业务发展扩展性差 局限性大，内部推广难度极高，做完后维 护成本高价值难被证明 低采购成本、低实施成本， 内置模板库和最佳实践；高扩展性、技术先进性强， 可灵活广泛接入现有工具链和业务场景 典型案例：Zadig 帮助 平均每周自动部署1200次 Zadig 可用性极高，没有 Zadig 集成测试完全 没法做。 ——字节跳动 SRE 工程师卢肇兴 解决方案：Gerrit + Zadig 实现机器自动验证 扫 码 查 看 案 例 细 节 典型客户：新零售独角兽 用 Zadig 15万家门店周发布7次 “没有 Zadig, 我们的自动化测试不可能做起来” ——非码测试总监 “Zadig

制造业已经完成了从集中式制造向分布式制造的演进，⼤型制造企业往往在境内外拥有多个⽣产基地，需要借助堡垒机实现 分布式 IT 资产的统⼀运维安全审计。 政府及国有企业 政府机构及国有企业拥有⼤量机密信息，运维的安全等级要求很⾼，堡垒机是提⾼其安全合规⽔平的必备选择。 服务业 传统服务⾏业，以及包括了物流交通⾏业在内的、依托于信息技术发展演进的现代服务业，普遍具有分布式基础设施的安全 管控需求，同时 医疗医药 医疗医药⾏业的信息化⽔平呈现⾼速发展的态势，IT 资产规模快速扩张，迫切需要通过堡垒机实现⼤规模 IT 资产的统⼀管 理与安全运维。 房地产及酒店 房地产和酒店⾏业的业务系统通常随业务经营场所分布式构建，IT 基础设施⾼度分散，需要通过堡垒机实现 IT 基础设施的 统⼀安全运维。 1 2 企业为什么需要堡垒机？ JumpServer 堡垒机的优势 JumpServer 堡垒机企业版 X-Pack X-Pack X-Pack X-Pack X-Pack JumpServer 提供的特⾊功能 体验极佳的 Web Terminal ⼴泛类型 资产⽀持 超⼤规模 分布式资产⽀持 ⽀持审计录像 的云端存储 内置多租户体系 软件 / 硬件 灵活选择 体验极佳的 Web Terminal Linux Web Terminal Windows Web Terminal

2. 1. 3. 1. 2. 背景 方案调研 Chubaofs Juicefs 方案实现 方案一：chubaofs 方案二：事务方案 方案三：利用 KV 自带的分布式事务 Q&A 1. 是否需要实现跨文件系统的 rename 操作？ 2. 在多客户端情况下，是否需要加锁来保证其原子性？ 3. rename 流程举例说明？ 例 1：rename A→B (A 中（如 redis、tikv...），而这些 KV 本身就支持事务，所以它只要把这些操作打包成事务扔给 KV 就可以了 如果采用 Juicefs 的方案，我们需要在 metaserver 层实现分布式事务 方案实现 方案一：chubaofs 从以上的分析来看，chubaofs 的方案是可行的，参照其实现就行 方案二：事务方案 前言（关于 MVCC）： MVCC ( ) 256) (256 为文件名最大长度) 所以增加的存储字节数最多为 272 * copyset 的数量 方案三：利用 KV 自带的分布式事务 后期我们有其他需求可以替换 KV 的话，可以考虑替换成 ， ，将这些事务直接扔给 KV 就行 TiKV 这些天生支持分布式事务的的 KV 参照 juicefs 结论：方案一和方案二应该都是可以实现的，方案三目前短期应该实现不了，下面是方案一和方案二的对比：

GITOPS CONTROL PLANE 工作 工作负载 负载 5 1.3. 其他资源 如需有关污点和容限的更多信息，请参阅使用节点污点控制 pod 放置。 有关基础架构机器集的更多信息，请参阅 创建基础架构机器集。 Red Hat OpenShift GitOps 1.13 基 基础 础架 架构节 构节点上的 点上的 GitOps 工作 工作负载 负载 6

和企业创新力 生态开放：广泛开放系统 模块和 OpenAPI ，链接 一切流程、服务、工具和 上下游伙伴 安全简单自主可控：私有化 部署，现有服务 0 迁移成本 、体验丝滑接入容易、学习 使用门槛极低 现存做法大多以「单点工具 + 写脚本」或运管类平台为主， Zadig 则是面向开发者视角，中立，云原生一体化价值链平台。 与现存 DevOps 方案对比： 现存方案 典型代表 云厂商引流为主，锁定风险高 对多云跨地域支持不够 实施负担较重难以推广 面向多云友好，厂商中立，全球多地跨云跨域 安全可靠自动化部署 云原生 CI/CD 工具 Tekton Argo 使用门槛高、学习成本高 需要额外建设全流程能力 接入和使用都极其简单，内置模板库 和最佳实践，基于平台工程打造，可以轻松连 接一切工具链 企业自建 DevOps 流程平台 围绕 Jenkins 或 CI/CD