从十到千，响应团队规模的敏捷与DevOps实践-冯斌

接下来我们聊一下“告警疏漏、无法闭环”的问题，核心就是告警发出来得有人处理，所谓的闭环，就是 指告警发出、认领、协作处理、问题恢复、复盘改进的整个过程。 虽然事件降噪的几个手段落实之后，事件数量确实变少了，但是处理告警事件显然不是一个让人愉快的事 情，不愉快的事情就要团队共担，所以第一个手段就是排班，专人做专事。 排班，专人做专事 这个手段听起来并不高大上，但确实非常有 首先，并不是所有的告警都需要升级成故障协同处理。一般来讲，如果告警可以被值班人员直接处理掉， 对别的团队负责的服务没有影响，不需要通知别的团队，通常是不需要升级成故障的，在告警层面来协同 就可以了，自己团队内部消化掉；如果值班人员和他所在的团队没办法独自处理告警，才需要升级成故 障，拉其他团队的人进来一起处理。 多个团队共同处理一个故障，不同团队的人会发现一些不同的线索，需要及时同步给所有相关的人，这个 时候就可 盘，产出一系列跟进项，这个时候就需要这个故障管理模块具备跟进项管理的功能，或者至少能够跟任务 管理系统良好打通。 有了这样一个故障协同的机制之后，故障被处理掉的概率就大幅提升了，后续再配合一些运营统计手段， 统计各个团队的平均故障止损时间，建立红黑榜，大家就会有更高的热情来处理故障。当然，人的热情再 高，也不如机器来得快，如果有些告警能够直接关联自动化处理逻辑，无疑可以大大增加事件闭环率。 告警自动处理

● 重复流程自动化 ● 边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 DevOps 方案 ZadigX 云原生 DevOps 方案 降本提效 组织能力提升 业务负责人 研发不透明，规划凭感觉： • 发版时间靠运气 • 团队熬夜冲进度 研发透明化：不同项目清晰可见的效率、质量、进度 进度管理：根据团队客观数据，预测和确定项目规划 迭代进度一目了然 项目从无到有可核算 管理有数据科学依据 解放管理，更多时间花在 业务创新 平台运维 业务压力大，能力建设缓慢： • 大量工作花在工具链维护 • 项目间依赖复杂，环境管理难 • 交付版本依赖工单，发布风险高 • 公共资源 / 业务资源利用率低 赋能多业务：一个平台解决了多异构项目的管理和规范 团队高效协作：定义团队角色工作流模板，随时可用云上环境 价值清晰呈现：为管理者提供全视角效能数据，赋能数字决策 人工低效操作减少 80% 构建资源利用率提升 60% 业务资源利用率提升 30%

● 重复流程自动化 ● 边开发、边验证 ● 服务全生命周期而非只关注代码 ● 每天多次提交提早验证 Zadig 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 传统 DevOps 方案 ZadigX 云原生 DevOps方案 降本提效 组织能力提升 业务负责人 研发不透明，规划凭感觉： • 发版时间靠运气 • 团队熬夜冲进度 研发透明化：不同项目清晰可见的效率、质量、进度 进度管理：根据团队客观数据，预测和确定项目规划 迭代进度一目了然 项目从无到有可核算 管理有数据科学依据 解放管理，更多时间花在 业务创新 平台运维 业务压力大，能力建设缓慢： 业务压力大，能力建设缓慢： • 大量工作花在工具链维护 • 项目间依赖复杂，环境管理难 • 交付版本依赖工单，发布风险高 • 公共资源/业务资源利用率低 赋能多业务：一个平台解决了多异构项目的管理和规范 团队高效协作：定义团队角色工作流模板，随时可用云上环境 价值清晰呈现：为管理者提供全视角效能数据，赋能数字决策 人工低效操作减少 80% 构建资源利用率提升 60% 业务资源利用率提升 30% 统一治理内部规范，开发

月，FIT2CLOUD 进入 IDC 首次发布的中国云管理软件市场追踪报告， 成为唯一被独立统计的中立型多云管理厂商。FIT2CLOUD 的研发与服务团队分布在北京、 上海、深圳、广州、南京、杭州、武汉、成都、西安、郑州、济南、长沙、厦门等地，团队 在企业 IT 云化转型、软件持续测试、云原生体系构建等方面拥有丰富的经验，客户广泛覆 盖金融、制造、能源、交通、医疗、教育、通信、传媒、房地产、互联网等行业。 ...................... 7 1.3.2 大幅减少资源部署人工操作工作量及操作风险，解放人力..........................8 1.3.3 简化流程，降低协作沟通成本，缩短交付时间............................................ 9 1.3.4 减少资源浪费降低成本、IT 投入可视化............... 测试人员需要获取应用运行环境资源以进行开发测试，通常需等待几小时、有时甚至几天几 周时间，特别是一些软件开发团队规模比较大、项目比较多的企业。有几个主要原因。  IT 部门在收到资源请求时经常有优先级更高的工作需要处理。  或者忙于处理其他业务团队的资源申请变更请求。  一些规模较大分工较细的组织还会涉及跨部门小组的流程协作(比如投产环节，部 署完虚拟机后需要给安全部门提申请把虚拟机管理信息加入到堡垒机并授权，部署

世界带来一个全新的具备独立技术演进能力的 Linux 发行版。 2020 年 9 月 30 日，首个 openEuler 20.09 创新版发布，该版本是 openEuler 社区中的多个公司、团队、独立开发者 协同开发的成果，在 openEuler 社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性事件。 2021 年 3 月 31 日，发布 openEuler 21.03 的持续贡献 openEuler 内核研发团队持续贡献 Linux Kernel 上游社区，回馈主要集中在：芯片架构、ACPI、内存管理、文件系统、 Media、内核文档、针对整个内核质量加固的 bug fix 及代码重构等内容。十余年来总计向社区贡献 17000+ 补丁。 在 Linux Kernel 5.10 和 5.14 版本中，openEuler 内核研发团队代码贡献量排名全球第一。坚持内核创新，持续贡献 安全内核 … 场 景 使 能 层 基 础 服 务 层 内 核 openEuler 21.09 技术白皮书 06 平台框架 openEuler 社区与上下游生态建立连接，构建多样性的社区合作伙伴和协作模式，共同推进版本演进。 国际开源社区 处理器 行业ISV厂商 更广泛的 社区合作 伙伴 操作系统厂商 共同参与 多样算力 厂商 政府 运营商 安平 金融 电力 其他上游社区 Upstream

世界带来一个全新的具备独立技术演进能力的 Linux 发行版。 2020 年 9 月 30 日，首个 openEuler 20.09 创新版正式发布，该版本是 openEuler 社区中的多个公司、团队、独立开 发者协同开发的成果，在 openEuler 社区的发展进程中具有里程碑式的意义，也是中国开源历史上的标志性的事件。 2021 年 3 月 31 日，openEuler 21.03 创新版如期而至，该版本不仅将内核切换到 20.03 20.09 21.03 21.09 22.03 22.09 23.03 openEuler 对 Linux Kernel 的持续贡献 华为作为 Linux Kernel 的主要贡献团队，对于内核的贡献主要集中在：ARM64 架构、ACPI、内存管理、文件系统、 Media、内核文档、针对整个内核质量加固的 bug fix 及代码重构的内容。十余年来总计向社区贡献 13000+ 补丁。 openEuler 21.03 技术白皮书 openEuler WHITE PAPER 运行环境 平台框架 openEuler 社区与上下游生态建立连接，构建多样性的社区合作伙伴和协作模式，共同推进版本演进。 国际开源社区 处理器 行业ISV厂商 更广泛的 社区合作 伙伴 操作系统厂商 共同参与 多样算力 厂商 政府 运营商 安平 金融 电力 其他上游社区 Upstream

环境不透明、测试效率低下、测 试有效性低、大量手工、价值难 以体现 上下游烟囱式、协作效率低、团 队花大量时间在碎片化沟通和流 程制定上、各方能力受限、无法 快速响应市场需求 层级越高、对产研状态越模糊 管理低效、延误战机 少量配置、快速拉起环境、稳定 性有保障、减少 90% 手工操作、 赋能开发、员工成就感高 碎片化：手工协作 + 复杂工具链 工程化：一个平台 一键发布 工作流、环境配置自动更新、高 效调试、消除手工操作、精准快 速迭代、研发生产力 / 幸福感提 升 自助运行、系统化管理、自动化 程度高、测试有效性提升、质量 有保障、横向赋能、技能提升 随时调用工程基线提供的能力、 产品视角开发交付、团队高效协 同、稳定迭代 产研数字化过程数据透明、关键 指标易抽取、有能力合理调动资 源、随时决策响应客户需求 碎片化 研 发模 式 产研全流程拉通需求到上线所需的代码、服务、配置和数据的一致性交付 云原生环境 对接需求管理 测试管理 Spinnaker Jenkins Rancher JMeter Sonar Tekton Jenkins KubeSphere 1 、 敏捷协作方案介绍 持续集成 (CI) -> 持续交付 (CD) -> 持续部署 (CD) -> 持续运营 (CO) 质量右移 质量左移 软件研发核心工程实践：基于质量工程的持续交付体系（ CI/CD 、

环境不透明、测试效率低下、测 试有效性低、大量手工、价值难 以体现 上下游烟囱式、协作效率低、团 队花大量时间在碎片化沟通和流 程制定上、各方能力受限、无法 快速响应市场需求 层级越高、对产研状态越模糊 管理低效、延误战机 少量配置、快速拉起环境、稳定 性有保障、减少 90%手工操作、 赋能开发、员工成就感高 碎片化：手工协作 + 复杂工具链 工程化：一个平台 一键发布 工作流、环境配置自动更新、高 效调试、消除手工操作、精准快 速迭代、研发生产力/幸福感提升 自助运行、系统化管理、自动化 程度高、测试有效性提升、质量 有保障、横向赋能、技能提升 随时调用工程基线提供的能力、 产品视角开发交付、团队高效协 同、稳定迭代 产研数字化过程数据透明、关键 指标易抽取、有能力合理调动资 源、随时决策响应客户需求 碎 片 化 研 发 模 式 产研全流程拉通需求到上线所需的代码、服务、配置和数据的一致性交付 云原生环境 对接需求管理 测试管理 Spinnaker Jenkins Rancher JMeter Sonar Tekton Jenkins KubeSphere 1、 敏捷协作方案介绍 持续集成(CI) -> 持续交付(CD) -> 持续部署(CD) ->持续运营(CO) 质量右移 质量左移 软件研发核心工程实践：基于质量工程的持续交付体系（CI/CD、CO、CT、CS）

. . . . . . . . . . . . . . . . . 445 9.4.4 本地团队支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449 9.4.5 Ubuntu 团队 Wiki . . . . . . . . . . . . . . . . . . . . . 频道 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449 9.18 本地社区团队 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 451 9.20 Ubuntu 团队 Wiki . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452