CI CD CO 支撑着半个腾讯的技术运营体系——蓝鲸PaaS 腾讯蓝鲸智云，简称蓝鲸，是腾讯互动娱乐事业群（Interactive Entertainment Group，简称IEG）自用的一套用于 构建企业研发运营一体化体系的PaaS开发框架，提供了aPaaS（DevOps流水线、运行环境托管、前后台框架）和 iPaaS（持续集成、CMDB、作业平台、容器管理、数据平台、AI等原子平台）等模块，帮助企业技术人员快速构建基 平铺式架构，拓扑关系复杂，模块数量上百，服务器数量 几千…… 腾讯游戏300多款业务中，大多数是由世界各地开发商开发 出来。 所使用的开发语言、开发框架、操作系统、数据库等技术， 是没有直观规律的。 开发商很难为了运维体系而对架构或技术做大规模的修改。 有几乎所有的业务类型 有几乎所有的流行技术 300多款游戏相互之间是没有关系的。 发布变更、故障处理等运维操作场景和操作流程是没有直 观规律的。 服务器数量，也就是操作单元，有二十余万。 调度自动化 • 运维PaaS 2015-2017 • 数据运维 • 运维运营PaaS 2017-2019 • DevOps • AIOps • 研发运维运营一体化 01 蓝鲸技术运营PaaS体系 02 企业落地解决方案 03 企业典型场景分享 CONTENTS 嘉为蓝鲸：研发运营技术PaaS解决方案 PaaS平台 iPaaS+aPaaS 统一DevOps 统一监控&自愈自动化 统一配置管理

成为唯一被独立统计的中立型多云管理厂商。FIT2CLOUD 的研发与服务团队分布在北京、 上海、深圳、广州、南京、杭州、武汉、成都、西安、郑州、济南、长沙、厦门等地，团队 在企业 IT 云化转型、软件持续测试、云原生体系构建等方面拥有丰富的经验，客户广泛覆 盖金融、制造、能源、交通、医疗、教育、通信、传媒、房地产、互联网等行业。 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 3 目录 前言 .. 12 1.5.4 实现运营分析、IT 投入透明化及时回收优化.............................................12 1.5.5 建立数据中心 IT 体系演进框架支持迭代扩展建设.....................................12 1.6 各行业客户案例................................... 业 IT 面临的问题及解决方案进行了长期专注 的产品研发及落地实践，籍此白皮书阐述和介绍多年实践积累的产品及解决方案，希望能够 帮助广大企业能够从根本上解决传统 IT 以及 IT 基础架构、工具体系演进过程中面临的问题， 早日完成实现 IT 服务管理模式的转型，从而助力加速企业数字化转型，业务的快速发展， 减少业务快速发展在 IT 侧形成的阻力，同时解放释放 IT 人力。 杭州飞致云信息科技有限公司

 常用 DevOps 开发测试工具自动化部署，如 Jenkins、Nexus、Gitlab、Redmine 等。 杭州飞致云信息科技有限公司 114  各类运维工具软件的自动化部署, Zabbix、Prometheus、InfluxDB 等。  各类 PaaS 平台的自动化部署，Hadoop，Kubernetes 等。  其他各类应用软件、业务系统自动化部署等。 部署完云管平台

采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 低人效 / 低质量 / 低效率 / 高成 本： 人淹没在系统的海洋里，无数平台手工切换 高人效 / 高质量 / 高效率 / 低成 字决策 人工低效操作减少 80% 构建资源利用率提升 60% 业务资源利用率提升 30% 统一治理内部规范，开发 自助上线；解放运维，工 作重心向业务稳定性保 障，建设平台工程体系 研发 研发时间被大量占用： • 本地开发环境难模拟 • 多业务联调艰难，诊断耗时多 • 出现问题诊断耗时多 • 流程割裂协作痛苦，响应慢 调试自测免打扰：本地 / 子环境免打扰，独立完成验证工作 测试效果提升：独立稳定环境用于测试验收、自动化建设 价值被团队感知：自动化测试从开发到发布被全团队感知 部署频率升高 1-5 倍 验证有效性提升 100% 解放测试，全面自动化 提升效率，建设质量体系 安全 安全建设被动： • 安全建设缺乏时机和抓手 • 出现问题，影响业务进度 前置安全服务：全流程嵌入安全检测，避免流入业务环节。 全流程安全门禁：关键环节设置安全门禁，快速反馈研发改进

采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 低人效/低质量/低效率/高成本： 人淹没在系统的海洋里，无数平台手工切换 高人效/高质量/高效率/低成本： 人在系统之外/上，复杂性下沉到单一平台 价值清晰呈现：为管理者提供全视角效能数据，赋能数字决策 人工低效操作减少 80% 构建资源利用率提升 60% 业务资源利用率提升 30% 统一治理内部规范，开发 自助上线；解放运维，工 作重心向业务稳定性保障， 建设平台工程体系 研发 研发时间被大量占用： • 本地开发环境难模拟 • 多业务联调艰难，诊断耗时多 • 出现问题诊断耗时多 • 流程割裂协作痛苦，响应慢 调试自测免打扰：本地/子环境免打扰，独立完成验证工作 测试效果提升：独立稳定环境用于测试验收、自动化建设 价值被团队感知：自动化测试从开发到发布被全团队感知 部署频率升高 1-5 倍 验证有效性提升 100% 解放测试，全面自动化 提升效率，建设质量体系 安全 安全建设被动： • 安全建设缺乏时机和抓手 • 出现问题，影响业务进度 前置安全服务：全流程嵌入安全检测，避免流入业务环节。 全流程安全门禁：关键环节设置安全门禁，快速反馈研发改进

接入服务 业务 服务框架 KV/RDS CVM/Docker 接入服务 业务 服务框架 KV/RDS CVM/Docker IEG PCG WXG CDG “烟囱式”的业务支持体系 幸福的烦恼 ⚫ 重复造轮子，每个部门一套轮子 ⚫ 缺乏统一规范，包括开源代码在内 Bug 多 ⚫ 开源文化落后，共享精神差，很多基础框架没有内部开源 ⚫ 技术支持不足，文档陈旧 ⚫ 数 K8S（TKE）+业务画像 K8S（TKE） ⚫ 云原生计算基金会（CNCF），2015年由谷歌牵头成立，第一个毕业的项目Kubernetes。 ⚫ 在云上生长的应用，不是一个产品，而是一套技术体系和一套方法论。 ⚫ 包括DevOps、持续集成（CI）、持续交付（CD）、微服务、云基础设施（IaaS）、容器（K8S）、12要素等几大主题。 腾讯云容器服务（Tencent Kubernetes Kubernetes多集群管理 Cluster1 Cluster2 ……. 应用服务管理 集群监控 集群日志 集群告警 基础设施监控 基础设施日志 基础设施告警 管理体系 业务管理 用户体系 权限 审计 安全 资源调度 服务监控 服务告警 远程日志 自动扩缩容 负载均衡 服务发现 CI/CD 蓝盾 OCI QCI 镜像仓库 CSIGHUB DockerImage

活动⽇志 ⽀持按照时间线记录每⼀种资源的活动⽇志； 其他 Other 资产同步（X-Pack） ⽀持对公有云、私有云资产的⾃动同步；⽀持对局域⽹内资产的⾃动发现； 远程应⽤ 全新的远程应⽤设计体系，⽀持⾃动管理远程应⽤（MySQL Workbench8、Navicat Premium 16 (X-Pack) ）和⼀键部署远程应⽤发布机； 作业中⼼ ⽀持对批量资产执⾏快捷命令、命令脚本以及 Playbook X-Pack X-Pack JumpServer 提供的特⾊功能 体验极佳的 Web Terminal ⼴泛类型 资产⽀持 超⼤规模 分布式资产⽀持 ⽀持审计录像 的云端存储 内置多租户体系 软件 / 硬件 灵活选择 体验极佳的 Web Terminal Linux Web Terminal Windows Web Terminal - 兼容纯浏览器和传统终端的访问模式 - 特⾊功能 云存储 ⽀持审计录像的云端存储 - 云时代下不限容量审计录像存储 - SDS 公有云 Lion Koko Windows 资产 Linux 资产 NFS DC 特⾊功能 内置多租户体系 管理员 组织 / 分公司 / ⼆级单位 组织 / 分公司 / ⼆级单位 组织 / 分公司 / ⼆级单位 组织管理员 组织管理员 组织管理员 权限管理 权限管理 权限管理 ⽤ 户 账 号

HorizonCD 云音乐在GitOps CD领域的最佳实践 朱旭 网易云音乐 云原生开发工程师 目 录 背景 01 Horizon模板体系 02 GitOps最佳实践 03 Horizon产品介绍 04 Horizon落地 05 背景 第一部分 背景 云主机时代的痛点 2020年，云音乐开始容器化转型 效率 低下 计算 焦虑 运维 繁琐 成本 高昂 背景 Chart的理念 如何屏蔽 k8s 复杂性？ 屏蔽大部分细节，将少量配置开放给 使用者 集中了应用依赖的各种 资源 helm chart不足： • 面向开发者，对普通用户不友好 Horizon模板体系 第二部分 ├── Chart.yaml ├── README.md ├── schema ## 定义各种上层用户可理解的输入（支持前端自动渲染）

多维下钻分析 • 关联事件分析 • 容量预估分析 解决问题 • 扩容 • 决策 • 调度 • 优化 智能运维学件库 • 可重用 • 可演进 • 可了解 智能运维学件库 智能运维能力框架体系 AIOps 团队角色划分 01 智能运维场景描述 整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来

1 、 敏捷协作方案介绍 持续集成 (CI) -> 持续交付 (CD) -> 持续部署 (CD) -> 持续运营 (CO) 质量右移 质量左移 软件研发核心工程实践：基于质量工程的持续交付体系（ CI/CD 、 CO 、 CT 、 CS ） 工 程 实 践 ： • 持 续 集 成 ( C I 针 对 代 码 ) • 持 续 交 付 ( C D 针 对 需 求 ) • 持 续 部