CI CD CO 支撑着半个腾讯的技术运营体系——蓝鲸PaaS 腾讯蓝鲸智云，简称蓝鲸，是腾讯互动娱乐事业群（Interactive Entertainment Group，简称IEG）自用的一套用于 构建企业研发运营一体化体系的PaaS开发框架，提供了aPaaS（DevOps流水线、运行环境托管、前后台框架）和 iPaaS（持续集成、CMDB、作业平台、容器管理、数据平台、AI等原子平台）等模块，帮助企业技术人员快速构建基 平铺式架构，拓扑关系复杂，模块数量上百，服务器数量 几千…… 腾讯游戏300多款业务中，大多数是由世界各地开发商开发 出来。 所使用的开发语言、开发框架、操作系统、数据库等技术， 是没有直观规律的。 开发商很难为了运维体系而对架构或技术做大规模的修改。 有几乎所有的业务类型 有几乎所有的流行技术 300多款游戏相互之间是没有关系的。 发布变更、故障处理等运维操作场景和操作流程是没有直 观规律的。 服务器数量，也就是操作单元，有二十余万。 创建DB 初始化数 据 拉起业务 进程 布署监控 开新区 部署程序 测试验证 清理脏数 据 对外开放 获取新主 机 CMDB注 册信息 关闭故障 大区入口 新机程序 布署 大区服务 重启 测试验证 故障机回 收 故障 替换 业务配置 文件修改 对外开放 选择发布 范围 备份业务 程序&数 据 屏蔽监控 告警 关闭游戏 入口 更新程序 包

成为唯一被独立统计的中立型多云管理厂商。FIT2CLOUD 的研发与服务团队分布在北京、 上海、深圳、广州、南京、杭州、武汉、成都、西安、郑州、济南、长沙、厦门等地，团队 在企业 IT 云化转型、软件持续测试、云原生体系构建等方面拥有丰富的经验，客户广泛覆 盖金融、制造、能源、交通、医疗、教育、通信、传媒、房地产、互联网等行业。 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 3 目录 前言 .. 12 1.5.4 实现运营分析、IT 投入透明化及时回收优化.............................................12 1.5.5 建立数据中心 IT 体系演进框架支持迭代扩展建设.....................................12 1.6 各行业客户案例................................... 业 IT 面临的问题及解决方案进行了长期专注 的产品研发及落地实践，籍此白皮书阐述和介绍多年实践积累的产品及解决方案，希望能够 帮助广大企业能够从根本上解决传统 IT 以及 IT 基础架构、工具体系演进过程中面临的问题， 早日完成实现 IT 服务管理模式的转型，从而助力加速企业数字化转型，业务的快速发展， 减少业务快速发展在 IT 侧形成的阻力，同时解放释放 IT 人力。 杭州飞致云信息科技有限公司

接入服务 业务 服务框架 KV/RDS CVM/Docker 接入服务 业务 服务框架 KV/RDS CVM/Docker IEG PCG WXG CDG “烟囱式”的业务支持体系 幸福的烦恼 ⚫ 重复造轮子，每个部门一套轮子 ⚫ 缺乏统一规范，包括开源代码在内 Bug 多 ⚫ 开源文化落后，共享精神差，很多基础框架没有内部开源 ⚫ 技术支持不足，文档陈旧 ⚫ 数 K8S（TKE）+业务画像 K8S（TKE） ⚫ 云原生计算基金会（CNCF），2015年由谷歌牵头成立，第一个毕业的项目Kubernetes。 ⚫ 在云上生长的应用，不是一个产品，而是一套技术体系和一套方法论。 ⚫ 包括DevOps、持续集成（CI）、持续交付（CD）、微服务、云基础设施（IaaS）、容器（K8S）、12要素等几大主题。 腾讯云容器服务（Tencent Kubernetes 网络资源 ……. Kubernetes多集群管理 Cluster1 Cluster2 ……. 应用服务管理 集群监控 集群日志 集群告警 基础设施监控 基础设施日志 基础设施告警 管理体系 业务管理 用户体系 权限 审计 安全 资源调度 服务监控 服务告警 远程日志 自动扩缩容 负载均衡 服务发现 CI/CD 蓝盾 OCI QCI 镜像仓库 CSIGHUB

⽀持对资产操作的录像进⾏回放审计；⽀持将审计录像上传⾄公有云； 命令审计 ⽀持对资产操作的命令进⾏审计；⽀持⾼危命令告警； ⽂件传输 ⽀持对⽂件的上传 / 下载记录进⾏审计； 实时监控 ⽀持管理员 / 审计员实时监控⽤户的操作⾏为，并可进⾏实时终断，以提升⽤户操作的安全性； 登录⽇志 ⽀持对⽤户的登录⾏为进⾏审计；⽀持将审计信息同步⾄ Syslog ⽇志系统； 操作⽇志 ⽀持对⽤户的操作⾏为进⾏审计； 活动⽇志 ⽀持按照时间线记录每⼀种资源的活动⽇志； 其他 Other 资产同步（X-Pack） ⽀持对公有云、私有云资产的⾃动同步；⽀持对局域⽹内资产的⾃动发现； 远程应⽤ 全新的远程应⽤设计体系，⽀持⾃动管理远程应⽤（MySQL Workbench8、Navicat Premium 16 (X-Pack) ）和⼀键部署远程应⽤发布机； 作业中⼼ ⽀持对批量资产执⾏快捷命令、命令脚本以及 Playbook X-Pack X-Pack JumpServer 提供的特⾊功能 体验极佳的 Web Terminal ⼴泛类型 资产⽀持 超⼤规模 分布式资产⽀持 ⽀持审计录像 的云端存储 内置多租户体系 软件 / 硬件 灵活选择 体验极佳的 Web Terminal Linux Web Terminal Windows Web Terminal - 兼容纯浏览器和传统终端的访问模式 - 特⾊功能

安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 部署生产环境 xN 部署 / 灰度上线 xN 监控 / 告警 xN 版本归档 xN 交付追踪 xN 数据度量 xN 服务、工单管理 事件、缺陷管理 想 法 用 户 运行阶段 需求阶段 研发阶段 现代软件交付挑战：开发 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 低人效 / 低质量 / 低效率 / 高成 本： 人淹没在系统的海洋里，无数平台手工切换 高人效 / 高质量 / 高效率 / 低成 字决策 人工低效操作减少 80% 构建资源利用率提升 60% 业务资源利用率提升 30% 统一治理内部规范，开发 自助上线；解放运维，工 作重心向业务稳定性保 障，建设平台工程体系 研发 研发时间被大量占用： • 本地开发环境难模拟 • 多业务联调艰难，诊断耗时多 • 出现问题诊断耗时多 • 流程割裂协作痛苦，响应慢 调试自测免打扰：本地 / 子环境免打扰，独立完成验证工作

自动化测试 xN 性能测试 xN 安全测试 xN 数据变更 xN 代码变更 xN 配置变更 xN 部署测试环境 xN 部署预发环境 xN 部署生产环境 xN 部署/灰度上线 xN 监控/告警 xN 版本归档 xN 交付追踪 xN 数据度量 xN 服务、工单管理 事件、缺陷管理 想 法 用 户 运行阶段 需求阶段 研发阶段 现代软件交付挑战：开发 5 分钟，上线 2 采用「云原生产品级交付」设计理念 数字化产研协同 • 环境 - 统一开发者协作平面 • 工作流 - 统一交付变更通道 • 异构支持 - 统一产研运管理平面 重视开发者体验，工程师不再做脏活累活 传统 DevOps 体系 Zadig 云原生 DevOps 平台 高人效 低人效 低人效/低质量/低效率/高成本： 人淹没在系统的海洋里，无数平台手工切换 高人效/高质量/高效率/低成本： 人在系统之外/上，复杂性下沉到单一平台 价值清晰呈现：为管理者提供全视角效能数据，赋能数字决策 人工低效操作减少 80% 构建资源利用率提升 60% 业务资源利用率提升 30% 统一治理内部规范，开发 自助上线；解放运维，工 作重心向业务稳定性保障， 建设平台工程体系 研发 研发时间被大量占用： • 本地开发环境难模拟 • 多业务联调艰难，诊断耗时多 • 出现问题诊断耗时多 • 流程割裂协作痛苦，响应慢 调试自测免打扰：本地/子环境免打扰，独立完成验证工作

多维下钻分析 • 关联事件分析 • 容量预估分析 解决问题 • 扩容 • 决策 • 调度 • 优化 智能运维学件库 • 可重用 • 可演进 • 可了解 智能运维学件库 智能运维能力框架体系 AIOps 团队角色划分 01 智能运维场景描述 整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的研究方向 展望未来 模型管理：提供模型训练，预测功能。 腾讯 Metis 智能监控的功能特性（http://github.com/Tencent/Metis） 腾讯 Metis 智能监控的页面 单维时间序列分析 01 智能运维场景描述 整体介绍 02 单维时间序列分析 异常检测 03 多维时间序列分析 多维下钻 目录 04 Metis 的未来规划 展望未来 业务埋点 收集数据 监控系统 指标展示 多维数据

HorizonCD 云音乐在GitOps CD领域的最佳实践 朱旭 网易云音乐 云原生开发工程师 目 录 背景 01 Horizon模板体系 02 GitOps最佳实践 03 Horizon产品介绍 04 Horizon落地 05 背景 第一部分 背景 云主机时代的痛点 2020年，云音乐开始容器化转型 效率 低下 计算 焦虑 运维 繁琐 成本 高昂 背景 Chart的理念 如何屏蔽 k8s 复杂性？ 屏蔽大部分细节，将少量配置开放给 使用者 集中了应用依赖的各种 资源 helm chart不足： • 面向开发者，对普通用户不友好 Horizon模板体系 第二部分 ├── Chart.yaml ├── README.md ├── schema ## 定义各种上层用户可理解的输入（支持前端自动渲染）

............................................................................................23 七、 监控服务................................................................................................. .........................................29 杭州飞致云信息科技有限公司 4 一、概述 本手册包含了云管理平台的软件架构、部署升级、服务操作、日志、监控、备份等详细 说明。CloudExplorer 云管平台采用微服务架构设计，通过本手册能快速了解 CloudExplorer 云管理平台的基础组件构成这样更方便以后在系统运维中更方便的去排查 CloudExplorer 基于 Prometheus 实现监控和告警功能 Redis 提供缓存服务 ElasticSearch 提供日志存储服务，可配置使用外部 ES 服务 Keycloak 提供 IDP 服务，用户统一认证中心，可以配置 SSO，或者对接 LDAP RabbitMQ 消息队列服务 杭州飞致云信息科技有限公司 5 InfluxDB 时序数据库服务，监控数据统计 2.1.2 基础模块 CloudExplorer

& 微服务的架构和研发 2019 腾讯云 Serverless 产品架构师 核心诉求 Application Application Architecture 开发工具 DevOps 日志 监控告警 Lifecycle Management 网络 计算 存储 数据库 System Resource Monolithic Sprint Cloud Coding VScode EFK 功能 ❑ 函数增删改查 ❑ 调试 ❑ 打包部署 ❑ 日志 ❑ … DevOps 解决方案 Coding DevOps Serverless 平台 日志 CLS 日志服务 监控告警 Cmonitor 云监控告警 Serverless 系统运维能力 ❑mvm: 租户级别最强隔离，更低的延时 ❑ docker: 进程级别隔离 ❑ 更细粒度的资源分配，更低的成本 ❑ 实时计算扩缩容 process … Function Memory CPU Network Serverless 用户 云厂商 Serverless vs. IaaS 运维能力对比 资源创建 业务部署 监控告警 故障排查 性能调优 安全保障 弹性扩缩 故障恢复 基本运维能力 核心运维能力 Serverless vs. IaaS 运维能力 资源创建 - IaaS 2~3 周 ？ 运维部门