云+社区技术沙龙 腾讯云提高K8S集群资源利用率实践 庄鹏锐 腾讯云高级工程师 资源利用率分析 Node节点资源碎片 Pod Resource（requests）配置不合理 WorkLoad/HPA 副本数设置不合理 业务空闲时间 解决方案 Pod 压缩 Node 超卖 HPA VPA 动态 调度 碎片 处理 Pod 资源压缩 • MutatingAdmission

....................... 176 7.4.4 添加 Tomcat9 非集群产品...........................................................................186 7.4.5 添加 MySQL5.7 主从集群产品............................................. 超融合基础架构（Hyper Converged Infrastructure，或简称“HCI”） 是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等 资源和技术，而且还包括备份软件、快照技术、重复数据删除、在线数据 压缩等元素，而多套单元设备可以通过网络聚合起来，实现模块化的无缝 横向扩展（scale-out），形成统一的资源池。比较知名常见的超融合平台 有 Nutanix、戴尔的 VxRail，国内的 资源池用于定义限制资源部署分配的范围，比如哪个云平台资源池下、哪 个网络子网、哪个集群、哪些宿主机、哪些存储器。比如我们按部门分配 范围，一个部门申请的资源都部署到 VMware 资源池 A、集群 Cluster1、 VLAN 200、特定几台宿主机、存储器下，另一个部门申请的资源都部署 到 VMware 资源池 A、集群 Cluster2、VLAN 100 下、特定几台宿主机、 存储器下，可以

.................................................................................. 23 3.3 申请中间件数据库集群.........................................................................................26 3.4 克隆虚拟机 .................................................................................52 4.4 查看未挂载磁盘并批量删除..................................................................................54 杭州飞致云信息科技有限公司 .......................................................................................... 55 4.6 删除云磁盘快照..............................................................................................

项目的生命周期的环节场景 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 16 表 2: 支持场景列表 场景 子场景 是否支持 运行环境服务 虚拟机申请部署、变更 (单机、批量、集群、定时执行、克隆) 支持 磁盘申请部署、变更，快照创建及管理 支持 虚拟机申请时指定安全组、弹性 IP、负载均衡 支持 虚拟机部署后初始化操作系统环境、部署安全基线 支持 虚拟机部署后自动部署中间件数据库 公有云私有云安全组实例生命周期创建、变更、删除 支持 公有云私有云弹性 IP 实例生命周期创建、绑定、解绑、释放 支持 公有云私有云 RDS 实例生命周期创建、配置变更、回收 支持 公有云 Redis 实例生命周期创建、配置变更、回收 支持 公有云私有云负载均衡实例部署、变更、回收 支持 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会 17 公有云对象存储桶新建、变更、回收，对象文件上传下载删除 支持 申请方式支持大批量不同配置虚拟机方便申请部署场景，类似 Excel 复制行修改请 求参数方式。这个在开发团队规模较大，申请虚拟机数量比较多的企业中非常有用，比如银 行。 5）服务目录产品支持单机、批量多机、以及中间件数据库集群部署、由多个虚拟机组 成的运行环境部署等。在管理侧还可以按需提供 CI CD 工具、运维工具等产品供选择部署 使用。可向管理员提申请要求。 杭州飞致云信息科技有限公司 软件用起来才有价值，才有改进的机会

账单中心（billing-center） 按组织及工作空间的计 工单中心（ticket-center） 工单系统量计费 虚拟机服务（vm-service） 虚机自服务及运营 容器云集群服务（container-service） 容器云集群服务 运营分析（operation-analytics） IT 容量管理、趋势分析、健康分析、优化 大屏（screen-display） 可视化大屏，实时展示云管平台各项关键数据 CloudExplorer Web 服务端口 开放给负载均衡层对接 杭州飞致云信息科技有限公司 10 7600/8080 CloudExplorer IdP 服务端口 idP 服务端口 8080，集群高可用 端口 7600 9090 Prometheus 服务端口 监控使用 9091 Prometheus pushgateway 服务端 口 监控使用 9093 Prometheus alertmanager 杭州飞致云信息科技有限公司 18  应用登录成功 4.5 扩展模块部署 注：扩展模块的文件包目录为：/opt/installer/extensions，即整包的解包目录，注意解压后 不要删除扩展模块文件。 f2cctl install-module [FILE] 部署安装 FIT2CLOUD 模块 示例：f2cctl install-module oss-service-2.0.0

第 1 章 什么是 GITOPS？ GitOps 是为云原生应用程序实施持续部署的一种声明方式。您可以使用 GitOps 创建可重复进程，用于在 多集群 Kubernetes 环境间管理 OpenShift Container Platform 集群和应用程序。GitOps 以快速的速度处 理和自动化复杂部署，节省部署和发行周期期间的时间。 GitOps 工作流通过开发、测试、临时和生产环境来推送应用程序。GitOps GitOps 将基础架构和应用程序定义定义为代码。然后，它会使用此代码来管理多个工作区和集群来简化 基础架构和应用程序配置的创建过程。根据代码原则，您可以在 Git 存储库中存储集群和应用程序的配 置，然后按照 Git 工作流将这些存储库应用到所选集群中。您可以将在 Git 存储库中开发和维护软件的核 心原则应用到创建和管理集群和应用程序配置文件。 第 第 1 章 章 什么是 什么是 GITOPS？ ？ OpenShift GitOps 是一个使用 Argo CD 作为声明性 GitOps 引擎的 Operator。它启用了多集群 OpenShift 和 Kubernetes 基础架构的 GitOps 工作流。使用 Red Hat OpenShift GitOps，管理员可以在 集群和开发生命周期中一致地配置和部署基于 Kubernetes 的基础架构和应用程序。Red Hat OpenShift GitOps

YAML/Chart 模板管理数百微服务 • 每个技术栈抽象一套构建模板 • 运维统一工作流规范，开发自主使用 • 跨多项目复用模板 扫码查看易快报案例 强大免运维的模板库 • 系统纬度：集群、项目、服务、环境、工作流 • 项目纬度：构建、测试、部署， DevOps 指标 • 迭代纬度：需求到发布效率、质量分析 • 效能度量：耗时分析、通过率统计、趋势分析 客观精准的效能洞察 • 师管理发布流程和基础设施，导 致资源浪费和效率低下 Zadig 平台工程模式 工程规模数据： • 1500+ 产研工程师 Vs. 2 人运维 • 50 + 个 Kubernetes 全球集群 • 300+ 个数字产品（资产沉淀） • 1600+ 条自动化工作流（全域） • 900+ 个服务化运行环境 通过整合业务、产品、研发、运维等角色端到端的协作过程，打造出提升研发效能的一站式研发协作平台。 在 Rancher 上手动替换版本 3. 不透明的测试环境导致大量问题 4. 为每一次部署维护一个 Chart 版本 现状 效能提升场景： 2K+ 微服务、多语言、 Helm 、 K8s 多集群 1. 开发流程 提交代码到 Feature 分支 -> GitLab-CI 自动构建打包 Chart （写一堆复杂 的脚本 ） -> -> Rancher 上手动替换

一套YAML/Chart 模板管理数百微服务 • 每个技术栈抽象一套构建模板 • 运维统一工作流规范，开发自主使用 • 跨多项目复用模板 扫码查看易快报案例 强大免运维的模板库 • 系统纬度：集群、项目、服务、环境、工作流 • 项目纬度：构建、测试、部署，DevOps 指标 • 迭代纬度：需求到发布效率、质量分析 • 效能度量：耗时分析、通过率统计、趋势分析 客观精准的效能洞察 • 师管理发布流程和基础设施，导 致资源浪费和效率低下 Zadig 平台工程模式 工程规模数据： • 1500+ 产研工程师 Vs. 2 人运维 • 50 + 个 Kubernetes 全球集群 • 300+ 个数字产品（资产沉淀） • 1600+ 条自动化工作流（全域） • 900+ 个服务化运行环境 通过整合业务、产品、研发、运维等角色端到端的协作过程，打造出提升研发效能的一站式研发协作平台。 维护大量复杂的脚本 2. 在 Rancher 上手动替换版本 3. 不透明的测试环境导致大量问题 4. 为每一次部署维护一个Chart 版本 现状 效能提升场景：2K+微服务、多语言、Helm、K8s 多集群 1. 开发流程 提交代码到 Feature 分支 -> GitLab-CI 自动构建打包 Chart （写一堆复杂的 脚本 ）-> -> Rancher 上手动替换 Helm Chart 版本

接入服务、逻辑服务、数据存储、文件存储 混合云过度到全量公有云 服务调用质量、用户访问质量、 服务可用率 数据上公有云 • 冷迁移+增量 •同步中心数据同步 •切换过程停写 私有组件迁移上云 • 云上部署服务集群 •自行维护和迭代 •同步中心或主备 •业务切路由切换服务 兼容公有云 • DTS自助热迁移 •增量完成后切换读写 •VIP或DNS寻址 数据库搬迁上云方式 接入层与应用层切换上云 Engine ，TKE） TKE 腾讯云(IAAS) 基础服务 计算资源（CVM） 存储资源（CBS） 网络资源 ……. Kubernetes多集群管理 Cluster1 Cluster2 ……. 应用服务管理 集群监控 集群日志 集群告警 基础设施监控 基础设施日志 基础设施告警 管理体系 业务管理 用户体系 权限 审计 安全 资源调度 服务监控 服务告警 DockerImage Docker Hub 跨地域、跨集群部署 分批灰度升级 测试、预发布、生产 容器登录 容器权限同步 PAAS服务支持 数据库 消息中间件 大数据 TKE应用适配 •基于业务维度管理 •关联CMDB •基于业务维度鉴权 业务管理 •使用Ipamd •采用弹性网卡 •实现Pod IP跨集群访问 网络 •支持CLB •支持L5/CMLB •支持VIP

GitOps Operator 创建的 control plane 工作负载，包括此命名空间中的默认 Argo CD 实例。 使用 GitOps control plane 工作负载，您可以通过在集群中创建多个隔离的 Argo CD 实例来安全地并声明 性地隔离基础架构工作负载，并完全控制 Argo CD 实例的功能。另外，您可以在多个开发人员命名空间 中以声明性方式管理这些 Argo CD 实 OpenShift GitOps 安装的 GitOps control plane 工作负载移到基础架构节点。以下是您 可以移动的 control plane 工作负载： kam deployment 集群部署 集群部署（后端服务） openshift-gitops-applicationset-controller 部署 部署 openshift-gitops-dex-server 部署 部署 op OPERATOR POD 移到基础架构节点 您可以将 GitOps Operator pod 移到基础架构节点。 先决条件 先决条件 在集群中安装了 Red Hat OpenShift GitOps Operator。 您可以使用 cluster-admin 权限访问集群。 流程 流程 1. 运行以下命令，将现有节点标记为基础架构节点： $ oc edit gitopsservice -n openshift-gitops