高效，稳定，可扩展 9 2017 Lenovo Internal. All rights reserved. 企业级容器云设计与思考 • 技术的抉择 Console 前端 Console 后端 Router Builder 用户界面 后端Restful API 路由 API Gateway 镜像构建 10 2017 Lenovo Internal. All rights reserved 多集群统一管理，无需切换平台系统 统一用户体验 11 2017 Lenovo Internal. All rights reserved. 容器云设计--多集群支持的容器云 • 多集群，一平台 Router1 Router2 K8S-2 K8S-1 Console Front End Console Back End Registry Dev/Ops/Admin End User Builder All rights reserved. 容器云设计—网络和路由 • 网络方案及路由设计—简单，低侵入 Router K8S Service Pod Pod DNS app01.xpaas.lenovo.com Flannel网络 *.xpaas.lenovo.com Router IP Console Create Service app01 User Dev/Ops 13

载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes 6 不部署源代码，并且不 ReplicationController # 定义⼀个RC metadata: name: mysql # RC名称，全局唯⼀ spec: replicas: 1 selector: app: mysql # RC的POD标签选择器，即：监控和管理拥有这些标签的PO # 指定该POD的标签 app: mysql # POD副本拥有的标签，需要与RC的selector⼀致 spec: containers: - name: mysql image: mysql ports: - containerPort:

NSX b) Creates a logical switch c) Creates a T1 router and attaches it to the pre-configured global T0 router d) Creates a router port on the T1 router, attaches it to the LS, and assigns an IP from

想要的网络方案 •全网能够互通 •简单能掌控 •后续能定制 •尽量减少链路时延 琳琅满目的网络方案 •Flannel •Calico •Cilium •Kube-Router •Macvlan •… (剩余几十个) 方案一：Flannel网络方案 基础网络IP可达就可用，适用性高，有一定网络延迟 方案二：Calico网络方案 基于BGP做动态路由

ingress operator service pod proxy proxy(envoy) pod helloworld-v1 helloworld-v2 pod listener router gateway: proxy virtualservice: proxy cluster destinationrule:
 proxy-helloworld 10 90

StorageClass、Namespace 和 pvc 资源 �. 部署MySQL容器组 �. 部署WordPress容器组 �. 配置 Haproxy 负载均衡 �. 访问 WordPress ⽅法⼆：Ingress 外⽹访问 WordPress 配置⽅法 �. 创建 Namespace 和 PVC 资源 �. 部署MySQL容器组 �. 部署WordPress容器组 �. 创建 Service 设置应⽤名称、集群 、命名空间、副本数量（即应⽤包含的 Pod 数量）、标签和注解。然后单击 下⼀步进⼊容器配置⻚⾯ c) 设置容器配置 i. 基本配置 镜像名称：填写所⽤镜像名称，本例中为mysql。格式为domain/imagename。 镜像版本：填写所需镜像版本，本例中为5.7。如不指定，默认为latest。 最⼩申请：为该应⽤所需最⼩资源额度，包括 CPU 和内存两种资源。该资源由容器独占，以 点击伸缩，可修改当前应⽤的副本数量。 点击编辑，可修改该应⽤的yaml⽂件。 43 点击移除，可删除该应⽤ 进⼊master节点控制台，可查看创建成功的mysql应⽤ 44 查看容器组（应⽤->容器组） 该⻚⾯可以看到集群对应命名空间下的Pod 点击详情，可以查看该容器的详情 45

DevOps Operator DevOps Service DevOps Manager CronJob k8s API MySQL k8s API MySQL MySQL • Pipeline configuration and history in MySQL • Logging in central logging service - ElasticSearch • Metric Operator Design BuildJob DevOps Operator Job Job Job Job BuildJob BuildJob BuildJob MySQL MySQL MySQL DevOps Service DevOps Service DevOps Manager Create job Update jobs status to buildjob Submit

• 调试信息 • 错误定位 问题：每种开源组件的配置、调用方式、debug方式、记录日志方式都不一样 微服务的开发阶段 问题：gRPC未设置连接错误，阻塞模式报错不正确 Redis、MySQL连接数配置未设置？超时未设置？ 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 • 展示各种组件gRPC、HTTP、MySQL、Redis、Kafka调试信息 • 六元组（配置名、请求URL、请求参数、响应数据、耗时时间、执行行号） • 响应数据结构是否正确 • 响应是否有错误 微服务的开发阶段 • 遵循Fail 业务人员只需要填写红框内容的断言内容，就可以完成单元测试 微服务的测试阶段 测试类型 工具生成测试用例 简单高效做单元测试 • gitlab.yaml or docker-compose.yaml • 构建MySQL、Redis • 创建表 ./app --job=install • 初始化数据 ./app --job=initialize • 单元测试 go test ./... 单元测试大部分的玩法，都是在做解除依赖

一期方案存在的问题与挑战 ‣ 如何实现线下多环境 • 一键拉起环境 注意点 • 数据建设依赖于规划 • 数据如何切分 原理 • 所有镜像自动生成 • 一键master镜像部署 1. 注册中心 2. Mysql Redis ES 3. 全链路微服务 4. 自动数据同步 • 一期多环境平台架构图 CDN / LB / WAF / NG K8S集群 namespace1 namespace… namespaceN 基础服务数据库 … … … • 多环境资源互不影响 微服务 • 全链路服务全部属 • 注册中心独立部署 流量隔离 • 多域名，泛域名解析匹配 数据 • 全量同步线上脱敏数据 • Mysql redis ES 全搭建 • 数据全部物理隔离 发布平台 • 按需分支发布 • 多环境完全并行 • 一期方案的问题与挑战 1 2 3 多环境资源“假”隔离 Namespace隔离，共享资源 负载均衡 Ribbon Gateway 负载均衡 Ribbon 负载均衡 Ribbon Axxx Hxxx Eureka Eureka 注册 注册 Redis ES Mysql • 多云多K8S多环境的挑战 挑战 多云发布一致性 1 跨云数据同步保证 2 多环境一套模板适配性 3 多K8S的监控 4 • 基于Istio的智能路由 Istio层 IstioIngressGateway

上 • 一个集群多个部门多个组 织共同使用 • 相互安全隔离 • 支持共享与协作 • 20 秒启动高可用 mysql/pgsql/mongo/redis 数据 库 • 写代码像写博客一样简单 • AI 自动编码，毫秒级上线，0 运 维 数据库管理 mysql/pgsql/mongo/ redis 等多种数据库 数据库多主架构高 可用 数据库备份恢复， 故障自愈 数据库管理工具， Other Applications Kubernetes User APP User APP User APP Application manager KB controller Mysql/pgsql/mongo CNI CRI CSI DNS Backup Restore 交付类场景 01 整个集群或者分布式应用整 体打包，一键交付 标准化交付产物，而不是靠 操作文档协作