Kubernetes全栈容器技术剖析 陈弘 华为云PaaS解决方案架构师 3 华为云应用服务：让企业应用上云更简单，运行更高效 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 开源原生 商业增强：控制面HA、跨AZ高可用、滚动升级、裸金属容器 云容器引擎 CCE 微服务引擎 CSE 开源原生 企业级 中间件 分布式 缓存 DCS FunctionGraph 4 什么是容器技术？ • 对比虚机的优势： • 通过共享操作系统内核，细粒度资源隔离。（降低资源成本） • 定义了环境无关的标准的交付、部署规范（提高交付效率） • 秒级快速启动和停止（适合敏捷扩缩容场景） • 一台ECS实例/物理机上可以运行多个容器。 • 容器在业界的默认标准是Docker，定义容器标 准的组织是OCI。 容器技术是一种轻量级的操作系统虚拟化方案， 容器编排引擎提供资源的管理和容器的调度技术，提供容器应用生命周期管理、弹性伸缩、监控运维的基本机制，决定容器 之间如何进行交互。 • Kubernetes（简称K8S）是主流的容器编排部署管理平台。它基于Google Borg商用系统开发，具有轻量级，可移植性，高 灵活性等特点。 • CNCF是围绕Kubernetes构建容器软件全栈的基金会组织，提供Kubernetes和周边软件的技术孵化和服务提供商资质认证

针对当今科技领域发展的前沿指南 技术雷达 第 29 期 | 2023 年 9 月 © Thoughtworks, Inc. All Rights Reserved. 2 关于技术雷达 3 雷达一览 4 贡献者 5 本期主题 6 本期雷达 8 技术 11 平台 19 工具 25 语言和框架 36 Thoughtworks 技术雷达 © Thoughtworks Thoughtworks 技术雷达 关于技术雷达 Thoughtworker 酷爱技术。我们致力于建造技 术，研究技术，测试技术，开源技术，书写技术， 并不断改进技术。支持卓越软件并掀起 IT 革命是 我们的使命，Thoughtworks 技术雷达就是为了 完成这一使命。它由 Thoughtworks 中一群资深 技术领导组成的技术顾问委员会，通过定期讨论 Thoughtworks 的全球技术战略以及对行业有重 大影响的技术趋势而创建。 技术雷达以独特的形式记录技术顾问委员会的讨 论结果，从首席技术官到开发人员，雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 节。技术雷达的本质是图形性质，把各种技术项目 归类为技术、工具、平台和语言和框架。如果技术 可以被归类到多个象限，我们选择看起来最合适的 一个。我们还进一步将这些技术分为四个环以反映

为什么纯粹的eBPF方法不行 • 不够成熟 eBPF 简介 • 编写eBPF程序 • 编译成eBPF中间代码 • 注入内核 • 挂载到network traffic control • 报文激发eBPF代码 技术创新点一 • IPVS 对conntrack的功能依赖 • Iptables SNAT • 具体如何绕过conntrack？ • 进报文 • 将处理请求的钩子从nf local-in 前移到nf NF postrouting -> ip_finish_output • 修改成： • 对kenel 做了hack，直接访问ip_finish_output IPVS 绕过conntrack 技术创新点二 • 在linux traffic control上挂一段eBPF 代码，在网卡出报文之前做SNAT • 尽量将大部分代码放在eBPF中，方便升级和维护。 • eBPF loader 创建eBPF centos • 独立开源 • 内核修改在github.com/Tencent/TencentOS-kernel/ THANK YOU 感谢聆听 Jianmingfan 腾讯云 了解更多云原生技术和动态，请关注腾讯云原生公众号

多语言微服务 API管理 服务压测 分布式事务 分布式调度 API网关 服务注册发现 负载均衡 服务配置 无损下线 服务容错 服务路由 服务鉴权 限流降级 服务元数据 服务测试 服务mock 持续集成 IDE插件 应用监控 链路追踪 日志管理 应用诊断 微服务架构总览 https://www.jetbrains.com/lp/devecosystem-2019/java/ 2018

Chi , Kai Chen 今日话题 项目背景 1 产品与技术详情 3 建设思路与整体方案 2 今⽇话题 数据 技术 应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 技术 应⽤ 数据 • 标准不统⼀ • 重复录⼊ • 数据不⼀致… 技术平台 • 规范不⼀致 • 组件不复⽤ • 集成共享难… 应⽤ • 功能单⼀ • 管理型居多 • 适应性不⾜… 应⽤独⽴，难协同 • ⼀体化应⽤，不⽀持 • 需求响应效率低… 业务信息系统现状 容器平台 DevOps 微服务治理 统一技术平台 上游全业务链数据 数据治理 统一数据湖 勘探生产管理 通用应用 开发生产管理 协同研究 经营管理与决策 总体架构 项目背景 1 产品与技术详情 3 建设思路与整体方案 2 今⽇话题 租户体系 DEVOPS 微服务 容器平台 安全管理 瑞道容器云平台 迭代需求列表 工作件 迭代1 迭代2 迭代3 迭代n 2.应用设计 3.开发 4.测试 1.需求分析 6.运维 5.发布 7.迭代回顾 系统总体架构 设计 系统总体架构 系统原型 持续集成 测试报告 版本发布 评审 产品立项 评审 迭代启动 评审 产品立项报告 实践 相关规范：《敏捷开发过程指南》 规范指南设计 规范与指南 GIT分⽀管理规范 4+1共5个分⽀，每个

、稳定的体验，支持异构云、边 缘云和多云编排。 DCE 5.0 集成了最新的服务网格和微服务技术，能够跟踪每 一个流量的生发始终， 帮助您洞察集群、节点、应用和服务的详细指标，并通 过动态仪表盘和拓扑大图可视化掌握应用健康状态。 DCE 5.0 原生支持 DevOps 开发运维模式，可以实现应用交付的全流程标准化 和自动化，并集成各类精选数据库和中间件，使运维治理更加高效。各个产品 模块独立解 DaoCloud 第 4 页 九大能力 DCE 5.0 云原生操作系统提供了 9 大能力，自由搭配各种模块，可以应对海量 应用场景。 这些模块就像乐高搭积木一样，糅合社区最优秀的几十种开源技术，经过众多 辩证选型、攻坚克难、编码调试、海量测试，“十年磨一剑，一朝试锋芒，全新 搭建的新一代容器化平台能够满足企业上云的各类场景需求。 多云编排 支持多云和混合云的统一集中管理，提供跨云资源检索及跨云的应用部署、发布和运 eBPF 网格加速技术，全面提高流量转发效 率。 涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实 现所有集群及负载观测数据的查询，引入拓扑分析技术可视化掌握应用健康状态，实

Zhang zhangxin@caicloud.io tangjiyuan@caicloud.io 关于我们 • 开源技术创新者 • 从 Kubernetes 到 Kubeflow • Google 原生 Borg 容器团队 • CMU 校友与世界金牌、冠军 • 中国技术社区引领者 • Kubernetes 中文官网组织者 • github.com/kubernetes/kubernetes-docs-cn 基于云的开放式物联网操作系统，实现全 面的系统集成和数据融合，打破数据孤岛 Mindsphere平台 德国联邦政府支持相关行业协会建设工业4.0平台，负 责工业4.0国家战略的宣传推广，标准制定，人才培养 和技术研发。 以工业大数据为驱动，以云计算，大数据， 物联网技术为核心的工业互联网开放平台， 实现产品，机器，数据，人的全面互联互 通和综合集成 INDICS平台 根云平台 COSMOPlat平台 互联网类应用：顺逛，海尔商 城，巨商会，海尔服务，好空 气，海尔洗衣机，海尔优家， 嗨付，够花 • 应用：统一架构模型，统一服 务总线 • 体系：用户体系，产品体系， 流程体系 • 管理：服务集成，统一管理 应用互联互通 应用形态复杂 • KPI: 峰值CPU利用率不低 于30% • 资源申请：按峰值30%进 行申请 • 峰值：1000TPS, 平时： 100TPS • 做自己擅长的事情，合作

xiaoqin@caicloud.io VP of R&D 提纲 构建集群与管理理资源 - 73s 视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用（机器器学习） - 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』，多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • ansible 管理理镜像仓库 • Cargo （内部项⽬目）- ⽣生产级镜像仓库解决⽅方案，基于 • ⼀一键⾼高可⽤用部署和维护 • 为多租户和复杂权限集成⽽而增强 『token service』 • 管理理基于规则的镜像仓库 quota Service Config group … k8s objects Application template ⽤用户场景 - OPENSTACK 租户集成 • 企业真实场景 - 集成旧系 统，并⾏行行跑业务。 • 资源对照表 • Tenant 与 Project • Namespace 与 Network(Neutron) • Service/Ingress

安全性：更小的Attack Surface Ø 易于提供有状态服务 Ø 传统应用容易迁移 Ø Windows应用容易迁移 Ø 易于部署单体应用 Ø 用于桌面云 Ø 多服务单服务器部署 云平台技术的选择 云平台技术选型 容器编排系统的选择 ——Kubernetes的优势 vs. Mesos and Swarm Ø 来自Google的简单一致的设计理念 Ø 原生为容器集群打造 Service：服务入口，由Kube-proxy支持负载均衡 Ø 原生负载均衡，高可用方案 Kubernetes所支持的存储卷类型 Kubernetes最新支持的资源类型 OpenStack和K8s的集成系统 支持跨IaaS部署K8s集群 网络集成方案的演变 IaaS层的物理网络架构 Management VLAN 覆盖网络（Overlay） Flannel 利用路由协议的SDN 方案——calico Kuryr 一个Docker远程驱动 网络集成方案比较 可以排除的组合 网络集成方案比较 可行方案 IaaS层网络 PaaS层网络 适用场景 Calico Kuryr 不需要多租户隔离，大量使用容器技术，对性能 要求很高 Overlay Kuryr 需要多租户隔离，需要统一管理容器网络和虚拟 机网络，将容器用作轻量级虚拟机，对性能要求