Kubernetes全栈容器技术剖析 陈弘 华为云PaaS解决方案架构师 3 华为云应用服务：让企业应用上云更简单，运行更高效 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 开源原生 商业增强：控制面HA、跨AZ高可用、滚动升级、裸金属容器 云容器引擎 CCE 微服务引擎 CSE 开源原生 企业级 中间件 分布式 缓存 DCS FunctionGraph 4 什么是容器技术？ • 对比虚机的优势： • 通过共享操作系统内核，细粒度资源隔离。（降低资源成本） • 定义了环境无关的标准的交付、部署规范（提高交付效率） • 秒级快速启动和停止（适合敏捷扩缩容场景） • 一台ECS实例/物理机上可以运行多个容器。 • 容器在业界的默认标准是Docker，定义容器标 准的组织是OCI。 容器技术是一种轻量级的操作系统虚拟化方案， 容器编排引擎提供资源的管理和容器的调度技术，提供容器应用生命周期管理、弹性伸缩、监控运维的基本机制，决定容器 之间如何进行交互。 • Kubernetes（简称K8S）是主流的容器编排部署管理平台。它基于Google Borg商用系统开发，具有轻量级，可移植性，高 灵活性等特点。 • CNCF是围绕Kubernetes构建容器软件全栈的基金会组织，提供Kubernetes和周边软件的技术孵化和服务提供商资质认证

针对当今科技领域发展的前沿指南 技术雷达 第 29 期 | 2023 年 9 月 © Thoughtworks, Inc. All Rights Reserved. 2 关于技术雷达 3 雷达一览 4 贡献者 5 本期主题 6 本期雷达 8 技术 11 平台 19 工具 25 语言和框架 36 Thoughtworks 技术雷达 © Thoughtworks Thoughtworks 技术雷达 关于技术雷达 Thoughtworker 酷爱技术。我们致力于建造技 术，研究技术，测试技术，开源技术，书写技术， 并不断改进技术。支持卓越软件并掀起 IT 革命是 我们的使命，Thoughtworks 技术雷达就是为了 完成这一使命。它由 Thoughtworks 中一群资深 技术领导组成的技术顾问委员会，通过定期讨论 Thoughtworks 的全球技术战略以及对行业有重 大影响的技术趋势而创建。 技术雷达以独特的形式记录技术顾问委员会的讨 论结果，从首席技术官到开发人员，雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 节。技术雷达的本质是图形性质，把各种技术项目 归类为技术、工具、平台和语言和框架。如果技术 可以被归类到多个象限，我们选择看起来最合适的 一个。我们还进一步将这些技术分为四个环以反映

为什么纯粹的eBPF方法不行 • 不够成熟 eBPF 简介 • 编写eBPF程序 • 编译成eBPF中间代码 • 注入内核 • 挂载到network traffic control • 报文激发eBPF代码 技术创新点一 • IPVS 对conntrack的功能依赖 • Iptables SNAT • 具体如何绕过conntrack？ • 进报文 • 将处理请求的钩子从nf local-in 前移到nf NF postrouting -> ip_finish_output • 修改成： • 对kenel 做了hack，直接访问ip_finish_output IPVS 绕过conntrack 技术创新点二 • 在linux traffic control上挂一段eBPF 代码，在网卡出报文之前做SNAT • 尽量将大部分代码放在eBPF中，方便升级和维护。 • eBPF loader 创建eBPF centos • 独立开源 • 内核修改在github.com/Tencent/TencentOS-kernel/ THANK YOU 感谢聆听 Jianmingfan 腾讯云 了解更多云原生技术和动态，请关注腾讯云原生公众号

reserved. Amazon Confidential 责任共担模型（续） 用户 IAM 用户数据 平台及应用管理 操作系统, 网络以及网络配置 客户端数据加密 及 数据完整性验证 服务端加密 文件系统和数据 网络流量保护 加密/完整性/身份管理 AWS 端点 基础服务 AWS全球基础架构 AWS IAM 计算 存储 数据库 网络 区域 可用区 边缘节点 由AWS用户管理 HOST AWS IAM 容器 升级 加固 监控 WORKER NODE 配置 升级 加固 监控 NETWORK 配置 VPC 网络策略 路由表 NACLs 数据 网络流量保护 客户端加密 服务端加密 EKS CONTROL PLANE CONTROL PLANE 配置 PRIVATE CONTROL RBAC 策略 © 2019, Amazon Web Services, Inc. Confidential AWS 中国（宁夏）区域由西云数据运营 AWS 中国（北京）区域由光环新网运营 我们希望您喜欢今天的内容！ 也请帮助我们完成反馈问卷。 欲获取关于 AWS 的更多信息和技术内容，可以通过以下方式找到我们： 感谢参加 AWS 在线研讨会 微信订阅号：AWS 云计算（awschina） 新浪微博：https://www.weibo.com/amazonaws/ 领英：https://www

署，扩展，负载均衡， ⽇志和监控。然⽽，Kubernetes并不是⼀个单体，这些默认解决⽅案是可选、可插拔的。 另外Kubernetes不仅仅是⼀个编制系统 。实际上，它消除了编制的需要。编制的技术定义，就是执⾏定义的⼯作流： ⾸先执⾏A，然后B，然后执⾏C。相反，Kubernetes由⼀组独⽴、可组合的控制进程组成，这些控制进程可将当前状 态持续地驱动到所需的状态。 如何从A到C不要紧，集中控制也不需要；这种做法更类似于编排 的承载令牌注⼊到该Pod中。 kubernetes 服务（在所有namespace中）配置了⼀个虚拟IP地址（通过kube-proxy）重 定向到apiserver上的HTTPS端点。 Master组件通过不安全（未加密或验证）端⼝与集群apiserver通信。该端⼝通常仅在Master机器上的localhost接⼝上公 开，以便所有运⾏在同⼀台机器上的Master组件可与集群的apiserver进⾏通信。 随着时间的推移，Master组件将被迁 从apiserver到Node、Pod或Service的连接默认为纯HTTP连接，因此不会被认证或加密。可通过将 https: 前缀添加到 到API URL中的Node、Pod、Service名称，从⽽运⾏安全的HTTPS连接，但不会验证HTTPS端点提供的证书，也不会 提供客户端凭据——因此，尽管连接将被加密，它不会提供任何诚信保证。这些连接在不受信任/公共⽹络上运⾏并不 安全。 SSH隧道

解決方案：CipherTrust Transparent Encryption for Kubernetes CipherTrust Transparent Encryption for Kubernetes 提供用於加密、存取控制和資料存取日誌記錄的容器內核 功能，使企業能夠對Kubernetes 環境中的資料建立堅實 穩固的防護。 透過 CipherTrust Transparent Encrypton 的擴 Transparent Encryption 的這 項擴充，解決了保護機敏資料的合規要求與法規命令， 例如支付卡、健康照護紀錄或者其他機敏資產。 • 防止受到特權用戶的威脅 - 該解決方案提供資料存取控 制的加密，讓特權用戶如 Docker 或 OpenShift等群組 管理員，能夠像一般用戶執行操作，不會獲得未經授權 的機敏資料存取。 • 實現強大的安全性 - 無論容器在資料中心、虛擬環 境、甚至是雲端 Transparent Encryption，讓資安團隊得以在容器內建 立資安控制。憑藉這項擴充，您能按照每個容器的狀態 一一施行加密、存取控制以及資料存取紀錄。加密可以 應用在容器端本地產生並儲存的資料，以及藉由網路檔 案系統搭載在容器內的資料。 • 可擴充的透明加密 - 無需對應用程式、容器或基礎 架構進行任何變更下，提供資料安全控制。允許對 Kubernetes叢集內的所有容器施行單一政策，或是對

憑證，獲得用戶端憑證公開金鑰，並用該公開金鑰認證憑證資訊，並確認用戶 端是否合法。 (5) 用戶端透過隨機金鑰加密資訊，並發送加密後的資訊給服務端。伺服器端和用 戶端協商好加密方案後，用戶端會產生一個隨機的金鑰，用戶端透過協商好的 加密方案，加密這隨機金鑰，並發送隨機金鑰到伺服器端。 伺服器端接收這 個金鑰後，雙方通訊的所有內容都透過隨機金鑰加密。 通訊（隨機私鑰） 身分認證（憑證） 客戶端 伺服器端 身分認證（憑證）

性，此外也會針對最近的5個Kubernetes版本提供安全性修補，作為擴展安全性維 護計畫(ESM)的一部分。與K8s RBAC, Active Directory及LDAP整合、預設CIS強化、 靜態加密以及無需停機的自動安全性更新可確保使用者獲得高度安全的 Kubernetes 部署。企業也能利用Ubuntu livepatching保護主機作業系統，無需停機，可於系統 執行期間修補 Linux 可協助組織自動化容器建構流 程，確保各個部署之間的一致性及安全性。Red Hat Quay也可搭配使用Clair以掃描整 合的容器登錄檔，並向開發人員通知任何偵測到的漏洞。OpenShift預設具備強大的 加密功能、Kubernetes強化、身分管理及RBAC，而使用者可透過一系列獲得認證的 第三方工具，進一步提升安全性。 Rancher也支援K8 RBAC及遵循CIS Kubernetes基準的最佳實務，此外還提供強大文件，