Virtualization Servers Storage NetWorking PaaS 硬件与虚拟化厂商提供，如果是HCI架构， 作为总体集成方，会降低安全集成成本 可信计算环境：OS安全、TPM加密、TEE可信环境 云原生安全：镜像安全、镜像仓库安全、容器加固隔离、通信零信任 (Istio零信任、Calico零信任、Cilium零信任、WorkLoad鉴权、WorkLoad 间授权等)、De 如UEFI、loader、OS、应用等，可以确保在被入侵 修改时的阻断行为，另外可以将可信启动链的 Hash值上传云端管理，可以做到中心管控验证的 目的。 加密技术 数据的安全生命周期返程三种不同状态：存储中、传输中、使用中，但 是对第三种场景，一直以来缺少保护手段。通过加密技术建立的可信运 行环境TEE（比如IntelSGX，蚂蚁的KubeTEE等）可以保护运行中的数据和 代码，完成了安全闭环。 依赖于硬件和更高阶密码学，可以彻底阻断物理 Mesh零信任 mTLS服务间访问授权，主要针对Pod层WorkLod的访问控制 应用透明，全局管理视角，细粒度安全策略 Check&Report机制影响通信性能，并只涉及到服务 通信级别的安全，对node没有防护 Calico零信任 主要针对Node层的访问控制，可以让攻击者难以横向移动，隔离了风险 应用透明，全局管理视角，细粒度安全策略，针 对Node层面构建安全 采用IpTables，有一定的性能消耗

解決方案：CipherTrust Transparent Encryption for Kubernetes CipherTrust Transparent Encryption for Kubernetes 提供用於加密、存取控制和資料存取日誌記錄的容器內核 功能，使企業能夠對Kubernetes 環境中的資料建立堅實 穩固的防護。 透過 CipherTrust Transparent Encrypton 的擴 Transparent Encryption 的這 項擴充，解決了保護機敏資料的合規要求與法規命令， 例如支付卡、健康照護紀錄或者其他機敏資產。 • 防止受到特權用戶的威脅 - 該解決方案提供資料存取控 制的加密，讓特權用戶如 Docker 或 OpenShift等群組 管理員，能夠像一般用戶執行操作，不會獲得未經授權 的機敏資料存取。 • 實現強大的安全性 - 無論容器在資料中心、虛擬環 境、甚至是雲端 Transparent Encryption，讓資安團隊得以在容器內建 立資安控制。憑藉這項擴充，您能按照每個容器的狀態 一一施行加密、存取控制以及資料存取紀錄。加密可以 應用在容器端本地產生並儲存的資料，以及藉由網路檔 案系統搭載在容器內的資料。 • 可擴充的透明加密 - 無需對應用程式、容器或基礎 架構進行任何變更下，提供資料安全控制。允許對 Kubernetes叢集內的所有容器施行單一政策，或是對

连接建立 传输+保持 通道复用 复合建连 握手优化 短连补偿 智能心跳 数据压缩 质量模型 自动重试 云端补偿 柔性建连 假连淘汰 动态超时 § 终端策略覆盖移动网络难点 § 优化对业务透明 § ROI考虑 好网更快 弱网更好 协议优化 支付宝网络接入层架构示意 § 关键词：动态Hpack + PB + 动态字典 + Zstd通信协议&架构持续升级 多终端&协议接入 架构升级 TLS，国密 服务鉴权 流量控制 TLS，国密 服务鉴权 流量控制蚂蚁金服率先大规模落地SOFAMesh UDPA 安全 统一数据 平面API 存量连接无损迁移 提升5倍发布效率 TLS双向加密 支持国密算法 WAF 流量镜像 多协议 SOFARPC Dubbo HTTP1.1/2 平滑升级 性能 单跳CPU增加5%消耗 0.2ms RT 蚂蚁金服100+应用，10w+容器已经mesh化，部分业务链路通过下沉， 大规模场景下需要面对的资源占用，自动化问题、性能问题，稳定性问题兼容问题 § 不同的应用，部分Mesh化 § 同一个应用，部分Mesh化 § 蚂蚁基础设施适配 § TLS加密链路平滑迁移 Localhost or Iptables 透明劫持和加速大规模问题 10万+实例 动态服务发现 运维 § 对控制平面性能，稳定性带来巨 大挑战 § 单实例数万路由节点，数千路由 规则，不仅占用内存，对路由匹

间）创建不可变的容器镜像，因为每个应⽤程序⽆需与其余的应⽤程序 栈组合，也⽆需与⽣产基础架构环境结合。 在构建/发布期间⽣成容器镜像使得从开发到⽣产都能够保持⼀致的环境。 同样，容器⽐虚拟机更加透明、便于监控和管理——特别是当容器进程的⽣命周期由基础架构管理⽽⾮容器内隐藏的进 程监控程序管理时。 最后，通过在每个容器中使⽤单个应⽤程序的⽅式，管理容器⽆异于管理应⽤程序的部署。 容器好处概要： 解决⽅案进⼊笔者视野： 部署⽅案 优点 缺点 Kubeadm 官⽅出品 部署较麻烦、不够透明 Kubespray 官⽅出品、部署较简单、懂Ansible就能上⼿ 不够透明 RKE 部署较简单、需要花⼀些时间了解RKE的cluster.yml配置 ⽂件 不够透明 ⼿动部署 第三⽅操作⽂ 档 完全透明、可配置、便于理解K8s各组件之间的关系 部署⾮常麻烦，容易出 错 其他诸如Kops之类的 的承载令牌注⼊到该Pod中。 kubernetes 服务（在所有namespace中）配置了⼀个虚拟IP地址（通过kube-proxy）重 定向到apiserver上的HTTPS端点。 Master组件通过不安全（未加密或验证）端⼝与集群apiserver通信。该端⼝通常仅在Master机器上的localhost接⼝上公 开，以便所有运⾏在同⼀台机器上的Master组件可与集群的apiserver进⾏通信。 随着时间的推移，Master组件将被迁

也有各种功能， 每次升级都要重新发布应用 业务进程专注于业务逻辑 SDK 中的大部分功能， 拆解为独立进程， 以 Sidecar 的模式运行 将服务治理能力下沉到基础设施，实现独立演进，透明升级7/39 异构系统统一治理 Part 1： 为什么需要Service Mesh? 多语言、多协议 图片来源：https://www.redhat.com/en/topics/mi 为什么需要Service Mesh? 身份标识/访问控制 Service （client） Sidecar Sidecar Service （server） mTLS 服务鉴权 全链路可信、加密 零信任网络9/39 二、 在当下『路口』的思考10/39 Part 2： 在当下『路口』的思考 云原生方案？ 落地有 gap 图片来源：https://istio.io/d 管控性和可观测性不好23/39 Part 3： 蚂蚁金服的产品实践 平滑迁移 初始状态24/39 Part 3： 蚂蚁金服的产品实践 平滑迁移 透明迁移调用方25/39 Part 3： 蚂蚁金服的产品实践 平滑迁移 透明迁移服务方26/39 Part 3： 蚂蚁金服的产品实践 平滑迁移 终态27/39 Part 3： 蚂蚁金服的产品实践 多协议支持 •

的管理和维护，红帽引入了三个新的生命周期 类别：Platform Aligned, Platform Agnostic, 和 Rolling Stream这些生命周期类别为集群管理员提供了额 外的简易性和透明度，以更好地了解每个 Operator 的生命周期策略，并以可预测的支持界限来计划对集 群进行维护和升级。如需更多信息，请参阅 OpenShift Operator 生命周期。 OpenShift 密库，在 x86_64、ppc64le、s390x 架构上提交给 NIST 的 FIPS 140-2/140-3 Validation。 有关 NIST 验证程序的更多信息，请参阅加密模块验证程序。有关为验证提交的 RHEL 加密库的单独版本 的最新 NIST 状态，请参阅 Compliance Activities 和 Government Standards。 1.2. OPENSHIFT CONTAINER 配置用户定 义的标签。 1.3.2.8. Azure 的机密虚 的机密虚拟 拟机（技 机（技术预览 术预览） ） 您可以在 Azure 上安装集群时启用机密虚拟机。您可以在安装过程中使用机密计算来加密虚拟机客户机状 态存储。这个功能只是一个技术预览，它存在一些已知的问题，这些问题在本文档的已知问题部分列出。 如需更多信息，请参阅 启用机密虚拟机。 1.3.2.9. Azure 的可信 的可信启动

憑證，獲得用戶端憑證公開金鑰，並用該公開金鑰認證憑證資訊，並確認用戶 端是否合法。 (5) 用戶端透過隨機金鑰加密資訊，並發送加密後的資訊給服務端。伺服器端和用 戶端協商好加密方案後，用戶端會產生一個隨機的金鑰，用戶端透過協商好的 加密方案，加密這隨機金鑰，並發送隨機金鑰到伺服器端。 伺服器端接收這 個金鑰後，雙方通訊的所有內容都透過隨機金鑰加密。 通訊（隨機私鑰） 身分認證（憑證） 客戶端 伺服器端 身分認證（憑證） 動作。 2-89 2.5 網路原理 綜合上述，由於 kube-proxy 的作用，在 Service 的呼叫過程中用戶端無須關心後端 有幾個 Pod，中間過程的通訊、負載平衡及故障恢復都是透明的，如圖 2.29 所示。 服務路由訊息透過 watch API Server 取得 透過 iptables 的 DNAT 傳送到 kube-proxy 外部 Client 叢集自動分派服務

. . . . . . . . . . . . . . . . . . . . . 2.6.2. 了解如何创建 secret 2.6.2.1. Secret 创建限制 2.6.2.2. 创建不透明 secret 2.6.2.3. 创建服务帐户令牌 secret 2.6.2.4. 创建基本身份验证 secret 2.6.2.5. 创建 SSH 身份验证 secret 2.6.2.6. 创建 secret 的数据的 的数据的 secret 对 对象。在以下部分中取消每个 象。在以下部分中取消每个 secret 类 类型所需的 型所需的 特定数据。 特定数据。 创 创建不透明 建不透明 secret 的 的 YAML 对 对象示例 象示例 apiVersion: v1 kind: Secret metadata: name: test-secret type: ，创 创建 建许 许多 多较 较小的 小的 secret 也可能会耗尽内存。 也可能会耗尽内存。 2.6.2.2. 创 创建不透明 建不透明 secret 作 作为 为管理 管理员 员，您可以 ，您可以创 创建一个不透明 建一个不透明 secret，它允 ，它允许 许您存 您存储 储包含任意 包含任意值 值的无 的无结构 结构 键 键： ：值对 值对。 。

OpenShift Service Mesh 简介 Red Hat OpenShift Service Mesh 通过在应用程序中创建集中控制点来解决微服务架构中的各种问题。它 在现有分布式应用上添加一个透明层，而无需对应用代码进行任何更改。 微服务架构将企业应用的工作分成模块化服务，从而简化扩展和维护。但是，随着微服务架构上构建的企 业应用的规模和复杂性不断增长，理解和管理变得困难。Service Mesh 增大时，了解和管理它就会变得非常困难。 Red Hat OpenShift Service Mesh 基于开源 Istio 项目，它在不需要修改服务代码的情况下，为现有的分 布式应用程序添加了一个透明的层。您可以在服务中添加对 Red Hat OpenShift Service Mesh 的支持，方 法是将一个特殊的 sidecar 代理服务器部署到用于处理不同微服务之间的所有网络通讯的服务网格中。您 默认情况下，Red Hat OpenShift Service Mesh 中的 mTLS 被启用并设置为 permissive 模式，Service Mesh 中的 sidecar 接受明文流量和使用 mTLS 加密的连接。如果网格中的服务需要与网格外的服务进行 通信，则 strict 模式的 mTLS 可能会破坏这些服务之间的通信。在将工作负载迁移到 Service Mesh 时使 用 permissive

目前常见数据面主要有三种：Envoy、Linkerd、Traefic。Envoy由于高性能和扩展能力前在数据面遥 遥领先。 • Iptables使Pod间出入应用的流量均由Envoy代理，对应用来说完全透明。支持主要常用网路协议 Http1/Http2/Tls/gRPC/Tcp等。 Copyright © Huawei Technologies Co., Ltd. All rights reserved reserved. Page 16 Envoy过滤器架构-常用过滤器 插件名称 工作模式 功能介绍 envoy.listener.tls_inspector 监听过滤器 检测下游连接是否为TLS加密，并且获取ALPN（应用层 协商协议），用于网络层过滤器匹配判断。 envoy.listener.http_inspector 监听过滤器 检测应用层协议是否HTTP，并判断具体类型为HTTP/1 Ltd. All rights reserved. Page 28 Istio数据面发展趋势 • 现状问题： • 引入透明Sidecar模式，导致端到端时延增加、并随着集群规模增加导致系统资源消耗上升，对大规模 Istio集群的实际使用造成影响。 • 运维难度增加，透明代理模式无法针对不同业务本身的特点定制监控能力，同时只能从业务容器外面收 集应用的运行状态。 • 演进方式： • 从En