存資料，控制權受到限制。因此，這些資安團隊發現很 難遵守相關的資安政策與法規命令。 解決方案：CipherTrust Transparent Encryption for Kubernetes CipherTrust Transparent Encryption for Kubernetes 提供用於加密、存取控制和資料存取日誌記錄的容器內核 功能，使企業能夠對Kubernetes 環境中的資料建立堅實 Transparent Encryption 的這 項擴充，解決了保護機敏資料的合規要求與法規命令， 例如支付卡、健康照護紀錄或者其他機敏資產。 • 防止受到特權用戶的威脅 - 該解決方案提供資料存取控 制的加密，讓特權用戶如 Docker 或 OpenShift等群組 管理員，能夠像一般用戶執行操作，不會獲得未經授權 的機敏資料存取。 • 實現強大的安全性 - 無論容器在資料中心、虛擬環 境 立資安控制。憑藉這項擴充，您能按照每個容器的狀態 一一施行加密、存取控制以及資料存取紀錄。加密可以 應用在容器端本地產生並儲存的資料，以及藉由網路檔 案系統搭載在容器內的資料。 • 可擴充的透明加密 - 無需對應用程式、容器或基礎 架構進行任何變更下，提供資料安全控制。允許對 Kubernetes叢集內的所有容器施行單一政策，或是對 叢集的每一個容器施行有所區別的不同政策。這項解決 方案可因應業務需求變化而擴充或縮小 Kubernetes

第1 章 Kubernetes 入門 1.1 Kubernetes 是什麼？ Kubernetes 是什麼？ 首先，它是一個全新的基於容器技術的分散式架構解決方案。這個方案雖然還很 新，但它是 Google 十幾年來大規模應用容器技術的經驗累積和演進的一個重要成 果。確切地說，Kubernetes 是 Google 嚴格保密十幾年的秘密武器——Borg 的開源 專案版本。Borg 是 憑證，獲得用戶端憑證公開金鑰，並用該公開金鑰認證憑證資訊，並確認用戶 端是否合法。 (5) 用戶端透過隨機金鑰加密資訊，並發送加密後的資訊給服務端。伺服器端和用 戶端協商好加密方案後，用戶端會產生一個隨機的金鑰，用戶端透過協商好的 加密方案，加密這隨機金鑰，並發送隨機金鑰到伺服器端。 伺服器端接收這 個金鑰後，雙方通訊的所有內容都透過隨機金鑰加密。 通訊（隨機私鑰） 身分認證（憑證） 客戶端 伺服器端 身分認證（憑證）

彈性， 依據功能和需求的演進發展改用替代解決方案。 Canonical Kubernetes、Red Hat Openshift及SUSE Rancher都已獲得CNCF認證。 2. 生命週期作業 開始踏上Kubernetes的旅程時，如果沒有思考要如何長期維護叢集，很容易就會 在開發和部署期間遭遇困難。許多以Kubernetes為中心的解決方案，雖然處理了 Kubernetes生命週期的初 高可用度有助於盡量減少停機時間，並達到最高的可靠度及生產力，因此是所 有主要 Kubernetes 解決方案的標準特性。Canonical Kubernetes、Rancher 及OpenShift均提供高可用度叢集。 4. 叢集升級 由於每季都有新的Kubernetes版本，企業務必要確保解決方案具有可靠的升級策 略，跟隨上游保持最新狀態，並且無需犧牲穩定性或中斷持續營運。就此而言， Canonical 集。撰 寫本文時，Red Hat並未正式支援任何單節點OpenShift解決方案。 MicroK8及K3均允許將叢集延伸至多個節點。MicroK8提供方法讓使用者建構具自 我修復能力的高可用度叢集，只需要使用幾個指令，無需進行設定；K3如果要達到 相同成果，就需要進行更多手動作業。 8. 託管Kubernetes方案 為企業工作負載提供無可比擬的自動化程度及通用平台。不過Kubernetes本身是一

Affiliates. All rights reserved. Amazon Confidential AWS 中国（宁夏）区域由西云数据运营 AWS 中国（北京）区域由光环新网运营 周琦，AWS 解决方案架构师 Amazon Elastic Kubernetes Service (EKS) 初探秘 © 2019, Amazon Web Services, Inc. or its Affiliates reserved. Amazon Confidential 责任共担模型（续） 用户 IAM 用户数据 平台及应用管理 操作系统, 网络以及网络配置 客户端数据加密 及 数据完整性验证 服务端加密 文件系统和数据 网络流量保护 加密/完整性/身份管理 AWS 端点 基础服务 AWS全球基础架构 AWS IAM 计算 存储 数据库 网络 区域 可用区 边缘节点 由AWS用户管理 HOST AWS IAM 容器 升级 加固 监控 WORKER NODE 配置 升级 加固 监控 NETWORK 配置 VPC 网络策略 路由表 NACLs 数据 网络流量保护 客户端加密 服务端加密 EKS CONTROL PLANE CONTROL PLANE 配置 PRIVATE CONTROL RBAC 策略 © 2019, Amazon Web Services, Inc.

關閉公開存取 (Disable public access)  實施角色型存取權控管 (Implement role-based access control)  將 Kubernetes密鑰加密 (Encrypt secrets at rest)  設置 Kubernetes 的許可控制器 (Configure admission controllers)  實施 Kubernetes Trust Boundary Trust Boundary ©2019 VMware, Inc. PKS把原生K8s欠缺的帳號/存取權限/API呼叫/密碼保護補好補滿 解決方案 • 對VMware PKS CLI控制平面提供認 證與角色權限控管(RBAC) • 對原生Kubernetes API提供認證與角 色權限控管(RBAC) • 集中帳號權限管理-可整合外部Active

的承载令牌注⼊到该Pod中。 kubernetes 服务（在所有namespace中）配置了⼀个虚拟IP地址（通过kube-proxy）重 定向到apiserver上的HTTPS端点。 Master组件通过不安全（未加密或验证）端⼝与集群apiserver通信。该端⼝通常仅在Master机器上的localhost接⼝上公 开，以便所有运⾏在同⼀台机器上的Master组件可与集群的apiserver进⾏通信。 随着时间的推移，Master组件将被迁 从apiserver到Node、Pod或Service的连接默认为纯HTTP连接，因此不会被认证或加密。可通过将 https: 前缀添加到 到API URL中的Node、Pod、Service名称，从⽽运⾏安全的HTTPS连接，但不会验证HTTPS端点提供的证书，也不会 提供客户端凭据——因此，尽管连接将被加密，它不会提供任何诚信保证。这些连接在不受信任/公共⽹络上运⾏并不 安全。 SSH隧道 s中的所有Host都⽆ 法与请求头中的Host匹配，或者，没有path与请求的URL匹配，则流量将路由到您的默认backend。 TLS 您可以通过指定包含TLS私钥和证书的 secret 来加密Ingress。⽬前，Ingress仅⽀持单个TLS端⼝443，并假定TLS termination（TLS终⽌）。如果Ingress中的TLS配置部分指定了不同的host，那么它们将根据通过SNI

Recovery & High Availability Failover/Switchover、多可用区、数据恢复等等。 Security & Compliance 访问控制、审计、安全链接、加密存储等等。 Patching & Upgrades 小版本升级、大版本升级、安全漏洞修复等等。 Data Migrations 迁移、同步、清洗、跨地域、灾备、多活等等。 DB Operator

务发现，不用它的负载均衡，不用它的配置中心。 （这些我们都有了） “当然可以” 技术方案 • 容器方案 • 网络方案 • 集群方案 • 服务发现方案 • 平台方案 容器方案 •Supervisord •Syslog •Sshd •业务二进制 •配置文件 容器方案 •Supervisord守护其它进程 •通过ssh登陆 •集成大量工具 •使用方式与物理机无异 开消 想要的网络方案 •全网能够互通 •简单能掌控 •后续能定制 •尽量减少链路时延 琳琅满目的网络方案 •Flannel •Calico •Cilium •Kube-Router •Macvlan •… (剩余几十个) 方案一：Flannel网络方案 基础网络IP可达就可用，适用性高，有一定网络延迟 方案二：Calico网络方案 基于BGP做动 基于BGP做动态路由发现的网络模型，需要基础网络支持BGP，架构复杂 方案三：Macvlan网络方案 Macvlan是Linux操作系统内核提供的网络虚拟化方案之一 它可以为一张物理网卡设置多个mac地址 Macvlan Wins！ •几乎是业界最快网络模型 •网络延迟几乎与物理机一致 •简单的设计，易掌控 集群方案 一个超大集群还是多个中小集群？ 集群方案 •超级部署屏蔽K8S的各类资源 •一个部署调度到多个集群

模块独立解耦，支持灵活升级，对业务没有影响，并且能够与众多云原生生态 产品对接，提供完整的解决方案体系。 它经过了近千家行业客户的生产场景检 验，构建了坚实、可靠的数字底座，帮助企业定义数字边界，释放云原生生产 力。 DCE 5.0 的各个产品模块独立解耦，灵活升级，业务无感知，开放对接超百家 云原生生态产品，形成完整的解决方案体系，经近千家行业客户生产场景锤 炼，构建坚实可靠的数字底座，释放云原生生产力，助力企业定义数字边界。 应用商店 收录来自大数据、AI、中间件等十大领域生态伙伴的软件产品，实现生态技术、产 品、运营服务等能力的整合，提供开箱即用的生态应用软件，面向企业实际业务需 求，打造完整的解决方案体系。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 应用交付 通过一致性可推广的应用交付流程实现自助式上云，支持柔性租户体系，动态适配用 户组织架构规划和实时资源分配，基于云原生化的 提供云原生计算、网络、存储等能力，兼容各种集群接入，支持集群从部署、版本升 级、证书变更、配置变更、回收等全生命周期管理，突破 K8s API 性能瓶颈，实现企 业超大规模用户并发使用多集群。针对企业环境，提供场景化的网络方案，实现当前 企业网络基础设施复用的最大化，降低企业使用云原生应用门槛。 涉及的模块：全局管理、容器管理、云原生网络、云原生存储 模块化搭建 DCE 5.0 所包含的各个模块可以像乐高积木一样灵活搭建。

Mesos and Swarm Ø 来自Google的简单一致的设计理念 Ø 原生为容器集群打造 Ø 原生服务发现 Ø 统一的资源模型 Ø 支持丰富的标签Label发现机制 Ø 原生负载均衡，高可用方案 Ø 原生的Rolling Update设计 Ø 为生产环境专门打造的容器集群 Ø 多镜像Pod Ø 多种业务类型：Service+RC/Job/DaemonSet Ø 自动伸缩：AutoScaler RC：控制Pod的个数和Pod的生命周期 Ø Service：服务入口，由Kube-proxy支持负载均衡 Ø 原生负载均衡，高可用方案 Kubernetes所支持的存储卷类型 Kubernetes最新支持的资源类型 OpenStack和K8s的集成系统 支持跨IaaS部署K8s集群 网络集成方案的演变 IaaS层的物理网络架构 多用户共享Kubernetes集群 通过二级域名发布服务 覆盖网络（Overlay） Flannel 利用路由协议的SDN 方案——calico Kuryr 一个Docker远程驱动 网络集成方案比较 可以排除的组合 网络集成方案比较 可行方案 IaaS层网络 PaaS层网络 适用场景 Calico Kuryr 不需要多租户隔离，大量使用容器技术，对性能 要求很高 Overlay