Kubernetes安全求生指南 ©2019 VMware, Inc. 2  您的Kubernetes環境夠安全嗎?  Kubernetes安全最佳實務  VMware Enterprise PKS平台如何實踐K8s與容器的安全強化  最困難的部分其實是....  總結 本日議程 3 ©2019 VMware, Inc. 您的Kubernetes環境夠安全嗎? ©2019 VMware, Inc. 4 ​整個Kubernetes運作環境是相當不安全的....  原生Kubernetes在安全設計上就有許多改善空間  公版Kubernetes許多預設值是不適當的  關於網路層級的安全實際上還有許多地方並未涵蓋  設計上並不特別考慮企業多團隊/多應用的分工與隔離  有非常多層次例如: 容器/映像/作業系統/基礎架構也須涵蓋 您知道所謂 “安全”的“標準”是什麼?  這些“標準”涵蓋範圍夠嗎? 足夠讓我們安心推上生產嗎?  我們具體該怎麼做來強化安全?  我們怎麼知道我們做強化安全以後有滿足這個標準...還是這些標準?  我們該如何確保安全性在未來開發/維運一直維持達標?  我們如何用最低的負荷與最快的速度完成上述任務? 隨便Google就可找到好幾卡車的Kubernetes安全最佳實務/指南

略去某项技术并不表示我们不再关心它。 暂缓 评估 试验 采纳 采纳：我们强烈主张业界采用这些技术。我们会 在适当时候将其用于我们的项目。 试验：值得追求。重要的是理解如何建立这种能 力，企业应该在风险可控的项目中尝试此技术。 评估：为了确认它将如何影响你所在的企业，值 得作一番探究。 暂缓：谨慎推行。 新的 挪进 / 挪出 没有变化 雷达一览 技术雷达持续追踪有趣的技术是如何发展的 长，如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时，我们希望开发人员能够负责任 地使用所有这些工具，并且始终掌控主导权，比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效 对于非技术人员来说，软件开发有时似乎很神奇，这导致管理者需要努力衡量开发人员在完成其神秘任务时的 生产效率。我们的首席科学家 Martin Fowler 早在 2003 检索增强生成 11. 基于风险的故障建模 12. 大语言模型半结构化自然语言输入 13. 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23. 用于服务端渲染（SSR）web

一键式集群升级，一键升级 Kubernetes 版本，统一管理系统组件升级。 ➢ 集群高可用，内置集群容灾、备份能力，保障业务系统在主机故障、机房中断、自然 灾害等情况下可恢复，提高生产环境的稳定性，降低业务中断风险。 ➢ 集群的全生命周期管理，实现自建云原生集群的全生命周期管理。 ➢ 开放式 API 能力，提供原生的 Kubernetes OpenAPI 能力。 应用管理 ➢ 一站式部署，解耦底层 应用的全生命周期，支持应用查看、更新、删除、回滚、事件查看以及升级等全生命 周期管理。 ➢ 跨集群负载统一管理能力。 策略管理 支持以命名空间或集群粒度制定网络策略、配额策略、资源限制策略、灾备策 略、安全策略。 ➢ 网络策略，支持以命名空间或集群粒度制定网络策略，限定容器组与网络平上网络” 实体“通信规则。 ➢ 配额策略，支持以命名空间或集群粒度设定配额策略，限制集群内的命名空间的资源 使用。 维度进行容 灾备份，保障集群的安全性。 版权 © 2023 DaoCloud 第 10 页 ➢ 安全策略，支持以命名空间或集群粒度设定安全策略，为 Pod 定义不同的隔离级 别。 全局管理 全局管理是以用户为中心的综合性服务板块，包含用户与访问控制、企业空 间、审计日志、平台设置等基础服务模块。 ➢ 用户与访问控制：帮助用户安全管理资源的访问权限。您可以通过用户与访问控制创

热点领域和热点方向，试图在市场上抢得先机。 四是云计算技术不断推陈出新，助力产业高质量发展。随着上 云进程持续加深，企业需求逐步向用云转移，效率、性能、安全等 成为用户关注点，应用现代化、一云多芯、平台工程、云成本优化、 系统稳定性、云原生安全等新技术层出不穷，满足用户多样性场景 需求，助力产业数字化升级。 在此背景下，中国信息通信研究院继《云计算白皮书（2012 年）》 之后第 9 次 算行业发展， 鼓励成员国政府部门率先使用云计算，在公共服务部门推广云服务， 带动云计算产业发展。2020 年 7 月，欧盟基于“欧洲云”概念，提 出 GAIA-X 云计划，旨在通过保证透明度、安全性和隐私性来增加 云服务的可信度。2021 年 5 月，欧盟通过了《欧盟云行为准则》，为 云服务商如何遵守欧盟的隐私法规提供了详细指导。2021 年 5 月， 法国政府发布《国家云战略》，通过促进和支持对主权云服务的访问 一的云计算架构和基础设施提升数据应用价值和安全性。 日本发布多个计划，积极推动云计算在政务领域的深度应用。 日本政府于 2021 年 9 月份成立数字厅，同年 10 月开始导入政府云 服务，计划于 2025 年之前构建所有中央机关和地方自治团体能共享 行政数据的云服务，2026 年 3 月份前实现全国各市町村的基础设施 与云服务互联互通。2022 年 12 月，日本政府将云应用程序确定为经 济安全的 11 个关键领域之一，其工业部留出了

Serverless容器 敏捷开发 极致弹性 成本优化 容器 Build once, Run anywhere 没有语言和库的限制 连接Kubernetes生态 连接Cloud Native生态 无厂商绑定风险 Serverless Container Landscape Serverless容器典型场景和客户价值 在线业务 弹性扩容 Serverless AI Serverless 大数据计算 CI/CD Serverless Kubernetes （ASK） Pod Pod Pod ECS • 共享OS • 安全性弱 OS Pod Pod Pod Bare Metal Pod Pod Pod Pod Pod Pod Sandbox • 强隔离，安全 • 强隔离，安全 • 无节点管理 kubelet containerd OS Sandbox kubelet ECI: ECI: Elastic Container Instance • Run Containers without Managing Infrastructure • 容器成为云上的一等公民 • 安全隔离的容器运行环境 • 支持CPU 0.25c – 64c，GPU，按需创建按秒收费 • Spot Instance：极大降低计算成本 • Startup time: ~10s • 镜像缓存：无需从远端拉取镜像

主导核心设计：主导设计集群联邦，支持多调度器框架、亲和性调度 策略， 集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+  OCI 初创成员，是容器镜像格式的规范和实现的主导者  主导核心设计：动态资源调整，各种安全加固措施，增强各种资源 限制，增加ARM64支持，运维增强，容器重启策略 应用快速上线、扩容、升级，秒级弹性扩缩容 • 基于容器更细粒度共享，提升资源利用率 16 支持多租隔离、租户内部各用户之间的权限隔离，基于组织提供 镜像的访问权限管理 安全保障 组织级别隔离及镜像粒度权限控制，共同保障镜像安全 权限控制简单便捷 提供界面，分配镜像的访问权限 对接DevCloud、GitHub、GitLab，一键式完成从代码下载到 镜像构建的完整流程，并支持对接CCE完成镜像部署 大 •其他厂商的容器服务成熟度低，达不到商用要求 华为方案价值： •企业级容器服务经过2+年商用实践，SLA有保障 •提供一站式网络、存储、数据库、监控告警和健康检查解 决方案，降低系统集成风险，持续保障业务稳定运行 •支持原生 kubernetes API，原有容器化业务无缝迁移上云 蓝鲸传媒是证券时报旗下，国内首家针对科技媒体人打造的工具型SaaS服务，包含新闻线索平台和记者编辑工作平台

Kubernetes 200 最大不可用数面向终态的应用管理 • 支持终态副本数保持 • 支持容器原地升级 • 保持 IP、卷 • 支持并发更新、容错暂停 • 支持镜像预热、按需下载镜像格式面向终态的风险控制 • 运维决策分散 - controllers - operators - rescheduler - kubelet Admission Kube-apiserver Controllers container CNI CSI throttling/circuit breaker throttling/circuit breaker 风险识别自愈能力升级 • 传统运维体系的效率问题 - 应用启动流程复杂 - 决策链路较长 - 状态一致性风险 容器平台 监控 VIP 服务注册 配置中心 运维平台 观察者 异常消费 基础设施 异常来源• 统一容器与应用实例的生命周期 •

机架感知特性 服务注册和客户端 注册 Topic 的集群信息 • Broker, Zookeeper • Status 是否启⽤用 客户端 • 业务易易⽤用 • 标准客户端，降低集群⻛风险 集群容错 • 灾备集群 • 保证重要 Topic ⾼高可⽤用 • 客户端与服务器器注册联动 指标维度 举例例 Kubernetes 3 容器器内存、CPU、运⾏行行状态 Broker

Canonical Kubernetes 如何為貴企業選擇合適的Kubernetes發行版本 2022年7月 執行摘要 採用容器優先方法的企業，將能享有無可比擬的機會，協助提升效率及資源使用 率、加強安全性、導入自動化及加速創新；因此Gartner預測將有75%的全球組 織，在2022年之前於正式作業執行容器化應用程式，而這樣的數據並不會讓人 感到驚訝。1 Kubernetes已經成為管理容器化工作負載和服務的頂尖開放原始碼平台，不過 全升級叢集， 同時確保不會影響在叢集執行的工作負載。 2 5. 支援生命週期 有時候企業無法跟上最新的上游Kubernetes版本，未能完全保持最新狀態。為了 確保Kubernetes部署維持安全，必須瞭解廠商支援各個版本的時間長度。 OpenShift支援最新的3個次要Kubernetes版本，支援各個版本的時間總計9個月。 在前3個月期間，特定版本會獲得「完整支援」，緊急修復一旦可用就會發行提供， 年兩次)。每個次要Rancher管理伺服器版本會維護15個月，之後只會提供安全性 更新。由於Kubernetes版本支援與Rancher版本時程綁定，因此可能會限制彈性， 亦即不一定會支援最新的上游Kubernetes版本。 Canonical Kubernetes支援最新的5個Kubernetes版本。其中最新的3個版本可獲 得完整功能、產品更新及安全性修補程式，比較舊的2個版本則僅獲得安全性更新。 這種更為廣泛的支援方式，可消

Master API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 调用 iptables 增加阻断规则 FORWARD_IN_ZONES_SOURCE FORWARD_OUT_ZONES 容器网络不通 异常 VS 异常检测 ？ 云原生操作系统 自检 安全模式 检测工具 … 操作系统 NPD 运行模式 • 集群节点（DaemonSet /Standalong） 问题检测 • 硬件（CPU、内存、磁盘） • 操作系统（ NTP、内核死锁、文件系统异常） Conformance-testing（K8s 兼容性检查） • 节点上自定义数据的收集(依赖于自定义插件) 问题上报 • 需要采集和分析结果文件 Kube* CIS Kubernetes Benchmark 集群安全扫描 集群综合检查 执行 bpftrace 检测工具小结 工具 适用场景 局限性 kube-bench 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容