Kubernetes安全求生指南 ©2019 VMware, Inc. 2  您的Kubernetes環境夠安全嗎?  Kubernetes安全最佳實務  VMware Enterprise PKS平台如何實踐K8s與容器的安全強化  最困難的部分其實是....  總結 本日議程 3 ©2019 VMware, Inc. 您的Kubernetes環境夠安全嗎? ©2019 VMware, Inc. 4 ​整個Kubernetes運作環境是相當不安全的....  原生Kubernetes在安全設計上就有許多改善空間  公版Kubernetes許多預設值是不適當的  關於網路層級的安全實際上還有許多地方並未涵蓋  設計上並不特別考慮企業多團隊/多應用的分工與隔離  有非常多層次例如: 容器/映像/作業系統/基礎架構也須涵蓋 您知道所謂 “安全”的“標準”是什麼?  這些“標準”涵蓋範圍夠嗎? 足夠讓我們安心推上生產嗎?  我們具體該怎麼做來強化安全?  我們怎麼知道我們做強化安全以後有滿足這個標準...還是這些標準?  我們該如何確保安全性在未來開發/維運一直維持達標?  我們如何用最低的負荷與最快的速度完成上述任務? 隨便Google就可找到好幾卡車的Kubernetes安全最佳實務/指南

Thoughtworks 技术战略和技术人员的各种主题。本期技术雷达内容 基于 2023 年 8 月的 TAB 线上会议创建。 中国区技术雷达汉化组： 边晓琳、陈亮、程显通、樊田、樊卓文、冯炜、符雨菡、高晓、管英杰、何蜜、何蔚、何向东、纪扬、郏李鹏、 蒋亦雄、李辉、李天舒、李妍、李昱桦、林晨、刘钊、秦睿、孙郁俨、童圣、王鹏熹、王芹芹、熊晓荟、杨琛、 杨阳、姚瑶、于海源、余琦、余亚彬、院阳、张丽、张旭海、赵泽鑫、郑茗蔓 长，如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时，我们希望开发人员能够负责任 地使用所有这些工具，并且始终掌控主导权，比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效 对于非技术人员来说，软件开发有时似乎很神奇，这导致管理者需要努力衡量开发人员在完成其神秘任务时的 生产效率。我们的首席科学家 Martin Fowler 早在 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23. 用于服务端渲染（SSR）web 应用的 web 组件 采纳 24. Colima 试验 25. CloudEvents 26. DataOps.live 27. Google

知 建议仅在短期测试集群中使⽤，因为增加了bug带来的⻛险，⽽且缺乏⻓期⽀持 Beta级别: 版本名称包含 beta （例如 v2beta3 ） 代码经过了良好的测试。启⽤该功能被认为是安全的。 默认启⽤ 整体功能不会被删除，尽管细节可能会改变 对象的schema/语义可能会在后续的beta版/稳定版本中以不兼容的⽅式发⽣变化。发⽣这种情况时，我们将提 供迁移到下⼀个版本的说明。 API⽬前⽀持两种类型的选择器：equality-based 和 set-based 。Label选择器可由逗号分隔的多个需求组成。在多重需 求的情况下，必须满⾜所有需求，因此逗号作为AND逻辑运算符。 ⼀个empty Label选择器（即⼀个零需求的选择器）选择集合中的每个对象。 null Label选择器（仅⽤于可选的选择器字段）不选择任何对象。 注意 ：两个Controller的Lab or inequality-based requirement允许通过LabelKey和Value进⾏过滤。匹配对象必须满⾜所有的Label约束， 尽管对象可能还有其他Label。允许使⽤三种运算符： = 、 == 、 != 。前两个表示相等 （只是同义），⽽后者则表 示不相等 。 例如： environment = production tier != frontend 前者选择所有与key

& Sentinel 组件 2019.1 1. 新增 Dubbo Spring Cloud 模块 让 Spring Cloud 与 Dubbo 可以互相调用 2. 新增 Seata 模块，让 Spring Cloud 的服务调用拥有分布式事务能力 2019.4 1. 发布 GA 版本 2. Sentinel 成为官方推荐的 Circuit Breaker 实现 2019.7 Spring Cloud Alibaba 现状 https://start.aliyun.com/bootstrap.html • 业务高可用、多可用区部署 • 同城/异地容灾，业务多活 • 微服务需要更安全、更可信 成本 稳定 效率 • 白天流量高峰期发布 • 云边端一体化开发部署联调 • 服务治理体系强依赖SDK升级 • K8s下应用IP的不确定、导致服务治理规则的失效 • 应用迁移上云成本很高 服务契约管理 • 服务测试 • 服务Mock • 开发环境隔离 • 端云互联 运行态Ops 开发态Dev • 无损下线 • 无损上线 • 金丝雀发布 • A/B Test • 全链路灰度 安全态Sec 发布态 • 离群实例摘除 • 限流降级 • 同AZ优先路由 • 就近容灾路由 高可用 • 服务鉴权 • 漏洞防护 服务治理的区分 服务治理中心 提供者 消费者 Agent

Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 自动安装依赖 firewalld 网络未知原因导致异常 Node Pod eth0 调用 iptables 增加阻断规则 FORWARD_IN_ZONES_SOURCE FORWARD_OUT_ZONES 容器网络不通 异常 VS 异常检测 ？ 云原生操作系统 自检 安全模式 检测工具 … 操作系统 NPD 运行模式 • 集群节点（DaemonSet /Standalong） 问题检测 • 硬件（CPU、内存、磁盘） • 操作系统（ NTP、内核死锁、文件系统异常） • Container Conformance-testing（K8s 兼容性检查） • 节点上自定义数据的收集(依赖于自定义插件) 问题上报 • 需要采集和分析结果文件 Kube* CIS Kubernetes Benchmark 集群安全扫描 集群综合检查 执行 bpftrace 检测工具小结 工具 适用场景 局限性 kube-bench 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容

DCS 分布式 消息 DMS 分布式 数据库 DDM 应用编排引擎 AOS App/PaaS/IaaS 资源一键式创建 应用运维 AOM 应用性能管理 APM 应用拓扑 调用链 SLA指标 日志关联分析 异常预警 故障回溯 软件开发服 务 DevCloud 云性能测试 CPTS PaaS IaaS 开发测试 统一编排 自动化部署、微服务注册发现与治理、中间件运行环境 主导核心设计：主导设计集群联邦，支持多调度器框架、亲和性调度 策略， 集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+  OCI 初创成员，是容器镜像格式的规范和实现的主导者  主导核心设计：动态资源调整，各种安全加固措施，增强各种资源 限制，增加ARM64支持，运维增强，容器重启策略 网络（VPC/EIP） 多样的生态接入 • 支持多语言多框架服务接入 • 支持第三方模板和镜像快速部署 完全开放的原生平台 • 紧跟Kubernetes和Docker社区，迅速同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施

容器服务 Kubernetes 版（CCK），提供⾼性能可伸缩的容器应⽤管理能⼒，⽀持Kubernetes社区原⽣应 ⽤和⼯具。简化集群的搭建和扩容等运维类⼯作，整合⾸云虚拟化（裸⾦属）、存储、⽹络和安全能⼒， 打造云端最佳的容器化应⽤运⾏环境。 简介 1.产品简介 3 ⽬前开放节点：⽆锡A，东京A，⾹港A，新加坡A，达拉斯A，法兰克福A。 注：根据客户需求可以⼀天内在新节点部署好容器服务。 可选：调度设置（亲和性调度依赖节点和 Pod 标签，您可使⽤内置的标签进⾏调度；也可预先 为节点、Pod 配置相关的标签） 节点亲和性。通过已有节点 Node 的标签（键）、操作符和标签值（值）进⾏设置。 必须满⾜，即硬约束，⼀定要满⾜，对应 requiredDuringSchedulingIgnoredDuringExecution， 效果与 NodeSelector 相 调度。您可定义多条软约束规则，但必须满⾜全部约束，才会进⾏调度。 约束条件（操作符）：包括 In, NotIn, Exists, DoesNotExist 28 应⽤亲和性。通过节点上运⾏的 Pod 的标签（键）、操作符和标签值（值）进⾏设置，⽀ 持硬约束和软约束。决定应⽤的 Pod 可以和哪些

con mod ens33 ipv4.gateway 10.99.1.1 # nmcli con up ens33 ③关闭seLinux 若不会配置selinux，则可关闭SELinux，若对安全性要求较高，则需自行配置 # sed -i '/^SELINUX/s/enforcing/disabled/' /etc/selinux/config # setenforce 0 bridge-nf-call-iptables = 1 net.bridge.bridge-nf-call-arptables = 1 net.ipv4.ip_forward = 1 EOF #前3行表示bridge设备在二层转发时也去调用iptables配置的三层规则（包含 conntrack） # sysctl -p #加载配置 ⑧防火墙放行端口 TCP: 6443，2379， 244.0.0/16" accept' # firewall-cmd --run�me-to-permanent # firewall-cmd --list-all ★如果有硬件交换机做ACL或基于云的安全组做访问控制，则可关闭服务器上的 防火墙软件 ⑨加载ipvs模块 # cat > /etc/modules-load.d/k8s-ipvs.conf <

0 码力 | 126 页 | 4.33 MB | 1 年前

3

热点领域和热点方向，试图在市场上抢得先机。 四是云计算技术不断推陈出新，助力产业高质量发展。随着上 云进程持续加深，企业需求逐步向用云转移，效率、性能、安全等 成为用户关注点，应用现代化、一云多芯、平台工程、云成本优化、 系统稳定性、云原生安全等新技术层出不穷，满足用户多样性场景 需求，助力产业数字化升级。 在此背景下，中国信息通信研究院继《云计算白皮书（2012 年）》 之后第 9 次 算行业发展， 鼓励成员国政府部门率先使用云计算，在公共服务部门推广云服务， 带动云计算产业发展。2020 年 7 月，欧盟基于“欧洲云”概念，提 出 GAIA-X 云计划，旨在通过保证透明度、安全性和隐私性来增加 云服务的可信度。2021 年 5 月，欧盟通过了《欧盟云行为准则》，为 云服务商如何遵守欧盟的隐私法规提供了详细指导。2021 年 5 月， 法国政府发布《国家云战略》，通过促进和支持对主权云服务的访问 一的云计算架构和基础设施提升数据应用价值和安全性。 日本发布多个计划，积极推动云计算在政务领域的深度应用。 日本政府于 2021 年 9 月份成立数字厅，同年 10 月开始导入政府云 服务，计划于 2025 年之前构建所有中央机关和地方自治团体能共享 行政数据的云服务，2026 年 3 月份前实现全国各市町村的基础设施 与云服务互联互通。2022 年 12 月，日本政府将云应用程序确定为经 济安全的 11 个关键领域之一，其工业部留出了

应用的全生命周期，支持应用查看、更新、删除、回滚、事件查看以及升级等全生命 周期管理。 ➢ 跨集群负载统一管理能力。 策略管理 支持以命名空间或集群粒度制定网络策略、配额策略、资源限制策略、灾备策 略、安全策略。 ➢ 网络策略，支持以命名空间或集群粒度制定网络策略，限定容器组与网络平上网络” 实体“通信规则。 ➢ 配额策略，支持以命名空间或集群粒度设定配额策略，限制集群内的命名空间的资源 使用。 维度进行容 灾备份，保障集群的安全性。 版权 © 2023 DaoCloud 第 10 页 ➢ 安全策略，支持以命名空间或集群粒度设定安全策略，为 Pod 定义不同的隔离级 别。 全局管理 全局管理是以用户为中心的综合性服务板块，包含用户与访问控制、企业空 间、审计日志、平台设置等基础服务模块。 ➢ 用户与访问控制：帮助用户安全管理资源的访问权限。您可以通过用户与访问控制创 业开发环 境、部门结构等设置层级结构，并控制哪些人对哪些资源具有访问权限。 ➢ 审计日志：提供资源的操作记录。通过操作记录您可以快速实现安全分析、资源变 更、问题定位等。 ➢ 平台设置：通过平台安全策略、邮件服务器、外观定制等，实现用户信息的安全性和 平台的个性化。 可观测性 可观测模块 (Insight) 是以应用为中心、开箱即用的新一代云原生可观测性平 台。 能够实时监控应