Kubernetes安全求生指南 ©2019 VMware, Inc. 2  您的Kubernetes環境夠安全嗎?  Kubernetes安全最佳實務  VMware Enterprise PKS平台如何實踐K8s與容器的安全強化  最困難的部分其實是....  總結 本日議程 3 ©2019 VMware, Inc. 您的Kubernetes環境夠安全嗎? ©2019 VMware, Inc. 4 ​整個Kubernetes運作環境是相當不安全的....  原生Kubernetes在安全設計上就有許多改善空間  公版Kubernetes許多預設值是不適當的  關於網路層級的安全實際上還有許多地方並未涵蓋  設計上並不特別考慮企業多團隊/多應用的分工與隔離  有非常多層次例如: 容器/映像/作業系統/基礎架構也須涵蓋 您知道所謂 “安全”的“標準”是什麼?  這些“標準”涵蓋範圍夠嗎? 足夠讓我們安心推上生產嗎?  我們具體該怎麼做來強化安全?  我們怎麼知道我們做強化安全以後有滿足這個標準...還是這些標準?  我們該如何確保安全性在未來開發/維運一直維持達標?  我們如何用最低的負荷與最快的速度完成上述任務? 隨便Google就可找到好幾卡車的Kubernetes安全最佳實務/指南

长，如用户故事编写辅助、用户研究、电梯演讲和其他基于语言的任务。同时，我们希望开发人员能够负责任 地使用所有这些工具，并且始终掌控主导权，比如 hallucinated dependencies 就是其中一个需要注意的安全 和质量风险。 衡量生产力有多有效 对于非技术人员来说，软件开发有时似乎很神奇，这导致管理者需要努力衡量开发人员在完成其神秘任务时的 生产效率。我们的首席科学家 Martin Fowler 早在 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23. 用于服务端渲染（SSR）web 应用的 web 组件 采纳 24. Colima 追踪健康债务状况 14. 对告警规则的单元测试 15. CI/CD 的零信任保护 评估 16. 通过依赖健康检查化解包幻觉风险 17. 设计系统决策记录 18. GitOps 19. 大语言模型驱动的自主代理 20. 平台编排 21. 自托管式大语言模型 暂缓 22. 忽略 OWASP 十大安全风险榜单 23. 用于服务端渲染（SSR）web 应用的 web 组件 新的 挪进 / 挪出 没有变化

Master API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 调用 iptables 增加阻断规则 FORWARD_IN_ZONES_SOURCE FORWARD_OUT_ZONES 容器网络不通 异常 VS 异常检测 ？ 云原生操作系统 自检 安全模式 检测工具 … 操作系统 NPD 运行模式 • 集群节点（DaemonSet /Standalong） 问题检测 • 硬件（CPU、内存、磁盘） • 操作系统（ NTP、内核死锁、文件系统异常） K8s 版本 问题检测 • Kubernetes Conformance-testing（K8s 兼容性检查） • 节点上自定义数据的收集(依赖于自定义插件) 问题上报 • 需要采集和分析结果文件 Kube* CIS Kubernetes Benchmark 集群安全扫描 集群综合检查 执行 bpftrace 检测工具小结 工具 适用场景 局限性 kube-bench 在集群中运行

具的⽣态系统，使其更容易部署，扩展和管理应⽤程序。 Label 允许⽤户随⼼所欲地组织他们的资源。Annotation 允许⽤户使⽤⾃定义信息来装饰资源以⽅便他们的⼯作流程， 并为管理⼯具提供检查点状态的简单⽅法。 此外， Kubernetes control plane 所⽤的API 与开发⼈员和⽤户可⽤的API相同。⽤户可以使⽤ their own API 编写⾃⼰ 的控制器，例如 scheduler 商的特定代码应由云供应商⾃⼰维护，并在运⾏Kubernetes时 与cloud-controller-manager相关联。 以下控制器存在云提供商依赖： Node Controller：⽤于检查云提供商，从⽽确定Node在停⽌响应后从云中删除 Route Controller：⽤于在底层云基础设施中设置路由 Service Controller：⽤于创建、更新以及删除云提供商负载均衡器 知 建议仅在短期测试集群中使⽤，因为增加了bug带来的⻛险，⽽且缺乏⻓期⽀持 Beta级别: 版本名称包含 beta （例如 v2beta3 ） 代码经过了良好的测试。启⽤该功能被认为是安全的。 默认启⽤ 整体功能不会被删除，尽管细节可能会改变 对象的schema/语义可能会在后续的beta版/稳定版本中以不兼容的⽅式发⽣变化。发⽣这种情况时，我们将提 供迁移到下⼀个版本的说明。

con mod ens33 ipv4.gateway 10.99.1.1 # nmcli con up ens33 ③关闭seLinux 若不会配置selinux，则可关闭SELinux，若对安全性要求较高，则需自行配置 # sed -i '/^SELINUX/s/enforcing/disabled/' /etc/selinux/config # setenforce 0 244.0.0/16" accept' # firewall-cmd --run�me-to-permanent # firewall-cmd --list-all ★如果有硬件交换机做ACL或基于云的安全组做访问控制，则可关闭服务器上的 防火墙软件 ⑨加载ipvs模块 # cat > /etc/modules-load.d/k8s-ipvs.conf <检查是否已加载ip_vs模块 ★最后重启操作系统 # reboot ★第1章、部署k8s版本<=1.23 k8s在1.23及之前版本默认是调用docker作为底层的容器运行时，从1

主导核心设计：主导设计集群联邦，支持多调度器框架、亲和性调度 策略， 集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+  OCI 初创成员，是容器镜像格式的规范和实现的主导者  主导核心设计：动态资源调整，各种安全加固措施，增强各种资源 限制，增加ARM64支持，运维增强，容器重启策略 应用快速上线、扩容、升级，秒级弹性扩缩容 • 基于容器更细粒度共享，提升资源利用率 16 支持多租隔离、租户内部各用户之间的权限隔离，基于组织提供 镜像的访问权限管理 安全保障 组织级别隔离及镜像粒度权限控制，共同保障镜像安全 权限控制简单便捷 提供界面，分配镜像的访问权限 对接DevCloud、GitHub、GitLab，一键式完成从代码下载到 镜像构建的完整流程，并支持对接CCE完成镜像部署 •业务快速迭代，高峰期一周3~5个版本更新，运维压力大 •其他厂商的容器服务成熟度低，达不到商用要求 华为方案价值： •企业级容器服务经过2+年商用实践，SLA有保障 •提供一站式网络、存储、数据库、监控告警和健康检查解 决方案，降低系统集成风险，持续保障业务稳定运行 •支持原生 kubernetes API，原有容器化业务无缝迁移上云 蓝鲸传媒是证券时报旗下，国内首家针对科技媒体人打造的工具型SaaS服务，包含新闻线索平台和记者编辑工作平台

封装规范Dockerfile  Dockerfile分片，构建编译 和运行环境  CMD固定为Docker-init  环境变量指引功能 Docker-Init 进程组 健康检查端口 容器启动退出钩子 回收僵尸进程 调试模式 注入环境变量开关 与内部基础设施对接 基础架构组合 负载均衡（ELB） 自动配置域名，按运 营商自动划分线路 云厂商集群，多一层 HAProxy 日志服务  更轻量的客户端FileBeat  容器退出后延迟回收  日志目录规范+自发现  行检索的挑战 免密安全登录 基于服务树节点授权 每登录认证凭据 动态服务安全 仅需Server端嵌入SDK和配置 数据库，DB-Proxy简化接入 IP+JOBNAME共同生效，防 御ZK故障 监控 Push采集，与动态  CRD自定义资源  Flexvolume插件支持LVM  Node异步回收  改造发布策略  新建Deployment  新旧版本Deployment扩缩  健康检查探针适配 DCOS 组件服务 Mysql Redis Memc achd ELK ZK  规范配置  统一监控  数据自动迁移  故障自愈 CI/CD

容器服务 Kubernetes 版（CCK），提供⾼性能可伸缩的容器应⽤管理能⼒，⽀持Kubernetes社区原⽣应 ⽤和⼯具。简化集群的搭建和扩容等运维类⼯作，整合⾸云虚拟化（裸⾦属）、存储、⽹络和安全能⼒， 打造云端最佳的容器化应⽤运⾏环境。 简介 1.产品简介 3 ⽬前开放节点：⽆锡A，东京A，⾹港A，新加坡A，达拉斯A，法兰克福A。 注：根据客户需求可以⼀天内在新节点部署好容器服务。 端⼝映射：配置所启动容器使⽤的协议（⽀持TCP和UDP）、端⼝ 环境变量：配置所启动容器所需的环境变量（key/value的形式） 健康检查和就绪检查：⽀持健康检查（liveness）和就绪检查（Readiness）。健康检查⽤于 检测何时重启容器；就绪检查⽤于确定容器是否已经就绪，且可以接受流量。更多信息，请参 ⻅https://kubernetes.io/docs/tasks/confi header。 ⽀持键值对的配置⽅式。 运⾏多久后开始检测（秒）：即 initialDelaySeconds，容器启动后第⼀次执⾏检测时需要等 待多少秒，默认为 3 秒。 检查间隔（秒）：即 periodSeconds，指执⾏检查的时间间隔，默认为 10 秒，最⼩为 1 秒。 不健康阈值：探测成功后，最少连续探测失败多少次才被认定为失败。默认是 3，最⼩值是 1。 TCP 即向容器发送⼀个 TCP

应用的全生命周期，支持应用查看、更新、删除、回滚、事件查看以及升级等全生命 周期管理。 ➢ 跨集群负载统一管理能力。 策略管理 支持以命名空间或集群粒度制定网络策略、配额策略、资源限制策略、灾备策 略、安全策略。 ➢ 网络策略，支持以命名空间或集群粒度制定网络策略，限定容器组与网络平上网络” 实体“通信规则。 ➢ 配额策略，支持以命名空间或集群粒度设定配额策略，限制集群内的命名空间的资源 使用。 维度进行容 灾备份，保障集群的安全性。 版权 © 2023 DaoCloud 第 10 页 ➢ 安全策略，支持以命名空间或集群粒度设定安全策略，为 Pod 定义不同的隔离级 别。 全局管理 全局管理是以用户为中心的综合性服务板块，包含用户与访问控制、企业空 间、审计日志、平台设置等基础服务模块。 ➢ 用户与访问控制：帮助用户安全管理资源的访问权限。您可以通过用户与访问控制创 业开发环 境、部门结构等设置层级结构，并控制哪些人对哪些资源具有访问权限。 ➢ 审计日志：提供资源的操作记录。通过操作记录您可以快速实现安全分析、资源变 更、问题定位等。 ➢ 平台设置：通过平台安全策略、邮件服务器、外观定制等，实现用户信息的安全性和 平台的个性化。 可观测性 可观测模块 (Insight) 是以应用为中心、开箱即用的新一代云原生可观测性平 台。 能够实时监控应

openstack kvm docker 镜 像 管 理 弹性伸缩 智能调度 配置管理 健康检查 服务发现 动态dns 负载均衡 容器监控 日志采集 应用监控 节点监控 动态存储 本地存储 网络存储 静态存储 代码检查 代码编译 镜像编译 服务发布 镜像同步 镜像上传 镜像下载 镜像安全 k8s tcp负载 https-http 虚拟主机 服务路由 traefik ingress-nginx