顾静, 阿里云 邓隽, 阿里云 Kubernetes 异常配置检测框架 我们来自阿里云容器服务 • 顾静，研发工程师 • 邓隽，技术专家 我们参与打造 • 容器服务（ACK/ASK） • 容器镜像服务（ACR） • 服务网格（ASM） • … 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 Kubernetes 使用日常 • 应用部署 • API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 增加检查项流程较复杂 kuberhealthy 在集群中运行 CronJob 实现检查 可以自定义检查项 无法检测集群核心组件配置 集群异常时无法进行检测 kube-hunter 适用于集群安全检测 仅能检测集群安全性 kubectl-trace

日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 标准统一 运维简单 框架简单 编译 部署 应用开发 启动方式 日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 编译 部署 2014年6月K8S开源 微服务的生命周期 第二部分 微服务的生命周期 开发 测试 部署 启动 调用 治理 微服务的开发阶段 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 统一配置、调用用方式，降低开发心智负担 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 问题：每种开源组件的配置、调用方式、debug方式、记录日志方式都不一样 微服务的开发阶段 问题：gRPC未设置连接错误，阻塞模式报错不正确 Redis、MySQL连接数配置未设置？超时未设置？ 配置 对接 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 // FailOnNonTempDialError only affects the initial dial, and does not do // anything useful unless you are also using WithBlock()

指标统计 运营统计 编译打 包 代码质量 管理 多语⾔ 构建 安全管控 构建实 践 测试管理 功能测 试 性能测试 接⼝测 试 产出物管 理 持续构建与测试 ⾃动部 署 配置管理 环境管 理 数据库变 更 运维监 控 通知反馈 部署策 略 持续交付 ⼯具链 最佳实践 测试管理 规范 流⽔线建设 规范 敏捷开发 规范 流程协作与最 佳实践 平台培训 ⼯具培训 培训效果评估 LAB 环境建设 标准案例建设 知识库建设培训 成熟度评审 度量驱动改进 认证与改进体系 已选⽤⼯具 JIRA Confluen ce GitLab Mave n Junit Nexus Sonarqub e Jenkin s Slelenium RedWoodH Q Clair Registr y Elastic 对产品团队负责 • 负责开发任务的分解，任务下发 • 开发团队管理 • 功能接⼝性能测试 • 产品质量保证 • 测试团队管理 • 团队管理 • 为系统应⽤稳定性负责 • 定义监控指标 • 修改配置⽂件 • 应⽤运⾏稳定保障 • 功能接⼝性能测试 • 测试⽤例编写 • 产品质量保证 • 需求理解 • 编码实现 • 产出交付 ⽀撑的场景 需求管理 开发管理 持续部署 持续测试

Spring 91. Mockery 92. Netflix DGS 93. OpenTelemetry 94. Polars 95. Pushpin 96. Snowpark 评估 97. 基准配置文件 98. GGML 99. GPTCache 100. 语法性别 API 101. htmx 102. Kotlin Kover 103. LangChain 104. LlamaIndex 105 攻击路径分析 试验 攻击路径分析是一种分析和评估潜在攻击路径的安全分析方式，黑客可能按照这些来自组织内系统网络的潜在 攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域，例如错误的配置，脆弱的容器， 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 都提供了相应的支持程序，可以用来创建和配置这些服务，例如 Splunk、 Datadog、PagerDuty 和 New Relic。因此，我们建议团队除了云资源外，还应使用 Terraform 创建监控和告 警。这将实现更模块化的 IaC，更易于理解和维护。与所有 IaC 一样，同时使用多种方式进行配置变更，会带来 不一致的风险。所以，我们建议禁用通过用户界面和 API 的方式处理配置变更，确保 Terraform

Ingress控制器+Nginx • 支持子域名到服务路由 海尔工业互联网 - 微服务之配置管理 配置中心 应用-A 应用-B 应用-C 应用-D 配置中心优势 : • 配置简单 • 易用的用户界面 • 批量动态更新配置到应用 • 编程接口简单 • 镜像与配置分离 • 按项目管理配置 海尔工业互联网 - 微服务之服务集成 服务总线 APP-A APP-B APP-C Tenant #1 Tenant #2 Compass 1. 多集群多租户 2. CICD（github、gitlab，流水线配置） 3. 多镜像仓库（支持镜像同步） 4. 应用编排、模版、商店 5. 应用发布（灰度发布、滚动升级） 6. 应用弹性伸缩 7. 日志、监控告警 8. 配置管理 9. 多种存储（NFS、GlusterFS、Ceph、NAS） Compass Compass

发 布 软件定义网络跨节点通讯 统 一 集 中 运 营 管 理 gitlab jenkins helm ceph nfs prometheus filebeat elastsearch flanneld calico openstack kvm docker 镜 像 管 理 弹性伸缩 智能调度 配置管理 健康检查 服务发现 动态dns 负载均衡 容器监控 日志采集 应用监控 k8s-api配置对象 作用 k8s-namespace 通过配置文件关键字dev/test/prod等声明应用所属的环境，隔离不同环境业务，通过特定标识来识别业务线。 k8s-service k8s-dns注册服务名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。 k8s-app-name 容器host应用名称，deployment 名，通过配置文件关键字关联业务线应用名称，保持应用和k8s之间的关联。 通过封装协议解包收发包mtu1450，vxlan可以在分 布多个网段的主机间构建2层虚拟网络 。 2.host-gw 通过宿主机路由同步收发包，必需工作在二层。 1.系统启动，flanneld下发docker子网配置，docker启动获 取子网配置生成docker0 生成gateway网卡; 2.node1，node的kubelet收到指令创建一个新的pod容器; 3.docker开始创建pod,从flanneld下发子网池生成pod-ip-

• 支持第三方模板和镜像快速部署 完全开放的原生平台 • 紧跟Kubernetes和Docker社区，迅速同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 高性能基础设施 • 支持多种异构IaaS：虚拟机、物理机、ARM服务器 对接公私网络：虚拟私有网络、EIP公网 容器引擎CCE：基于开源Kubernetes和Docker技术的企业级容器服务 开源原生平台 商业增强特性 控制面 HA 跨AZ高可用 容器优雅缩容 多策略弹性伸缩 镜像加速 滚动升级 配置模板化 自动化构建 自动化部署 节点自动伸缩 GUI/CLI/API 物理共享集群 多语言多框架 Java/Python/Go/Node.js 第三方模板&镜像部署 K8S Helm/Docker 支持多租隔离、租户内部各用户之间的权限隔离，基于组织提供 镜像的访问权限管理 安全保障 组织级别隔离及镜像粒度权限控制，共同保障镜像安全 权限控制简单便捷 提供界面，分配镜像的访问权限 对接DevCloud、GitHub、GitLab，一键式完成从代码下载到 镜像构建的完整流程，并支持对接CCE完成镜像部署 高性能 支持大规模并发构建业务 自动化 代码更新时自动触发镜像构建 容器镜像服务SWR ：支持镜像自动化构建，实现源码到镜像的自动化流程

标准的CICD流程 Developer LOCAL DEV Jenkins 构建 Git Maven Docker kubectl Jenkins pipeline 开课吧CI/CD架构 GitLab Maven Repository(nexus) Registry 云厂商K8S pull install deploy push get status rolling update • 多云多K8S多环境平台建设的初衷 资源严格隔离：独占K8S，根据引入流量区分线上，线下 • 资源逻辑隔离：线下环境，通过智能路由，解决多环境 • 多云部署的目的 目的一 目的二 目的三 多K8S集群严格隔离 • 通过流量配置，区分不同云承 • 接不同流量（单元架构） 高可用 • 多云多冗余，包括数据的同步容易 降低成本 • 跟不同的云厂商有更多的议价空间 • 多云部署架构图 kaikeba1 Kaikeba2 get key1 set key1 abc Redis客户端（Jedis） get namespace1:key1 set namespace1:key1 abc 定时给Redis客户端下发配置 Redis虚机节点 应用2 get key2 sadd key2 aa bb cc Redis客户端（Jedis） get namespace2:key2 Sadd namespace2:key2

⽀支持以项⽬目为核⼼心的分级授权管理理；⽀支持系统管理理员、项⽬目管理理员和集群管理理员三种⻆角⾊色；对外开放 REST API；⽀支持国际化 i18n；提供 Web Kubectl 界⾯面；内置 Helm； ⽀支持多集群配置管理理（X-Pack）；⽀支持对接 LDAP/AD（X-Pack）；⽀支持⾃自定义 Logo 和 配⾊色（X-Pack）； 可观察性 内置 Prometheus，⽀支持对集群、节点、Pod、Container etcd 定期备份和⽴立即备份； 恢复 ⽀支持 etcd 备份策略略⽂文件恢复和本地⽂文件恢复； 安全合规 ⽀支持集群健康评分（X-Pack）； ⽀支持 CSI 安全扫描； 应⽤用商店 提供 GitLab、Jenkins、Harbor、Argo CD、Sonarqube 等 CI/CD ⼯工具；提供 Kuboard、Weave Scope、Redmine 等管理理⼯工具；提供深度学习AI 应⽤用，⽐比如 增强包功能 增强功能持续增加中 对接 LDAP/AD 界⾯面⾃自定义 消息中⼼心， 通过钉钉、微信通知各种 集群异常事件 集群健康评分 通过 F5 Big IP 对外暴暴露露服务 多集群配置管理理 多云时代技术领先的企业级软件提供商 www.fit2cloud.com THANK YOU www.fit2cloud.com 北北京· 上海海 · 深圳 · ⼴广州 · 南京 ·

pipeline deployment pipeline CI/CD Examples - Gitlab/Sonar/Jenkins Integration Events Trigger with payload Sonar tool Image Jenkins API Image • Gitlab webhook • On schedule • Registry notification what they want based on the payload CI/CD Examples - Gitlab/Harbor/Jira Integration Event payload can be passed to build task if needed gitlab new merge request event git log --pretty=oneline c5eff7ea