顾静, 阿里云 邓隽, 阿里云 Kubernetes 异常配置检测框架 我们来自阿里云容器服务 • 顾静，研发工程师 • 邓隽，技术专家 我们参与打造 • 容器服务（ACK/ASK） • 容器镜像服务（ACR） • 服务网格（ASM） • … 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 Kubernetes 使用日常 • 应用部署 • API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 增加检查项流程较复杂 kuberhealthy 在集群中运行 CronJob 实现检查 可以自定义检查项 无法检测集群核心组件配置 集群异常时无法进行检测 kube-hunter 适用于集群安全检测 仅能检测集群安全性 kubectl-trace

OpenShift Container Platform 4.13 认证和授权 为用户和服务配置用户身份验证和访问控制 Last Updated: 2024-02-17 OpenShift Container Platform 4.13 认证和授权 为用户和服务配置用户身份验证和访问控制 法律通告 法律通告 Copyright © 2024 Red Hat, Inc. The text property of their respective owners. 摘要 摘要 本文档提供在 OpenShift Container Platform 中定义身份提供程序的说明。它还讨论如何配置基于角 色的访问控制来保护集群的安全。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . API 身份验证 第 第 3 章 章 配置内部 配置内部 OAUTH 服 服务 务器 器 3.1. OPENSHIFT CONTAINER PLATFORM OAUTH 服务器 3.2. OAUTH 令牌请求流量和响应 3.3. 内部 OAUTH 服务器选项 3.4. 配置内部 OAUTH 服务器的令牌期间 3.5. 为内部 OAUTH 服务器配置令牌不活跃超时 3.6. 自定义内部 OAUTH

trademarks are the property of their respective owners. 摘要 摘要 本文档概述了 OpenShift Container Platform 中的构建和构建配置，并且说明了执行和管理构建的各 种方法。 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 构建（BUILD） 第 第 2 章 章 了解 了解构 构建配置 建配置 2.1. BUILDCONFIG 第 第 3 章 章 创 创建 建构 构建 建输 输入 入 3.1. 构建输入 3.2. DOCKERFILE 源 3.3. 镜像源 3.4. GIT 源 3.5. 二进制（本地）来源 3.6. 输入 SECRET 和配置映射 3.7. 外部工件 (ARTIFACT) 3.8. 将 DOCKER 1. 在全局范围内禁用构建策略访问 11.2. 在全局范围内限制用户使用构建策略 11.3. 在项目范围内限制用户使用构建策略 第 第 12 章 章 构 构建配置 建配置资 资源 源 12.1. 构建控制器配置参数 12.2. 配置构建设置 第 第 13 章 章 构 构建故障排除 建故障排除 13.1. 解决资源访问遭到拒绝的问题 13.2. 服务证书生成失败 第 第 14 章 章 为构

建（BUILD） ） 2.1. 理解镜像构建 2.2. 了解构建配置 2.3. 创建构建输入 2.4. 管理构建输出 2.5. 使用构建策略 2.6. 使用 BUILDAH 自定义镜像构建 2.7. 执行和配置基本构建 2.8. 触发和修改构建 2.9. 执行高级构建 2.10. 在构建中使用红帽订阅 2.11. 通过策略保护构建 2.12. 构建配置资源 2.13. 构建故障排除 2.14. 为构建设置其他可信证书颁发机构 HAT OPENSHIFT PIPELINES 第 第 4 章 章 GITOPS 4.1. 关于 RED HAT OPENSHIFT GITOPS 第 第 5 章 章 JENKINS 5.1. 配置 JENKINS 镜像 5.2. JENKINS 代理 5.3. 从 JENKINS 迁移到 OPENSHIFT PIPELINES 或 TEKTON 5.4. OPENSHIFT JENKINS 引擎的 Operator。它启用了多集群 OpenShift 和 Kubernetes 基础架构的 GitOps 工作流。使用 OpenShift GitOps，管理员可以在集群和开 发生命周期中一致地配置和部署基于 Kubernetes 的基础架构和应用程序。 如需更多信息，请参阅关于 Red Hat OpenShift GitOps 。 1.4. JENKINS Jenkins 自动化了构建

日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 标准统一 运维简单 框架简单 编译 部署 应用开发 启动方式 日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 编译 部署 2014年6月K8S开源 微服务的生命周期 第二部分 微服务的生命周期 开发 测试 部署 启动 调用 治理 微服务的开发阶段 配置 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 统一配置、调用用方式，降低开发心智负担 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 问题：每种开源组件的配置、调用方式、debug方式、记录日志方式都不一样 微服务的开发阶段 问题：gRPC未设置连接错误，阻塞模式报错不正确 Redis、MySQL连接数配置未设置？超时未设置？ 配置 对接 对接 Debug • 配置驱动 • 配置补齐 • 配置工具 • Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 // FailOnNonTempDialError only affects the initial dial, and does not do // anything useful unless you are also using WithBlock()

工具平台建设-从0到1 Jira Confluence 需求 开发 测试 Jenkins 测试平台 Maven Junit Sonar Qube Gradle Nexus Jmeter GitLab Bitbucket Svn 代码管理 构建与依赖 单元测试 代码扫描 安全 AWVS Burp Suit NPM Jacoco 发布 ITIL 1 ◼ 自主可控，又有核心竞争力 Artifacoy GitLab 构建 单元测试 代码扫描 AWVS Burp Suit NPM Jacoco ITIL 产品&需求管理 项目管理 测试管理 代码管理 制品管理 自动化测试 性能测试 安全 部署 Jmeter Xray Ansible 测试平台 分 析 与 度 量 基础设施 开发环境 SIT环境 UAT环境 生产环境 战略目标 效率 质量 成本 安全 配置管理 落地实践 Qube Gradle Artifacoy GitLab AWVS Burp Suit NPM Jacoco 发布平台 Jmeter Xray Ansible 测试平台 分 析 与 度 量 综 合 门 户 Pipeline 系统信息 代码管理 制品库 交付流水线 需求管理 版本管理 环境管理 ... ... ⚫ 流水线可视化配置； ⚫ 从系统维度对各个服务的流水线进行集成和串联；

• 4. MR 触发 Jenkins，Jenkins/Drone 触发 Sonar 代码质量检测系统； • 5. Sonar 将 report 和 issue 以 comments 的方式写到 Gitlab MR 中； • 6. Developer 对 MR 进行反复修复直至通过 Sonar 的分析； • 7. Reviewer 对 MR 进行 code review ，批准合并之后，feature/new_branch 查看 Docker 服务所占用的CPU和内存开销DroneDrone • 一款使用 Go 开发，基于容器技术的 CI/CD 系统，能够单独部署，支持几乎所有的 Git 平台（Github,Gitlab,Bitbucket,Gogs,Gitea 等）。 • 它的特点： • 一个 .drone.yml 搞定（简单） • 原生 Docker 支持: 任何步骤都是在 Docker 内执行的（环境隔离） 支持Cache（vendor，node_modules）：方便下次更快执行 • 支持触发其他CI服务： • Jenkins(plugins/drone-jenkins) • Gitlab-CI(plugins/drone-gitlab-ci) • Drone（plugins/drone-downstream） • 支持自定义插件（你可以自己实现自己所需的插件） • 本机测试 .drone.yml :

守护态运行 终止 进入容器 导出和导入 删除 访问仓库 Docker Hub 私有仓库 私有仓库高级配置 数据管理 数据卷 监听主机目录 使用网络 外部访问容器 容器互联 配置 DNS 高级网络配置 快速配置指南 容器访问控制 端口映射实现 配置 docker0 网桥 3 1.12.5 1.12.6 1.12.7 1.12.8 1.13 1.13 16.5 1.16.6 1.17 1.17.1 1.17.2 1.17.3 1.17.4 1.17.5 1.17.6 1.18 1.18.1 自定义网桥 工具和示例 编辑网络配置文件 实例：创建一个点到点连接 Docker 三剑客之 Compose 项目 简介 安装与卸载 使用 命令说明 Compose 模板文件 实战 Django 实战 Rails 实战 项目 安装 使用 Docker 三剑客之 Docker Swarm Swarm mode 基本概念 创建 Swarm 集群 部署服务 使用 compose 文件 管理敏感数据 管理配置信息 安全 内核命名空间 控制组 服务端防护 内核能力机制 其它安全特性 总结 底层实现 基本架构 4 1.18.2 1.18.3 1.18.4 1.18.5 1.18

指标统计 运营统计 编译打 包 代码质量 管理 多语⾔ 构建 安全管控 构建实 践 测试管理 功能测 试 性能测试 接⼝测 试 产出物管 理 持续构建与测试 ⾃动部 署 配置管理 环境管 理 数据库变 更 运维监 控 通知反馈 部署策 略 持续交付 ⼯具链 最佳实践 测试管理 规范 流⽔线建设 规范 敏捷开发 规范 流程协作与最 佳实践 平台培训 ⼯具培训 培训效果评估 LAB 环境建设 标准案例建设 知识库建设培训 成熟度评审 度量驱动改进 认证与改进体系 已选⽤⼯具 JIRA Confluen ce GitLab Mave n Junit Nexus Sonarqub e Jenkin s Slelenium RedWoodH Q Clair Registr y Elastic 对产品团队负责 • 负责开发任务的分解，任务下发 • 开发团队管理 • 功能接⼝性能测试 • 产品质量保证 • 测试团队管理 • 团队管理 • 为系统应⽤稳定性负责 • 定义监控指标 • 修改配置⽂件 • 应⽤运⾏稳定保障 • 功能接⼝性能测试 • 测试⽤例编写 • 产品质量保证 • 需求理解 • 编码实现 • 产出交付 ⽀撑的场景 需求管理 开发管理 持续部署 持续测试

Spring 91. Mockery 92. Netflix DGS 93. OpenTelemetry 94. Polars 95. Pushpin 96. Snowpark 评估 97. 基准配置文件 98. GGML 99. GPTCache 100. 语法性别 API 101. htmx 102. Kotlin Kover 103. LangChain 104. LlamaIndex 105 攻击路径分析 试验 攻击路径分析是一种分析和评估潜在攻击路径的安全分析方式，黑客可能按照这些来自组织内系统网络的潜在 攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域，例如错误的配置，脆弱的容器， 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 都提供了相应的支持程序，可以用来创建和配置这些服务，例如 Splunk、 Datadog、PagerDuty 和 New Relic。因此，我们建议团队除了云资源外，还应使用 Terraform 创建监控和告 警。这将实现更模块化的 IaC，更易于理解和维护。与所有 IaC 一样，同时使用多种方式进行配置变更，会带来 不一致的风险。所以，我们建议禁用通过用户界面和 API 的方式处理配置变更，确保 Terraform