顾静, 阿里云 邓隽, 阿里云 Kubernetes 异常配置检测框架 我们来自阿里云容器服务 • 顾静，研发工程师 • 邓隽，技术专家 我们参与打造 • 容器服务（ACK/ASK） • 容器镜像服务（ACR） • 服务网格（ASM） • … 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 Kubernetes 使用日常 • 应用部署 • Kernel 仅能检测 Kernel 相关问题 要求熟悉 bpftrace 语言 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 我们的目标 实现 Kubernetes 集群异常检测框架 支持集群多维度异常检测能力 支持集成开源检测组件 检测框架 Ver.1 { 自动化 Ver.1 自动化 Autopilot Engine Command Policy 边缘集群、GPU 集群 各类检测场景 • 节点、组件、配置等 • 集群升级、集群巡检 版本差异 * 类型差异 * 场景差异 检测项 Ver.1 优化点 检测代码在膨胀 检测能力迭代需要加速 检测框架 Ver.2 { 动态定制 动态扩展 Ver.2 DSL DSL (Domain-Specific Language) • 领域特定语言指专注于某个应用程序领域的计算机语言 • 目标受众为非程序员、业务员或最终客户

Inc. All Rights Reserved. 2 关于技术雷达 3 雷达一览 4 贡献者 5 本期主题 6 本期雷达 8 技术 11 平台 19 工具 25 语言和框架 36 Thoughtworks 技术雷达 © Thoughtworks, Inc. All Rights Reserved. Thoughtworks 技术雷达 关于技术雷达 Thoughtworker 论结果，从首席技术官到开发人员，雷达将会为各 路利益相关方提供价值。这些内容只是简要的总结。 我们建议您探索雷达中提到的内容以了解更多细 节。技术雷达的本质是图形性质，把各种技术项目 归类为技术、工具、平台和语言和框架。如果技术 可以被归类到多个象限，我们选择看起来最合适的 一个。我们还进一步将这些技术分为四个环以反映 我们目前对其的态度。 想要了解更多技术雷达相关信息，请点击： thoughtworks 年就撰写了有关此主题的文章，但问题并没有消失。在 这期雷达中，我们讨论了许多现代工具和技术，它们采用更加细致入微的方法来衡量软件的创造过程，但这仍 然不够。幸运的是，业界已经不再使用代码行数作为产出衡量标准。然而，衡量框架 SPACE 中 A（Activity，活 动）的替代方法，例如拉取请求的数量或已解决的问题的数量，仍然不足以成为衡量生产力的良好指标。相反， 行业已经开始关注“工程效能”：我们不应该衡量生产力

面向数据与智能 数据管理 大数据 机器学习 资源管理 深度学习 AI工具 API IOT中台 面向行业解 决方案 边缘计算 数据通道 数据分析 API 海尔工业互联网 - 微服务之框架支持 Netflix Config Server （git based） spring boot spring boot Kubernetes Eureka Ribbon Hystrix Trace Zuul Feign Springcloud： • 相对封闭 • 技术栈比较重 • 需额外维护注册中心 • 一些场景在容器平台中已不复存在 海尔框架： • Quickstart工具支持，填写应用名称，快速生成代码框架 • 充分借助容器平台功能 海尔工业互联网 - 微服务之负载均衡 V IP node node LB node pod node node E • 线性扩容 海尔工业互联网 –微服务之监控日志 Node PrometheusServer（Pod） Retrieval Storage PromQL Local Storage Web UI（Pod） Grafana（Pod） API Push Gateway Jobs / Exporters Prometheus Server Short-lived jobs pod

5个maintainer，commits 3144  CNCF初创成员，国内唯一白金会员  K8S社区技术指导委员会13席位之一，国内唯一  首批KSCP认证厂商之一  主导核心设计：主导设计集群联邦，支持多调度器框架、亲和性调度 策略， 集群部署、运维监控增强 ，安全加固 CNCF & Kubenetes 社区  全球TOP3、国内TOP1贡献： 7个maintainer，commits 1200+  CNCF/OCI基金会的初创会员、白金会员， K8S TOC 成员，12个 Maintainer 8 计算（ECS/BMS/ARM） 存储（EVS/OBS/SFS） 网络（VPC/EIP） 多样的生态接入 • 支持多语言多框架服务接入 • 支持第三方模板和镜像快速部署 完全开放的原生平台 • 紧跟Kubernetes和Docker社区，迅速同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 • 开源原生平台 商业增强特性 控制面 HA 跨AZ高可用 容器优雅缩容 多策略弹性伸缩 镜像加速 滚动升级 配置模板化 自动化构建 自动化部署 节点自动伸缩 GUI/CLI/API 物理共享集群 多语言多框架 Java/Python/Go/Node.js 第三方模板&镜像部署 K8S Helm/Docker Hub 第三方服务&工具 Kafka/Nginx/APM/Monitor 优势： 9

使得许多其他系统可以构建在Kubernetes上。 Kubernetes不是什么？ Kubernetes不是⼀个传统的，全⾯的PaaS系统。 它保留了⽤户的重要选择。 Kubernetes： 不限制⽀持的应⽤类型。不规定应⽤框架（例如 Wildfly ），不限制⽀持的语⾔运⾏时（例如Java，Python， Ruby），不局限于 12-factor applications ，也不区分应⽤程序和服务 。 Kubernetes旨在⽀持各种各样的⼯作负 Kubernetes旨在⽀持各种各样的⼯作负 载，包括⽆状态、有状态以及数据处理⼯作负载。 如果应⽤程序可在容器中运⾏，那么它应该能够很好地在 Kubernetes上运⾏。 不提供中间件（例如消息总线）、数据处理框架（例如Spark）、数据库（例如MySQL），也不提供分布式存储系 统（例如Ceph）作为内置服务。 这些应⽤可在Kubernetes上运⾏。 没有点击部署的服务市场。 01-什么是Kubernetes #!/overview? namespace=default 参考： https://kubernetes.io/docs/tasks/access-application-cluster/web-ui-dashboard/ 02-安装单机版Kubernetes 9 使⽤Kubespray部署⽣产可⽤的Kubernetes集群 （1.11.2） 前提：科学上⽹，或⾃⾏将gcr.io的镜像转成其他镜像仓库的镜像。

涉及的模块：全局管理、容器管理、云原生网络、云原生存储、精选中间件 版权 © 2023 DaoCloud 第 5 页 微服务治理 提供非侵入式流量治理功能，支持无感接入传统微服务、云原生微服务和开源微服务 框架，实现企业现有微服务体系及新旧微服务体系的融合治理，支持微服务从开发、 部署、接入、观测、运维的全生命周期管理，提供高性能云原生微服务网关，保证微 服务应用的连续可用性；引入自主开源的 eBPF 网格加速技术，全面提高流量转发效 集群的统一纳管，支持特定版本范围内的任意 Kubernetes 集群纳入容器管理范围， 实现云上、云下、多云、混合云容器云平台的统一管理。 ➢ 集群的快速部署，基于 DaoCloud 自主开源项目 Kubean 支持通过 Web UI 界面快速 部署企业级的 Kubernetes 集群，快速搭建企业级容器云平台，适配物理机和虚拟机 底层环境。 ➢ 一键式集群升级，一键升级 Kubernetes 版本，统一管理系统组件升级。 Service Mesh 两类云原生微服务注册中心。 版权 © 2023 DaoCloud 第 13 页 微服务流量治理 在流量治理层面，采用线上流量治理方案，可以快速与主流开源微服务框架集 成，用 Sentinel 和 Mesh 解决不同生产情况下的痛点。 ➢ 支持通过 Sentinel 使用流控、熔断降级、热点、系统、授权、集群流控等规则治理传 统微服务的东西向流量。 ➢

⾃自动容灾 持续集成 持续部署 灰度发布 服务注册/发现 关系数据库 KV存储 对象存储 块存储 DNS 消息队列列 API- Gateway 镜像仓库 统⼀一代码管理理 统⼀一编程框架 统⼀一通讯协议 统⼀一部署环境 计算平台/KUN 公共服务 存储平台 Think in Cloud . 北北京 基于RBAC实现 账号管理理隔离 01 IPv6 02 Operator管理理有 deployment Create Update Get Delete Operator Server 为⽤用户提供可视化 Web 操作⻚页⾯面，简化对各类⾃自 定义资源的管理理操作。 ⽤用户不不需要详细理理解具体的 CRD 结构，就可以在 Web ⻚页⾯面上快速 创建⼀一个 Redis 集群，并且可以看到集群⼀一步步创建的过程。同时 还可以对集群进⾏行行配置更更新、删除等操作。 Manager 聚合报警，调⽤用 Monitor Manager 提供的 Web Hook； • ⾃自研 Monitor Manager： A. 提供 Web Hook 给 Alert Manager，实现告警信息的发送，发送渠道包括邮件和微信； B. 告警组管理理； C. 互相监控探测功能； • 使⽤用 Grafana 实现 Web 可视化； Think in Cloud . 北北京 监控系统⾼高可⽤用⽅方案

Guard Duty 等产品中部署云原生安全组件；微软推出 Microsoft Defender for cloud 并持续更新云原生安全组件，为云原生安全提供 一体化保护平台；阿里云上线云安全中心、Web 应用防火墙等多个 云计算白皮书（2023 年） 8 云原生安全服务。安全厂商方面，多维度聚焦云原生安全产品建设。 随着云原生安全市场的扩张，传统安全厂商开始大规模转向云原生 安全产品建设，云原生安全初创厂商不断涌现。Palo 资源的操作系统方向演进。 向上来看，数字应用呈现出分布式、多模态、超大量级的特点。 以 ChatGPT 为例，ChatGPT 的模型参数已达千亿，且模型训练数据 涉及文本、图片、音视频等多个模态，基于分布式训练框架实现了 超大规模量级的并行计算，这对部署模型的云计算平台提出新的需 求。云计算的焦点不仅仅在提升单点应用的研运效能，更要发挥出 面向大规模分布式应用协调、分发、部署的中枢管控能力。模型构 建 数据为中心过渡。当前，产业各界逐渐开始探索以数据为中心的落 地方案，如阿里云发布云基础设施处理器 CIPU，并将其定位为代替 CPU 承担云计算服务管理和加速的关键处理器；云豹智能发布云霄 DPU，提出可编程通用 DPU 框架理念，并落地多个应用场景；中科 驭数发布 DPU 芯片 K2，能够实现 1.2 微秒低时延和最高 200G 网络 带宽。 以计算为中心向以数据为中心这一过渡变化，促使算力服务形 成全新架构，

Deployment Function 应用层 能力管理 用户体验层 Kubernetes Open Application Model（OAM） 一个用来构建云原生应用管理平台的标准规范与核心框架 OAM + OAM Platform UI Open Application Model Platform Kubernetes GitOps/持续集成 标准化定义应用组件 标准化配置应用运维能力 spec: workload: apiVersion: apps/v1 kind: Deployment spec: template: spec: containers: - name: web image: 'php:latest' env: - name: OAM_TEXTURE value: texture.jpg ports: - containerPort: 8001

组件增多 架构复杂 维护困难 架构演进 传统模式 K8S模式 应用开发 启动方式 日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 标准统一 运维简单 框架简单 编译 部署 应用开发 启动方式 日志采集 加载配置 监控采集 资源隔离 故障转移 资源调度 权限控制 编译 部署 2014年6月K8S开源 微服务的生命周期 第二部分 --proto_path=${ROOT}/examples/helloworld --go-test_out=pkg=main,paths=source_relative:. helloworld.proto • 业务代码中不要有框架、组件代码，减少单侧用例 • 业务代码做好接口级别单测，简单，快速 • protobuf工具的插件，拿到gRPC服务的描述信息，生成单元测试用例 • 业务人员只需要填写红框内容的断言内容，就可以完成单元测试 编译时间配置 • 启动应用，获取debug.ReadBuildInfo，注入框架版本号 https://ego.gocn.vip/ micro/chapter1/build.ht ml 微服务的部署阶段 注入信息 版本信息 发布版本 • 执行./bin/hello --version • 查看线上使用框架版本 https://ego.gocn.vip/ micro/chapter1/build