Introduction 3 什么是kubernetes Kubernetes是⼀个旨在⾃动部署、扩展和运⾏应⽤容器的开源平台 。 使⽤Kubernetes，您可以快速有效地回应客户需求： 快速、可预测地部署应⽤。 动态缩放您的应⽤。 ⽆缝地推出新功能。 仅对需要的资源限制硬件的使⽤ 我们的⽬标是构建⼀个⽣态系统，提供组件和⼯具以减轻在公共和私有云中运⾏应⽤程序的负担。 Kubernetes是 01-什么是Kubernetes 4 部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的虚拟化⽽不是硬件虚拟化。这些容器彼此隔离并且与宿主机隔离：它们有 ⾃⼰的⽂件系统，看不到对⽅的进程，并且它 的级别。 松耦合，分布式，弹性，解放的微服务：应⽤程序分为更⼩、独⽴的部件，可动态部署和管理——⽽不是⼀个运⾏ 在⼀个⼤型机上的单体。 01-什么是Kubernetes 5 资源隔离：可预测的应⽤程序性能。 资源利⽤：效率⾼，密度⾼。 为什么我需要Kubernetes，它能⼲啥？ 最基本的功能：Kubernetes可在物理机或虚拟机集群上调度和运⾏应⽤容器。然⽽，Kubernetes还允许开发⼈员将物理

竞争的下一个主战场。 来源：Gartner，2023 年 4 月 图 2 2022 年全球各区域云计算市场规模占比 从厂商层面来看，云计算巨头借助云+AI 等技术优势不断扩大 领先地位。AWS、微软凭借投入时间早、地区布局广、云+AI 等技 术优势，长期稳居全球云计算市场第一梯队。两家巨头厂商在体量 很大的情况下，仍保持快速增长。财报数据显示，2022 年 AWS 和 微软营收分别达到 801 亿美元、1012 智能云践行“云智一体”发展路线，充分结合 AI 能力与自身云基础 设施能力，发布全栈自研的 AI 大底座。 安全防护方面，云原生安全成为厂商抢占市场的新赛道。近年 来，云原生采纳率大幅攀升，据 Gartner 预测，到 2025 年超过 95% 的应用将会采用云原生技术。与此同时，用户对云原生安全的需求 日渐加强，各大厂商建设重心向高效、灵活、全面的云原生安全转 变。云厂商方面，大力发展云原生安全能力保障云上安全。云原生 for cloud 并持续更新云原生安全组件，为云原生安全提供 一体化保护平台；阿里云上线云安全中心、Web 应用防火墙等多个 云计算白皮书（2023 年） 8 云原生安全服务。安全厂商方面，多维度聚焦云原生安全产品建设。 随着云原生安全市场的扩张，传统安全厂商开始大规模转向云原生 安全产品建设，云原生安全初创厂商不断涌现。Palo Alto 目前已部 署基于 Prisma Cloud

ab里 取消挂载 # vi /etc/fstab # swapoff -a #取消所有swap挂载 ⑥NTP服务需要开启，使用集群内的ntp server，确保集群时间的一致性 # yum install chrony -y # systemctl enable chronyd # systemctl start chronyd # cat > resourceQuota-testxx.yaml ★第7章、pod控制器 pod控制器是由kube-controller-manager组件提供的一些资源，负责控制pod的创 建、删除、重新调度、运行时间等。常用的pod控制器有ReplicaSet, Deployment, DaemonSet, Job, CronJob等，如果pod被删除，则可以重新拉起一个 ★通过kind: Pod创建的容器组，在kubectl 件信息的HTTP接口被叫做exporter Promethus特点： 支持多维数据模型：由度量名和键值对组成的时间序列数据 内置时间序列数据库TSDB 支持PromQL查询语言，可以完成非常复杂的查询和分析，对图表展示和告警 非常有意义 支持HTTP的Pull方式采集时间序列数据 支持PushGateway采集瞬时任务的数据 支持服务发现和静态配置两种方式发现目标

相关问题 要求熟悉 bpftrace 语言 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 我们的目标 实现 Kubernetes 集群异常检测框架 支持集群多维度异常检测能力 支持集成开源检测组件 检测框架 Ver.1 { 自动化 Ver.1 自动化 Autopilot Engine Command Policy Executor Task 在集群运维操作前识别 导致操作异常的问题 集群巡检 现象 • Node 节点新增安全组，一段时间后发现 Node 节点状态 异常 原因 • 集群 Master 节点和 Node 节点处在不同的安全组中且安 全组并未相互放开。新建安全组仅对新建连接生效，不会 拦截已有连接，因此一段时间后问题才会浮现 预防 • 配置安全组后可通过集群巡检功能检测集群安全组配置是否 符合预期 安全组

de被纳入集群管理，kubelet进程就会定时向Master节点汇报自身的 情况，比如操作系统等信息，这样Master就可以获取每个Node节点的资源使用情况合理的进行调度。如果Node节点在 指定时间不上报，那么Master就会认为它“失联”，标记成“Not Ready”状态。 Node节点上运行一组关键进程： kubelet：主节点代理，负责Pod对应的容器的创建启停等任务，同时与Master节点密切协作，实现集群管理的基本功 资源可以定义任意数量的Lable，同时一个lable也可以被添加到任意数量的资源对象上去，Lable可以在资源对象定义时 确定，也可以在对象创建后动态添加和删除。 我们可以使用指定的资源对象绑定一个或者多个不同的lable来实现多维度的资源分组管理功能，以便于灵活、方便的 对资源进行分配、调度、配置、部署等工作。 Lable就是给资源对象打一个标签，然后通过Label Secletor（标签选择器）查询和筛选拥有某些Label的资源对象， 实现的，在K8s中查看pod状态的命令如下： /opt/bin/kubectl --server=127.0.0.1:8888 get pod 这里能看到Pod的NAME、状态、重启的次数、启动时间等，查看node、service等方法类似，前面需要加上 /opt/bin/kubectl –server=127.0.0.1:8888 43 www.h3c.com Confidential 秘密

规模及性能优化实践性能优化 RT/QPS 资源使用率 链路RT/QPS 服务异常 队列长度 gRPC监控 长连接分布 请求分布 限流 Authorization Authenticatio n 序列化 压缩 版本转换 Admission Cache Storage Filter Chain API 存储 Kube-APIServer Webhook ETCD 数据构建 压测场景 node 5s 0.3s• 稳定性保证 规模化容器调度 稳定 资源竞争 容灾 负载均衡 CPU精细化分配 应用互斥/亲和 维度：应用、核心应用 拓扑：单机、AZ 节点负载感知 资源利用率预测• 丰富的调度策略 规模化容器调度 APIServer Scheduler Webhook 离线特征分析 调度策略中心 专家策略 调度规则 CR Update if need 1. cpu分配策略

工程师的大部分工作都是在 做数据预处理的部分，而可视 化 UI 则可以大大减少 AI 工程 师的工作量。 AI 工具及其研发框架的整合 模型训练资源池管理 • AI 模型训练会耗费巨大的资源并且长时间占用 • 多个用户在模型训练时需要通过队列的方式来解决资源短缺 问题 • 需要对不同用户进行资源池划分 模型管理与发布 • 模型发布： • 模型服务的负载均衡 • 硬件资源的规划 networking和GPU TensorFlow 介绍 • TensorFlow™ 是一个使用数据流图进行数值计算的开源软件 库。图中的节点代表数学运算， 而图中的边则代表在这些节 点之间传递的多维数组（张量 。这种灵活的架构可让您使 用一个 API 将计算工作部署到桌面设备、服务器或者移动设 备中的一个或多个 CPU 或 GPU。 TensorFlow 最初是由 Google 机器智能研究部门的

此同时记录了组织技术和业务的演进过 程。RFCs 可以成为促进演化架构的宝贵工具。不过，为了获得最佳效果，我们建议组织采用轻量级的 RFCs 方 法。如果不限定范围并明确要点，这些文件往往会随着时间的推移而变得越来越长，类似于传统的解决方案架 构文件一样最终被归档和遗忘。 3. 具有可访问性意识的组件测试设计 试验 在软件交付进程中，可访问性要求是 Web 组件测试阶段的一种考察指标。尽管诸如 攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域，例如错误的配置，脆弱的容器， 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 和 Wiz 是两个此类工具。我们建议管理复杂基础设施的团队在为组织设计安全策略或选择安全分析工具时考虑这 项技术。 5. 自动合并依赖项更新 团队来说，致命弱点仍然是依赖项中存在漏洞，通常是来自于多层的间接依赖项。Dependabot 等工具可以通 过创建拉取请求（PR）来更新依赖项。不过，团队仍然需要制定工程纪律，以确保及时处理这些 PR，尤其是 对长时间不活跃的应用程序或服务提交的 PR。 如果系统具有广泛的测试覆盖范围——不仅有完善的单元测试，还包括有功能和性能测试，并且构建流水线必 须运行所有这些测试以及安全扫描，我们更提倡自动合并依赖项更新

Proto的管理 • 错误码管理 • 调试gRPC • 调试信息 • 错误定位 Check • gRPC的error可以理解为远程error，他是在另一个服务 返回的，所以每次error在客户端是反序列化，new出来 的。是无法通过errors.Is判断其根因。 • 将gRPC的错误码注册到一起，然后通过FromError方式， 利用map唯一性的判别，转化为本地错误，使用 errors.Is来判断根因。 错误码管理 • 调试gRPC • 调试信息 • 错误定位 • 展示各种组件gRPC、HTTP、MySQL、Redis、Kafka调试信息 • 六元组（配置名、请求URL、请求参数、响应数据、耗时时间、执行行号） • 响应数据结构是否正确 • 响应是否有错误 微服务的开发阶段 • 遵循Fail Fast理念，核心错误尽早panic • Panic的错误码，组件、配置名、错误信息 • 高亮显示 依赖注入 解除依赖很好，但成本很高 基础设施将所有依赖构建起来，就不要让研发用代码去实现 微服务的部署阶段 注入信息 版本信息 发布版本 • 注入应用名称、应用版本号、编译所在机器、编译时间配置 • 启动应用，获取debug.ReadBuildInfo，注入框架版本号 https://ego.gocn.vip/ micro/chapter1/build.ht ml 微服务的部署阶段

涉及的模块：全局管理、容器管理、微服务治理、服务网格、可观测性、应用工作 台、云原生网络、云原生存储 可观测性 基于日志、链路、指标、eBPF 等技术手段，全面采集服务数据，深入获取请求链路信 息，动态观测、多维度掌控集群、节点、应用和服务的实时变化，通过统一控制面实 现所有集群及负载观测数据的查询，引入拓扑分析技术可视化掌握应用健康状态，实 现秒级故障定位。 涉及的模块：全局管理、容器管理、可观测性、云原生网络、云原生存储 用健康状态，不仅提供告警能力以及全面、清晰、多维度数据可视化能力，兼 容主流开源组件，而且提供快捷故障定位及一键监控诊断的能力。 可观测模块实现了指标、日志、链路的统一采集，支持对指标、日志进行多维 度的告警并提供简洁明了的可视化管理界面。 主要功能如下： 版权 © 2023 DaoCloud 第 11 页 ➢ 提供容器、服务、节点和集群等多维度的监控 ➢ 支持查询 CPU、内存、存储、网络等监控指标