顾静, 阿里云 邓隽, 阿里云 Kubernetes 异常配置检测框架 我们来自阿里云容器服务 • 顾静，研发工程师 • 邓隽，技术专家 我们参与打造 • 容器服务（ACK/ASK） • 容器镜像服务（ACR） • 服务网格（ASM） • … 1 Kubernetes 典型异常 2 检测框架演进 3 生产实践 4 总结 Kubernetes 使用日常 • 应用部署 • API Server Pod Master API Server Pod Master API Server Pod Kubernetes 典型异常 网络异常 • 安全组、路由表配置错误 • 节点防火墙软件等修改 iptables、内核参数 • 网络链路长，手动排查成本高 异常影响 • 应用间无法正常通信 • 集群内 Controller 无法正常工作 YUM 安装自动运维工具 在集群中运行 CIS Benchmark 检测项依赖于 CIS Benchmark 内容 能发现集群核心组件配置错误 无法发现如 Flannel 组件异常 增加检查项流程较复杂 kuberhealthy 在集群中运行 CronJob 实现检查 可以自定义检查项 无法检测集群核心组件配置 集群异常时无法进行检测 kube-hunter 适用于集群安全检测 仅能检测集群安全性 kubectl-trace

12-Master与Node的通信 13-Node 14-Pod 15-Replica Set 16-Deployment 17-StatefulSet 18-Daemon Set 19-配置最佳实践 20-管理容器的计算资源 21-Kubernetes资源分配 22-将Pod分配到Node 23-容忍与污点 24-Secret 25-Pod优先级和抢占 26-Service 上，并结合了社区中最佳的创意和实践。 为什么使⽤容器 寻找你为啥要使⽤容器 的原因？ 01-什么是Kubernetes 4 部署应⽤程序的旧⽅法是使⽤操作系统的软件包管理器在主机上安装应⽤程序。这种⽅式，存在可执⾏⽂件、配置、库 和⽣命周期与操作系统相互纠缠的缺点。⼈们可构建不可变的虚拟机映像，从⽽实现可预测的升级和回滚，但VM是重 量级、不可移植的。 新⽅法是部署容器，容器基于操作系统级别的虚拟化⽽不是硬件虚拟 持在Kubernetes上运⾏CI⼯作流，⽽不强制⼯作流如何⼯作。 允许⽤户选择其⽇志记录、监视和警报系统。（它提供了⼀些集成。） 不提供/授权⼀个全⾯的应⽤配置语⾔/系统（例如 jsonnet ）。 不提供/不采⽤任何综合的机器配置、维护、管理或⾃愈系统。 另⼀⽅⾯，⼀些PaaS系统可运⾏在 Kubernetes上，例如 Openshift 、 Deis 、Eldarion 等。 您也可实现⾃⼰的定制

①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群的dns服务器或写入/etc/hosts文件 里。如： 主机名 ip地址 k8s-master1.cof-lee .conf文件及系统对外通信网口上配置有 默认路由；根据实际情况添加 # cat >> /etc/resolv.conf <配置selinux，则可关闭SELinux，若对安全性要求较高，则需自行配置 x，若对安全性要求较高，则需自行配置 # sed -i '/^SELINUX/s/enforcing/disabled/' /etc/selinux/config # setenforce 0 #关闭selinux ④ulimit设置 # cat >> vi /etc/security/limits.conf <

0 码力 | 126 页 | 4.33 MB | 1 年前

3

Spring 91. Mockery 92. Netflix DGS 93. OpenTelemetry 94. Polars 95. Pushpin 96. Snowpark 评估 97. 基准配置文件 98. GGML 99. GPTCache 100. 语法性别 API 101. htmx 102. Kotlin Kover 103. LangChain 104. LlamaIndex 105 攻击路径分析 试验 攻击路径分析是一种分析和评估潜在攻击路径的安全分析方式，黑客可能按照这些来自组织内系统网络的潜在 攻击路径进行攻击。此前的多数安全分析策略或工具主要聚焦在特定分线领域，例如错误的配置，脆弱的容器， 和常见漏洞上。这些孤立的方法意味着团队们不能看到这些风险与技术栈上其他层的弱点组合产生的危险攻击 路径。尽管这一技术已提出一段时间，但是近期安全分析工具的进展能使安全团队更易使用这项技术。Orca 都提供了相应的支持程序，可以用来创建和配置这些服务，例如 Splunk、 Datadog、PagerDuty 和 New Relic。因此，我们建议团队除了云资源外，还应使用 Terraform 创建监控和告 警。这将实现更模块化的 IaC，更易于理解和维护。与所有 IaC 一样，同时使用多种方式进行配置变更，会带来 不一致的风险。所以，我们建议禁用通过用户界面和 API 的方式处理配置变更，确保 Terraform

存储（EVS/OBS/SFS） 网络（VPC/EIP） 多样的生态接入 • 支持多语言多框架服务接入 • 支持第三方模板和镜像快速部署 完全开放的原生平台 • 紧跟Kubernetes和Docker社区，迅速同步最新版本 • 支持原生API调用和命令行操作 增强的商用化特性 • 通过自动化配置、构建、部署提升业务上线效率 • 通过跨可用区高可用和控制面HA提升业务可靠性 • 通过物理共享集群提供敏捷可靠的容器适应业务多样性 务 开源原生平台 商业增强特性 控制面 HA 跨AZ高可用 容器优雅缩容 多策略弹性伸缩 镜像加速 滚动升级 配置模板化 自动化构建 自动化部署 节点自动伸缩 GUI/CLI/API 物理共享集群 多语言多框架 Java/Python/Go/Node.js 第三方模板&镜像部署 K8S Helm/Docker Hub 第三方服务&工具 Kafka/Nginx/APM/Monitor 基因拼接/对比/注释 数据 分类 存储 核心数据 取回本地 自动化部署 数据库 SFS/OBS 计算 BMS/ECS/FPGA 应用编码服务 AOS 容器服务 CCE/CCI • 应用与资源编排模板化 • 容器化测序算子部署 基因测序业务流 基于容器的应用流 • 高性能计算资源整合 SaaS服务效率 60% 18 案例：企业级云容器服务，助力上海蓝鲸传媒容器化上云，提高SLA，降低人力成本

� ����������������� ������������� • IaaS：AWS、OpenStack与物理机 • PaaS：基于Kubernetes私有云平台， 支持CI/CD、配置管理、基于Helm的 服务编排等 基于Kubernetes平台概览 Kubernetes on AWS高可用架构 • 高可用性 • 容灾容错 • 监控报警 • 日志收集 更好的性能 • 使用Helm进行复杂容器编排 基于Kubernetes平台技术架构 基于Kubernetes的应用部署最佳实践 • 构建Docker镜像最佳实践 • 基于Helm的应用模板抽象 • 基于Kubernetes的 CI/CD� 构建Docker镜像最佳实践 预期 ������ ������ ������ 实践 ����� ������ �������� 用于部署复杂K8s应用，处理复杂的服务间依赖 • 查看发布历史与某一次发布的具体配置 • 基于Go模板语言，实现应用快速部署到K8s集群 基于Helm的应用模板抽象 • 模板+配置 • 参数化配置支持多个环境 • 管理应用的发布 • 复杂服务间依赖处理 基于Kubernetes的 CI/CD� 从持续集成到持续交付过程图示 • 将源代码、配置、脚本放于Git做 版本控制 • 各Repo做定期同步

All rights reserved. 背景和挑战 • 内部系统演进 每个项目自维护 难以规范和升级 01 脚本化 多个工具集成 最佳搭配 合力作战 03 平台化 抽象成工具 模板化 一键化 零散，不成体系 02 工具化 6 2017 Lenovo Internal. All rights reserved. 背景和挑战 • 挑战 依然不够自动化 服务割裂，申请流程 User Dev/Ops 13 2017 Lenovo Internal. All rights reserved. 容器云设计—部署和回滚 • 部署流程 or 回滚流程 console • 配置请求 • 部署请求 builder • 准备构建环境 • 生成Dockerfile • Build镜像 • Push镜像 kubernetes • 部署服务 1 3 4 Docker reserved. 容器云设计-- 企业权限设计 • 功能权限：允许或拒绝用户使用系统提供的某个功能 用户 user01 user02 角色 Admin OPS User 功能/资源 修改系统配置 增加服务模板 创建服务 * * * * 17 2017 Lenovo Internal. All rights reserved. 容器云设计-- 企业权限设计 • 业务权限/数据权限：允许或拒绝用户进行某个数据的增删改查操作

机制。 水平扩展：通过简单明了实现水平扩展，基于CPU等资源负载率的自动水平扩展。 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 存储编排：支持多种不同类型的存储，包括本地存储、云存储、网络存储等。 批量处理执行：除服务型应用，还支持批处理作业CI（持续集成），如有需要，一样可以实现容器故障后修复。 可以在资源对象定义时 确定，也可以在对象创建后动态添加和删除。 我们可以使用指定的资源对象绑定一个或者多个不同的lable来实现多维度的资源分组管理功能，以便于灵活、方便的 对资源进行分配、调度、配置、部署等工作。 Lable就是给资源对象打一个标签，然后通过Label Secletor（标签选择器）查询和筛选拥有某些Label的资源对象， k8s通过这种方式实现了类似SQL的简单和通用的对象查询机制。 意时刻都符合某个预期值。RC包含如下几部分： Pod期待的副本数（replicas） 用于筛选目标Pod的Label Selector 当Pod的副本数量小于预期数量的时候，用于创建新Pod的Pod模板（template） 当定义一个rc之后，master节点的controller manager组件就得到通知，定期巡检系统中存活的目标pod，并确保目 标pod实例的数量刚好等于此rc的期望值，

Replicas: 2 P1R1 P1R2 P2R1 SACC2017 在Kubernetes中部署Fabric SACC2017 • Fabric的应用面临几个问题： – 大量配置文件，繁琐且容易出错。 – 开发人员无法专注于应用开发。 – 基于Fabric身份管理的设计，网络中节点增减的步骤繁多。 – 节点的状态不易监控，节点宕机后需手动重启。 • 降低使用门槛，提高易用性成为区块链应用落地的 的 首要条件。 28 机遇与挑战 SACC2017 29 为什么采用Kubernetes • Fabric特点 • 组件都封装成容器，很方便部署在容器平台上 • 需要灵活地配置和调整 • Kubernetes优势 • 面向微服务架构的容器平台，扩展方便 • 提供高可用、监控管理、自动化运维等能力 • 具备多租户的能力，可运行多个互相隔离的 Fabric实例 现多租户的能力。 31 架构 - 网络 (1) SACC2017 • Chaincode容器的不在Kubernetes管理范围内，因此worker 都需对docker daemon进行DNS配置。 "--dns=10.0.0.10 --dns=192.168.0.1 --dns-search \ default.svc.cluster.local --dns-search \

A. 准备主机/虚拟机 安装 k8s 集群需要至少 4 台主机/虚拟机，下面是参考配置： 1 台作为 k8s master CPU：2 核, 内存：8GB, 系统盘：40GB, docker 数据盘：80GB 3 台作为 k8s node CPU：2 核, 内存：16GB, 系统盘：40GB, docker 数据盘：40GB, ceph 数据盘：1TB *下面是 vSphere vSphere 上创建虚拟机的步骤： A1. 创建 k8s-master CPU：2 核, 内存：8GB，系统盘：40GB，docker 数据盘：80GB step1. 从模板上新建虚拟机 Step2. 配置虚拟机网络 打开虚拟机的控制台： 设置主机名： hostnamectl set-hostname k8s-master 设置网络： cd /etc/sysc 数据盘：40GB，ceph 数据盘：200GB 【注】所有节点(k8s-master, k8s-node1, k8s-node2, k8s-node3)均需做以下 B~D： B. 升级&配置 centos7 Step1. 升级 linux 内核 uname –r wget https://cbs.centos.org/kojifiles/packages/kernel/4.9