请注意，由于延迟时间⼩，通常少于1秒，在观察condition和产⽣污点的时间段内，启⽤此功能可能会稍微增加成功调 度但被kubelet拒绝的Pod的数量。 Capacity（容量） 描述Node上可⽤的资源：CPU、内存，以及可调度到该Node的最⼤Pod数。 Info（信息） 关于Node的⼀般信息，如内核版本、Kubernetes版本（kubelet和kube-proxy版本）、Docker版本（如果使⽤了Docker Controller创建的Pod会绕过Kubernetes调度程序，并且不遵循节点上的unschedulable属性。 因为，我们假设daemon进程属于机器，即使在准备重启时正被耗尽。 Node容量 Node的容量（CPU数量和内存⼤⼩）是Node对象的⼀部分。 通常来说，Node在创建Node对象时注册⾃身，并报告其 容量。如果您正在进⾏ manual node administration ，则需要在添加Node时设置Node容量。 io/google_containers/pause:0.8.0 resources: requests: cpu: 100m memory: 100Mi 13-Node 39 将 cpu 和 memory 值设置为您要保留的资源量。将该⽂件放在清单⽬录中（kubelet的 --config=DIR 标志）。 在想要 预留资源的每个kubelet上执⾏此操作。

舵手，领航员 helm 舵轮，驾驶盘 chart 图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使 能小于jvm中的Xms memory: "256Mi" cpu: "200m" limits: #资源限制，定义了容器最大可以消耗的资源上限，对应jvm中 的Xmx memory: "256Mi" cpu: "200m" #1核cpu为 1000m，这个m是mili（千分之一）的意思 ports: LimitRange资源在每个命名空间中为每个容器/pod指定最小及最大计算资源/内 存使用量限制，任何违反LimitRange定义的资源使用最大用量的请求都将被直接 拒绝 LimitRange对pod和容器的资源限制为cpu和内存使用量 LimitRange对PVC的资源限制为存储空间的使用量 资源限额只对新创建的资源生效，对于已经存在的对象不产生任何限制 limitrange和resourcequota都是有命名空间之分的

est。 最⼩申请：为该应⽤所需最⼩资源额度，包括 CPU 和内存两种资源。该资源由容器独占，以 防资源不⾜⽽被其他服务或进程争占资源，导致应⽤不可⽤。其中，CPU 资源的单位为 Core（即⼀个核）、内存的单位为 MiB。 最⼤申请：可指定该应⽤所能使⽤的最⼤资源额度，包括 CPU 和内存两种资源，防⽌占⽤过 多资源。其中，CPU 资源的单位为 Core（即⼀个核）、内存的单位为 MiB。 完成容器配置后，单击下⼀步。 iv. 进⾏⾼级设置。 可选：⽔平伸缩。您可勾选是否开启⽔平伸缩，为了满⾜应⽤在不同负载下的需求，容器服务 ⽀持容器组（Pod）的弹性伸缩，即根据容器 CPU 和内存资源占⽤情况⾃动调整容器副本数 量。 指标：可选 CPU 使⽤量和内存使⽤量，需要和设置的所需资源类型相同。 触发条件：资源使⽤率的百分⽐，超过设置的Pod request值，容器开始扩容。 最⼤副本数：该 Deployment 7。如不指定，默认为latest。 最⼩申请：为该应⽤所需最⼩资源额度，包括 CPU 和内存两种资源。该资源由容器独占，以 防资源不⾜⽽被其他服务或进程争占资源，导致应⽤不可⽤。其中，CPU 资源的单位为 Core（即⼀个核）、内存的单位为 MiB。 最⼤申请：可指定该应⽤所能使⽤的最⼤资源额度，包括 CPU 和内存两种资源，防⽌占⽤过 多资源。其中，CPU 资源的单位为 Core（即⼀个核）、内存的单位为 MiB。

Kubernetes特性： 自动装箱：构建于容器之上，基于资源依赖和其他约束自动完成容器部署。 自我修复：容器故障后自动重启、节点故障后重新调度容器，以及容器自我修复机制。 水平扩展：通过简单明了实现水平扩展，基于CPU等资源负载率的自动水平扩展。 服务发现和负载均衡：实现内部负载均衡可以实现服务访问负载。 自动发布和回滚：可以自动实现版本的发布和回滚。 秘钥和配置管理：对于密码等信息，专门提供了Secert对象为其解耦。 静态pod：不存储在etcd中，而是存放在某个具体的node上的一个具体文件中，并只在此node上启动运行。 每个pod可以设置限额，目前可以设置CPU和内存，cpu的单位为core的数量， 是一个绝对值而不是相对值。k8s中是以千分之一为最小单位，一般一个pod 设置为100m到300m，也是就是0.1-0.3个cpu。内存是以MB为单位 k8s设置2个参数： requests:该资源的最小申请量，系统必须满足的要求 limit 否需要针对性的调整Pod 的副本数，这是HPA的实现原理。HPA可以通过以下两种方式作为Pod负载的度量指标： 1. CPUUtilizationPercentage ，目标Pod所有副本自身的CPU利用率的平均值。比如设置Pod Request为0.4，当前为 0.2，那么就是50%。比如如果所有的超过了80% ，那么就自动创建Pod。高峰过去之后自动减少Pod 2. 应用程序自定义的度量指

k8s master CPU：2 核, 内存：8GB, 系统盘：40GB, docker 数据盘：80GB 3 台作为 k8s node CPU：2 核, 内存：16GB, 系统盘：40GB, docker 数据盘：40GB, ceph 数据盘：1TB *下面是 vSphere 上创建虚拟机的步骤： A1. 创建 k8s-master CPU：2 核, 内存：8GB，系统盘：40GB，docker resources: limits: cpu: 2000m memory: 1024Mi requests: cpu: 1000m memory: 1024Mi securityContext: and remove the curly braces after 'resources:'. # limits: # cpu: 100m # memory: 128Mi # requests: # cpu: 100m # memory: 128Mi autoscaling: enabled: false minReplicas:

predicate: ##cpu usage - name: cpu_usage_avg_5m maxLimitPecent: 0.65 - name: cpu_usage_max_avg_1h maxLimitPecent: 0.75 priority: ##cpu usage - name: cpu_usage_avg_5m weight: 0.2 - name: cpu_usage_max_avg_1h cpu_usage_max_avg_1h weight: 0.3 - name: cpu_usage_max_avg_1d weight: 0.5 Kube-apiserver Pod Pod NodeResourceUsage Annotator Patch node history reource usage annotation NPD & de-scheduler Ø NOde Problem

define regions and zones – add cloud provider ​What is NUMA? ​How to solve potential issues with CPU and memory intensive workloads ​Kubernetes default resource management ​How it works ​Extending consume as much of the system’s memory as possible. Where does this lead? Node 0 32GB Node 1 21GB 2 CPU Nodes – NUMA host When Linux initially allocates a threads, it is assigned a preferred node, by default + Namespace Level: • CPU • Units are millicores, 2000m = 2 cores • Memory • Mibibytes, 1000Mi = 1,048,576 bytes Supplemental “Metering” at the namespace level • Memory • CPU • Object counts • configmaps

规模化容器调度 稳定 资源竞争 容灾 负载均衡 CPU精细化分配 应用互斥/亲和 维度：应用、核心应用 拓扑：单机、AZ 节点负载感知 资源利用率预测• 丰富的调度策略 规模化容器调度 APIServer Scheduler Webhook 离线特征分析 调度策略中心 专家策略 调度规则 CR Update if need 1. cpu分配策略 2. 应用/单机打散策略 3. 应用互斥/亲和策略 4. …… Pod 1. CPU精细化分配 2. 应用AZ/Node打散 3. CPU敏感Pod打散 4. 节点CPU/Load感知 5. Pod近期最大cpu利用率感知• 节点负载均衡 规模化容器调度 Agent Pod Pod Pod Node 离线数据统计 应用预估峰 CPU值CR Agent Pod Pod Pod Node Agent

define regions and zones – add cloud provider What is NUMA? How to solve potential issues with CPU and memory intensive workloads Kubernetes default resource management How it works Extending the consume as much of the system’s memory as possible. Where does this lead? Node 0 32GB Node 1 21GB 2 CPU Nodes – NUMA host When Linux initially allocates a threads, it is assigned a preferred node, by default + Namespace Level: • CPU • Units are millicores, 2000m = 2 cores • Memory • Mibibytes, 1000Mi = 1,048,576 bytes Supplemental “Metering” at the namespace level • Memory • CPU • Object counts • configmaps

500 CPU占用率对比 裸金属容器CPU 虚机容器CPU 8 8 8.1 8.77 8.77 8.8 7.6 7.8 8 8.2 8.4 8.6 8.8 9 100 300 500 内存占用率对比 裸金属容器进程内存 虚机容器进程内存 对比结论： 在同等压力下裸金属容器的响应时延减少1 倍，裸金属容器应用的吞吐量相对于虚机 容器吞吐量增长1倍，但是cpu资源的占用 Windows Server在x86伺服器中的市占率高达6成。 CCE推出基于Kubernetes的Windows Server容器管理服务 • 完美兼容Kubernetes能力，支持容器CPU/内存资源编排，无状态/ 有状态应用模型等能力； • 可纳管最新的Windows 1709系统，支持启动Windows Native容 器。 12 CCE支持GPU异构计算能力，帮助企业高效灵活应用深度学习服务 试时间（6K用例测试时间由9小时降低到56 分钟） TCO降低50% ARM服 务器 裸金属容 器 Taishan server VNC Server CPU GPU 容器 容器 容器 容器 Taishan server CPU GPU 外设模拟 内测版本仓库 ReleaseMan 版本发布仓库 ReleaseMan 手机APP自动化测试 TestBird 服务端测试 TestMan