Volcano-scheduler … Kube-apiserver Job/JobFlow Queue vc-controller vc-scheduler vsub kubectl Node NUMA GPU Node NUMA GPU … VolcanoGlobal 架构 多中心 低成本 无绑定 VG Scheduler ETCD Karmada Controllers K8s ub.com/volcano-sh/volcano kubectl apply -f https://raw.githubusercontent.com/volcano-sh/volcano/master/installer/volcano-development.yaml volcano-scheduler-configmap 示例 vcjob 示例 Volcano 内部机制 kube-apiserver Queues Jobs run and finish Jobs wait in Queue until resource are ready Jobs run and finish master Queue1 Queue2 QueueN 动态资源共享 • 队列资源预留/队列容量 • 基于权重提供队列间资源共享 Cluster resources Queuer1 with

内存服务器，该服务器可用于快速原型设计或针对API进行开发。在此模式下， Connect已启用，默 情况下将在启动时创建新的根CA证书。此模式不适用于生产用途，因为它不会将任何数据写入磁盘。 ● disable-host-node-id：将此设置为true将阻止Consul使用来自主机的信息生成确定性节点ID，而 生成将保留在数据目录中的随机节点ID。在同一主机上运行多个Consul代理进行测试时，这非常有用 在版本0.8 5之前的Consul中默认为false，在0.8.5及更高版本中默认为true，因此您必须选择加入基 主机的ID。使用https://github.com/shirou/gopsutil/tree/master/host生成基于主机的ID ，这是 HashiCorp的Nomad共享的 ，因此如果您选择使用基于主机的ID，那么Consul和Nomad将使用信 在主机上自动在两个系统中分配相同的ID。 ● ，“debug”，“info”，“warn”和“err”。您始终可以通过consul monitor并使用任何日志级 连接到代理。此外，可以在配置重新加载期间更改日志级别。 ● -node：群集中此节点的名称。这在群集中必须是唯一的。默认情况下，这是计算机的主机名。 ● -node-id：在Consul 0.7.3及更高版本中可用，即使节点或地址的名称发生更改，这也是该节点的 一标识符。这必须是十六进制字符串的形式，长度为36个字符，例如

CgroupQuota Cgroup CpuLimit Nice值调整 Kill机制 8 Agent管理 时序图 Agent注册 Agent启动首先向Consul获取Master服务列表， 并向Master发起Agent注册逻辑，获取agent id 配置获取 从Consul中获取当前agent的配置组列表，并 启动多个采集进程 配置变更感知 watch到Consul对应的agent 知配置变化，并对启动的进程列表做重启清理 等工作 管理多Beats/logstash Beats等以agent子进程启动其管理这些进程的 cpu/内存等资源 Agent Consul Master 获取master列表 向master发起Agent注册逻辑 返回agent id 增删改策略 获取策略列表 启动管控收集进程 watch配置变化 9 Agent运行时 10 日志接入 购买云ES

consul agent -data-dir /tmp/node0 -node=node0 -bind=192.168.64.59 -datacenter=dc1 -ui - lient=192.168.64.59 -server -bootstrap-expect 1 consul agent -data-dir /tmp/node1 -node=node1 -bind=192.168.64.94 -datacenter=dc1 -datacenter=dc1 -ui consul agent -data-dir /tmp/node2 -node=node2 -bind=192.168.64.249 -datacenter=dc1 -ui client=192.168.64.249 consul join 192.168.64.59 consul members -rpc-addr=192.168.64.59:8400 agent -data-dir /tmp/node0 -node=node0 -bind=192.168.64.59 -datacenter=dc1 -ui -server bootstrap-expect 1 consul agent -server -bootstrap-expect 3 -data-dir /tmp/consul -node 192.168.64.59-datacen er

个人主页：https://ulricqin.github.io/ 大纲 • 云原生之后监控需求的变化 • 从Kubernetes架构来看要监控的组件 • Kubernetes所在宿主的监控 • Kubernetes Node组件监控 • Kubernetes控制面组件监控 • Kubernetes资源对象的监控 • Pod内的业务应用的监控 • 业务应用依赖的中间件的监控 云原生之后监控需求的 变化 云原生之后监控需求的变化 syscall 等）做一些简 单计算。有很多采集器可以选择： Telegraf Grafana-agent Datadog-agent node-exporter Categraf Kubernetes Node 组 件的监控 Kubernetes Node - 容器负载监控 抓取方案 • Pod或者容器的负载情况，是一个需要关注的点，容器层面主要关注CPU和内存使用情况，Pod 层面主要 containerd 都可以采集到，推荐 { 抓取方案一 } • 左侧这个配置大家在网上比较容易搜到，通过kubernetes_sd_configs做服务发现，查找所有node，通过 Kubernetes apiserver 的 proxy 接口，抓取各个node（即kubelet）的 /metrics/cadvisor 接口的 prometheus 协议的数据 • 这个抓取器只需要部署一个实例，调用 apiserver

容器 - K8s Node (VM/BM) 业务POD 业务POD 业务POD CNI vSwitch / Bridge DeepFlow 采集POD (HostNet) DaemonSet • 零干扰：无需对vSwitch和Node做任何配置、不监听任何端口 • 全自动：DaemonSet POD部署运行，随K8s自动扩展 • 零侵入：不侵入业务POD，可采集所有业务POD及本Node流量 虚拟化 零干扰：无需对vSwitch和KVM做任何配置、不监听任何端口 • 零依赖：用户态进程部署运行，无任何Lib依赖 • 零侵入：不侵入业务VM，一个进程采集所有业务VM流量 虚拟化 - KVM 业务VM 业务VM 业务VM (K8s Node) vSwitch / Bridge DeepFlow 采集器进程 业务 POD 业务 POD 采集 POD br • 宿主机+KVM + K8s混合场景，自动切换流量采集，最低消耗采集全网 业务 Co., Ltd. All rights reserved. 全栈混合云：KVM 宿主机+容器 K8S 虚拟机Node vSwitch DeepFlow 采集器进程 业务 POD 业务 POD 采集 POD br 业务 POD 全栈混合云：KVM 宿主机+容器 K8S 虚拟机Node vSwitch DeepFlow 采集器进程 业务 POD 业务 POD 采集 POD br 业务 POD

aS层的构建起到了非常重要的作用 现在 Node A 业务逻辑 熔断器 服务发现 网络堆栈 Node B 业务逻辑 熔断器 服务发现 网络堆栈 Node A 业务逻辑 网络堆栈 Node B 业务逻辑 网络堆栈 熔断器 服务发现 熔断器 服务发现 SideCar SideCar Node A 业务逻辑 网络堆栈 Node B 业务逻辑 网络堆栈 熔断器 服务发现

Interrogation Service++(探针) Observability K8s Operator 1 2 3 来源: https://github.com/goharbor/harbor/blob/master/ROADMAP.md Backup & Restore Windows Containers IAM&RBAC Networking(IPV6) 参与贡献Harbor社区 [1] io/g/harbor-users lists.cncf.io/g/harbor-dev 03 02 01 github.com/goharbor/community/blob/ master/MEETING_SCHEDULE.md 隔周周三晚21：00点 zoom拨入 #harbor #harbor-dev @project_harbor slack.cncf.io

制 应用透明，全局管理视角，细粒度安全策略 Check&Report机制影响通信性能，并只涉及到服务 通信级别的安全，对node没有防护 Calico零信任 主要针对Node层的访问控制，可以让攻击者难以横向移动，隔离了风险 应用透明，全局管理视角，细粒度安全策略，针 对Node层面构建安全 采用IpTables，有一定的性能消耗 Cilium零信任 采用eBPF,为Mesh打造具备API感知和安全高效的网络层安全解决方案， 为Mesh打造具备API感知和安全高效的网络层安全解决方案， 克服了Calico SDN安全和性能方面的不足 应用透明，全局管理视角，细粒度安全策略，针 对Node层面构建安全，端到端安全需要和以上安 全方案集成。 说说应用基本依赖的四大件：数据库、存储、中间件和大数据 下单服务 交易支付 支付网关 锁定库存 库存数据库 前台类目 商品查询 BFF 商品数据库 文件存储 logging MQ 交易数据库 大数据 营销分析

RAINBOND⾃自身⽇日志管理理机制 1.3 ⽇日志来源，以及相关原理理 node服务功能与⻆角⾊色 rbd-eventlog组件功能与⻆角⾊色 NODE服务会监视DOCKERD进程，观察其创建与销毁容器。获取⽂件系统中容器⽇志的路径，
 监视来⾃容器标准输出和标准错误输出，并以UDP协议分发到RBD-EVENTLOG组件。 接收来⾃NODE服务的推送，⽤WEBSOCKET协议将⽇志内容推送到⽤户所操作的应⽤控制台。