Sealos是云操作系统发行版本 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 Linux发行版，如redhat Linux kernel CPU 内存 磁盘 有了 sealos 就可以一条命令构建一朵云 抛弃 IaaS PaaS SaaS 拥抱 云内核 架构 Heartbeat Heartbeat metabata Heartbeat metabata data 存储 openebs localPV Why: 1. 获得裸机磁盘性能 2. 多租户之间可以通过块进行隔离 3. 简单，非常轻量 4. 可通过 lvm 条带化增加性能 5. 非常适合给数据库这样用 缺陷: 1. 不在磁盘级别提供高可用 所以高可用交给 KB rocketmq 这些应用自身去解决 开发CRD 最好框架，follow k8s 技术栈 计算 Containerd/cloud hypervisor/firecracker 短链路/强隔离/高安全性 存储 Openebs/sealfs 块隔离同时享有本地存储性能 网络 cilium 高性能，可计量 网关 Higress 稳定性，reload 不中断，大规模 数据库编排 kubeblocks 稳定性，充分破坏性测试 Sealos

AMPLab就读期间创立 2013 2015 由硅谷著名投资公司Andreessen Horowitz投资，公司在2015年在 旧金山湾区成立，致力于推动开源项目和社区以及商业化 8 面向大数据和AI应用的内存级数据编排系统 数据编排层(Data Orchestration) Java File API HDFS Interface S3 Interface REST API POSIX Interface 服务器 大数据查询 大数据ETL 模型训练 Alluxio核心功能三：统一的文件系统抽象 Alluxio 服务器 Alluxio在云端AI训练场景的性能好处 • 支持大规模的数据缓存 • 本地内存加速 • 支持数据预热 • LRU缓存管理 Object storage (Fuse) Worker (local) Worker (remote) Master Training alluxio.user.ufs.block.read.location.policy LocalFirstAvoidEvictionPolicy Alluxio读取的数据块优先保存到本地，但是当本地空间不足时， 不会驱逐本地数据块而是将读取数据缓存到邻近节点 alluxio.worker.tieredstore.level0.dirs.quota 100GB 缓存存储的容量上限。 alluxio

舵手，领航员 helm 舵轮，驾驶盘 chart 图表，海图 ①k8s对系统要求 linux内核在3.10及以上，服务器规格2核cpu，2G内存及以上，可以装在虚拟机 里，也可以装在实体机上 ②规划主机名及ip k8s的服务器使用固定ip地址，配置主机名，要求能解析相应的主机名（master 结点）到对应的ip地址，可以使用内网集群 cof-lee.com 10.99.1.62 规划Pod网络： 10.244.0.0/16 规划Service网络： 10.7.0.0/16 # pod网络和service网络都要求为16位的地址块，且不能与环境中其他网络地址 段冲突 # hostnamectl set-hostname k8s-master1.cof-lee.com #设置主机名称，所有结 点分别设置 # cat LimitRange资源在每个命名空间中为每个容器/pod指定最小及最大计算资源/内 存使用量限制，任何违反LimitRange定义的资源使用最大用量的请求都将被直接 拒绝 LimitRange对pod和容器的资源限制为cpu和内存使用量 LimitRange对PVC的资源限制为存储空间的使用量 资源限额只对新创建的资源生效，对于已经存在的对象不产生任何限制 limitrange和resourcequota都是有命名空间之分的

和 Great Expectations 等工具自动化数据质量检查。 数 据可观测性可同时通过 Monte Carlo 等平台实现。 我们已经看到数据产品随着时间的推移，演变为多个用例的可重用构建块。随着我们在识别和构建价值驱动的 数据产品上的进展，后续用例的上市时间也随之加快。因此，我们的建议是，采纳针对 FAIR 数据的数据产品 思维。 技术 © Thoughtworks, Inc 声称更加面向应用程序而不是工作负载为中心。 21. 自托管式大语言模型 评估 大语言模型（LLMs）通常需要大量的 GPU 基础设施才能运行，但目前有强烈的推动力使它们可以在更简单的 硬件上运行。对大语言模型进行量化可以减少内存需求，使高保真度模型可以在成本更低廉的硬件甚至是 CPU 上运行。像 llama.cpp 这样的工作使大语言模型可以在包括树莓派、笔记本电脑和通用服务器在内的硬件上运 行成为可能。 许多组织 WebAssembly（WASM）运行时。尽管运行时本身与语言无关，我们 仍想对 Go 开发者们强调 wazero，因为它提供了一种很方便的方式， 使用任何 符合标准的语言 编写的 wasm 模 块来扩展你的 Go 应用程序。它不依赖于 CGO，所以你可以很容易地将你的 Go 应用程序交叉编译到其他平台。 尽管在选择 WASM 运行时 的时候你有很多候选项，但我们仍认为 wazero 值得评估。

选择对应集群 -> 查看设置是否成功 ⾸云提供了NAS⽂件存储服务，并且针对Kubernetes集群提供了⾃研的存储驱动的⽀持 创建⽂件存储 NAS 选择⽂件存储NAS后，选择右上的新建按钮可以创建⼀块新的NAS存储 存储管理 1.简介 2. 操作说明 13 在新⻚⾯中，依次选择可⽤区，输⼊名称，选择类型和容量，最后单击确定 在该⻚⾯，可以看到所配置的存储的价格 可以⽤去的选择要和容器 最⼩申请：为该应⽤所需最⼩资源额度，包括 CPU 和内存两种资源。该资源由容器独占，以 防资源不⾜⽽被其他服务或进程争占资源，导致应⽤不可⽤。其中，CPU 资源的单位为 Core（即⼀个核）、内存的单位为 MiB。 最⼤申请：可指定该应⽤所能使⽤的最⼤资源额度，包括 CPU 和内存两种资源，防⽌占⽤过 多资源。其中，CPU 资源的单位为 Core（即⼀个核）、内存的单位为 MiB。 Init Container：勾选该项，表示创建⼀个 进⾏⾼级设置。 可选：⽔平伸缩。您可勾选是否开启⽔平伸缩，为了满⾜应⽤在不同负载下的需求，容器服务 ⽀持容器组（Pod）的弹性伸缩，即根据容器 CPU 和内存资源占⽤情况⾃动调整容器副本数 量。 指标：可选 CPU 使⽤量和内存使⽤量，需要和设置的所需资源类型相同。 触发条件：资源使⽤率的百分⽐，超过设置的Pod request值，容器开始扩容。 最⼤副本数：该 Deployment

个具体的node上的一个具体文件中，并只在此node上启动运行。 每个pod可以设置限额，目前可以设置CPU和内存，cpu的单位为core的数量， 是一个绝对值而不是相对值。k8s中是以千分之一为最小单位，一般一个pod 设置为100m到300m，也是就是0.1-0.3个cpu。内存是以MB为单位 k8s设置2个参数： requests:该资源的最小申请量，系统必须满足的要求 limits：该资 变化而变化，由K8s集群管理员配置；而PVC和Pod是资源 的使用者，根据业务服务的需求变化而变化，由K8s集群的使用者即服务的管理员来配置。 PV可以理解成k8s集群找那个的某个网络存储对应的一块存储，与Volume很类似，但有以下区别： ①PV只能提供网络存储，不属于任何Node，但可以在每个Node上访问 ②PV并不是定义在Pod之上的，而是独立于Pod之外定义。 ③PV目前只有几种类型：GCE K8s基本概念和术语介绍（资源限制） 资源限制： Kubernetes通过cgroups提供容器资源管理的功能，可以限制每个容器的CPU和内存使用，比如对于刚才创建的 deployment，可以通过下面的命令限制nginx容器最多只用50%的CPU和128MB的内存： $ kubectl set resources deployment nginx-app -c=nginx --limits=cpu=500m

；如果节点不健康且不接受Pod，则 为 False ，如果node controller与Node失联40秒以上，则为“ Unknown MemoryPressure 如果node的内存存在压⼒，则为 True ——即node内存容量低；否则为 False DiskPressure 如果磁盘存在压⼒，则为 True ——即磁盘容量低；否则为 False NetworkUnavailable 请注意，由于延迟时间⼩，通常少于1秒，在观察condition和产⽣污点的时间段内，启⽤此功能可能会稍微增加成功调 度但被kubelet拒绝的Pod的数量。 Capacity（容量） 描述Node上可⽤的资源：CPU、内存，以及可调度到该Node的最⼤Pod数。 Info（信息） 关于Node的⼀般信息，如内核版本、Kubernetes版本（kubelet和kube-proxy版本）、Docker版本（如果使⽤了Docker Node Controller是⼀个Kubernetes Master组件，管理Node的各个⽅⾯。 Node Controller在Node的⽣命周期中具有多个⻆⾊。⾸先，是在注册时将CIDR块分配给Node（如果CIDR分配已打 开）。 译者按：CIDR（⽆类别域间路由）：http://blog.csdn.net/xinianbuxiu/article/details/53560417

Kubernetes 集群资源管理理和调度 容器器技术提供资源隔离 应⽤用程序管理理 Kafka on Kubernetes 设计 Kafka 容器器 • 内存、CPU、⽹网络和存储 调度 Kafka 容器器 内存 CPU 和⽹网络 内存 和 CPU • 依照集群类型测试基准数据 容器器⽹网络 • 容器器采⽤用独⽴立的内⽹网 IP ⽅方案 存储 容器器挂载服务本地⽬目录 Kafka 保证重要 Topic ⾼高可⽤用 • 客户端与服务器器注册联动 指标维度 举例例 Kubernetes 3 容器器内存、CPU、运⾏行行状态 Broker 14 消息量量，JVM, Leader分布，磁盘消耗 Topic 13 消息量量，消费延迟 主机 4 内存、⽹网络、CPU、磁盘 客户端 2 ⽣生产或消费 Topic 消息量量 监控 业务解耦 容器器⽇日志通过本地代理理收集

• 高性能 存储层 - 数据格式 etcd KubeBrain 能否使用类似的格式？ 1. 否 2. 底层存储引擎全局有序，有写热点那问题 Etcd 以 Revision 为 Key 内存 Btree 索引维护 key 和 revision 的映射关系 存储层 - 数据格式 KubeBrain 逻辑层 逻辑层 – 写 逻辑层 – Watch（1） Watch 机制本质上是一个消息队列系统 一定有一个单点对消息进行排序 采用主从架构 逻辑层 – Watch（2） 一主多从 1. 仅主节点负责写入和事件生成 2. 从节点只读 逻辑层 – Watch（3） • Master 内存中保留最近写入的 事件 • 写入滑动窗口记录并发写操作的 结果 • 消费滑动窗口中的数据实现有序 的 Event 推送 • 当前消费的最大位置为 Brain 层 的 Committed 读 Unary -> Stream 代替分页，降低延迟 内存高效复用，避免 OOM 读优化 - 2 多分片并发读 通过并发，大大减少读时延 读优化 - 3 读写分离 follower 可以无限扩展，没有 raft 同步问题 读写之间无相互影响 读优化 - 4 Count 优化 基于周期性 Compact 统计，存在内存 降低时延，减轻存储压力 Watch 优化 - 1 写性能提升带来直接收益

8.2 8.4 8.6 8.8 9 100 300 500 内存占用率对比 裸金属容器进程内存 虚机容器进程内存 对比结论： 在同等压力下裸金属容器的响应时延减少1 倍，裸金属容器应用的吞吐量相对于虚机 容器吞吐量增长1倍，但是cpu资源的占用 却只多出60%左右，同时裸金属容器的进 程占用的内存减少10%。 11 国内首发Windows容器服务：帮助企业实现海量Windows应用轻松容器 dows Server在x86伺服器中的市占率高达6成。 CCE推出基于Kubernetes的Windows Server容器管理服务 • 完美兼容Kubernetes能力，支持容器CPU/内存资源编排，无状态/ 有状态应用模型等能力； • 可纳管最新的Windows 1709系统，支持启动Windows Native容 器。 12 CCE支持GPU异构计算能力，帮助企业高效灵活应用深度学习服务