..........54 杭州飞致云信息科技有限公司 3 4.5 制作云磁盘快照.................................................................................................... 55 4.6 删除云磁盘快照......................................... 超融合基础架构（Hyper Converged Infrastructure，或简称 “HCI”）是指在同一套单元设备中不仅仅具备计算、网络、存 储和服务器虚拟化等资源和技术，而且还包括备份软件、快照技 术、重复数据删除、在线数据压缩等元素，而多套单元设备可以 通过网络聚合起来，实现模块化的无缝横向扩展（scale-out）， 形成统一的资源池。比较知名常见的超融合平台有 Nutanix、戴 虚拟机、操作系统、云磁盘、网络、安全组、弹性 IP，负载均衡、 RDS、对象存储、DNS 等。 虚拟机 Virtual Machine，指通过软件模拟的具有完整硬件系统功能的、 运行在一个完全隔离环境中的完整计算机系统。在实体计算机中 能够完成的工作在虚拟机中都能够实现。 云磁盘 云硬盘（Elastic Volume Service）是一种为 ECS 等计算服务提 供持久性块存储的服务，通过数据冗余和缓存加速等多项技术，

软件用起来才有价值，才有改进的机会 16 表 2: 支持场景列表 场景 子场景 是否支持 运行环境服务 虚拟机申请部署、变更 (单机、批量、集群、定时执行、克隆) 支持 磁盘申请部署、变更，快照创建及管理 支持 虚拟机申请时指定安全组、弹性 IP、负载均衡 支持 虚拟机部署后初始化操作系统环境、部署安全基线 支持 虚拟机部署后自动部署中间件数据库 支持 虚拟机部署后自动部署运维工具代理 资源投入成本费用使用量可视化，并持续分析优化、按需及自动 生成发送各类 IT 资源运营投入使用报告、优化建议报告。 针对存量资源，支持集中统一分级分组管理以及分权分域管理，给使用门户的各角色用 户创建账号以及隔离访问管理资源的资源管理工作空间，把账号和资源按需分配到相应的资 源管理工作空间; 批量自动化执行脚本自动化运维。 针对新资源供给服务，在后台创建管理发布虚拟机操作系统、中间件数据库等服务目录 账号同步云账号下资源。同步下来之后，就可以做后续的分权分域，类似微信群，把资源和 人按访问管理权限隔离到各个管理空间(项目/职能组/个人)，当把用户加入到某管理空间后， 用户登录云管后就能看到管理空间下的资源。  对于 VMware 资源同步，同步虚拟机、磁盘、镜像模版、VLAN 等资源信息；  对于 OpenStack 资源同步，同步虚拟机、磁盘、快照、镜像、VPC、子网、安全组、 弹性 IP 等。  对于阿里云、腾讯云、华为云、AWS、Azure

Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查基本架构 • 快照克隆服务器 独立于核心服务 储到支持S3接口的 对象存储，不限制数量 异步快照、增量快照 从快照/镜像克隆 ( lazy/非lazy ) 从快照回滚数据组织形式 • 底层 可用性 / 可靠性 扩展性 / 负载均衡 向上提供无差别文件流 • Application • 支撑块设备应用场景 块设备层面的快照功能 即为文件层面快照数据组织形式 • AppendFile • 地址空间到—>chunk: 1 : 1 • 采用append的方式写入数据组织形式 • AppendFile • 地址空间到—>chunk: 1 : 1 • 采用append的方式写入 • 支撑多副本对象存储 通过文件/特殊目录隔离 挖洞即时回收 单独的元信息的存储方案数据组织形式 4K随机写 4K随机读 61.12 % 67.8% 测试环境：6台服务器*20块SATA SSD，E5-2660 v4，256G，3副本场景 高性能高性能 • quorum机制：raft • 轻量级快照 • io路径上的优化 • filepool落盘零放大 • 轻量级线性一致性读 • io路径上用户空间零拷贝 10卷4K随机读写IOPS 294k 185k 330k 565k 4K随机写

超融合基础架构（Hyper Converged Infrastructure，或简称“HCI”） 是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等 资源和技术，而且还包括备份软件、快照技术、重复数据删除、在线数据 压缩等元素，而多套单元设备可以通过网络聚合起来，实现模块化的无缝 横向扩展（scale-out），形成统一的资源池。比较知名常见的超融合平台 有 Nutanix、戴尔的 、 操作系统、云磁盘、网络、安全组、弹性 IP，负载均衡、RDS、对象存储、 DNS 等。 虚拟机 Virtual Machine，指通过软件模拟的具有完整硬件系统功能的、运行在一 个完全隔离环境中的完整计算机系统。在实体计算机中能够完成的工作在 虚拟机中都能够实现。 云磁盘 云硬盘（Elastic Volume Service）是一种为 ECS 等计算服务提供持久性 块存储的服 等操作，并对数据做持久化存储 安全组 安全组是一种虚拟防火墙，具备有状态的数据包过滤功能，用于设置云服 务器、负载均衡、云数据库等实例的网络访问控制，控制实例级别的出入 流量，是重要的网络安全隔离手段。可以通过配置安全组规则，允许或禁 止安全组内的实例的出流量和入流量。 弹性 IP 是私有云、公有云中租户能够申请获取保留专用的公网 IP 地址。在私有云、 公有云中，如果指定给虚拟机分配公网

管理和存储元数据信息 • 感知集群状态，合理调度 • 数据节点 Chunkserver • 数据存储 • 副本一致性，raft • 客户端 Client • 对元数据增删改查 • 对数据增删改查 • 快照克隆服务器CURVE基本架构 01 02 03 04 ChunkServer架构 ChunkServer核心模块 新版本ChunkServer性能优化Curve ChunkServer是数据节点， CliService。成员变更相关操作 • CopySetService。创建copyset等操 作 • RaftService。Braft内置的service， 完成raft成员之间的选举，日志复制， 安装快照等操作。 ChunkServer架构CopysetNode封装了braft的Node，并 实现了braft的状态机，完成与raft的交 互。详细交互流程后面展开。 CopysetNodeManager负责管理 apply后再执行后面的操作。 ChunkServer架构CloneManager主要负责克隆相关的功 能，内部是一个线程池，主要负责异 步完成克隆chunk的数据补全。关于克 隆相关的内容将会在快照克隆相关介 绍文档中详细介绍。 ChunkServer架构Metric统计模块使用brpc中的bvar计数 器，统计一些IO层面和copyset层面的 一些指标，方便监控和跟踪。 Chun

元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点，负责元数据管理、集群状态收集与调度。MDS包含以下几个部分： • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 业务提供如下功能和非功能需求。 1. 故障域的隔离：比如副本的放置分布在不同机器，不同机架，或是不同的交换机下面。 2. 隔离和共享：不同用户的数据可以实现固定物理资源的隔离和共享。 • pool: 用于实现对机器资源进行物理隔离，server不能跨 Pool交互。运维上，建议以pool为单元进行物理资源的扩 容。 • zone: 故障隔离的基本单元，一般来说属于不同zone的机 器至少 ve支持 多个pool，可以选择一个logicalPool独享一个pool。 通过结合curve的用户系统，LogicalPool可以通过配置限定特定user使用的方式，实现多个租户数据物理 隔离（待开发）。TOPOLOGY Topology的实际例子，右侧是topo配置文件： 集群有一个物理pool，由3个zone组成，每个zone有1台server。 在物理pool上，还创建了一个

安全模块（LSM）框架文档。 Linux 的 namespaces 封装了一个全局系统资源到一个抽象的概念，全局系统资源在 namespace 内对进程可见，并且 namespace 有它们自己的全局资源隔离实例。对其它进程全局资源的可见性的改变是，同一个 namespace 的成员可 见，但是对非同一个 namespace 的其它进程不可见。从内核 5.6 版本起，有 8 种 namespaces (参见 (2021) 中, Debian 使用 unified cgroup hierarchy（统一 cgroup 层级架构）(亦称为 cgroups-v2)。 namespaces 同 cgroups 一起来隔离它们的进程，允许资源控制的使用示例是： • Systemd。参见第 3.2.1 节。 • 沙盒环境。参见第 7.6 节。 • Linux 容器，比如 Docker、LXC。参见第 9.11 Btrfs 上制作系统快照。 软件包 流行度 大小 说明 etckeeper V:26, I:30 164 使用 Git（默认）、Mercurial 或 GNU Bazaar 来保存配置文件和它 们的元数据 timeshift V:5, I:9 3421 使用 rsync 或 BTRFS 快照的系统恢复工具 snapper V:4, I:5 2419 Linux 文件系统快照管理工具 Table

策略，可以显著改善高优先级任务的调度延迟， 降低对其他任务的干扰。优化 NUMA balancing 机制，带来更好的亲和性、更高的使用率和更少 的无效迁移。 2. CPU 隔离机制增强：支持中断隔离，支持 unbound kthreads 隔离，增强 CPU 核的隔离性， 可以更好的避免业务间的相互干扰。 3. 进程间通信优化：pipe_wait、epoll_wait 唤醒机 制优化，解决唤醒多个等待线程的性能问题。 • Keystone 提供了 OpenStack 其余组件的认证信息和令牌的管理、创建、修改等功能，使用 MySQL 等数据库存储认证信息。 • Nova 提供虚拟机的创建、运行、迁移、快照等服务，提供 API 与控制节点对接，由控制节点下发任务，使用 nova-api 进行通信。 • Neutron 网络管理服务，提供了对网络节点的网络拓扑管理，负责管理私有网络与公有网络的通信、虚拟机网络之间通信 化架构或组件。具 备安全、轻量、高性能、低损耗、组件灵活拆分的特点。 StratoVirt 主要优势如下： • 强安全性：基于 Rust 实现语言级安全，模型设计上最小化攻击面， 实现多租户物理隔离。 • 轻量低噪：采用极简设备模型时，启动时间小于 50ms，内存底噪小于 4M，支持 Serverless 负载。 • 软硬协同：StratoVirt 支持 x86 的 VT，支持鲲鹏的 Kunpeng-V。

.................................................................................... 183 7.2.4 逻辑卷快照 .................................................................................................. 效果，以便进一步满足生产环境对硬盘设备的 I/O 读写速度和数据冗余备份机制的需求。 同时，考虑到用户可能会动态调整存储资源，本章还将介绍 LVM（Logical Volume Manager，逻辑卷管理器）的部署、扩容、缩小、快照以及卸载删除的相关知识。 35 ➢ 8 iptables firewalld ：本章讲解了 RHEL 7 中新增的 firewalld 防火墙与先前版本中 iptables 重装也会让人头疼，还会浪费我们的宝贵时间。而通过虚拟机软件安装的系统不仅可以模拟 出硬件资源，把实验环境与真机文件分离以保证数据的安全，更酷的是当操作失误或配置出 错导致系统异常的时候，可以快速把操作系统还原到出错前的快照状态—这大约只需要 5～ 10 秒（在真实的物理机上重装系统可能得至少 30 分钟）。 最近几年在讲课时，总会发现同学们使用的实验环境五花八门，有 CentOS、Debian，还 有老版本的 RHEL

文件系统阶段 14.3.3 放大 LV 容量： xfs_growfs 14.3.4 使用 LVM thin Volume 让 LVM 动态自动调整磁盘使用率 14.3.5 LVM 的磁盘快照： 创建传统快照, 以快照还原,用于测试环境 14.3.6 LVM 相关指令汇整与 LVM 的关闭 14.4 重点回顾 14.5 本章习题 14.6 参考资料与延伸阅读 第十五章 例行性工作调度 （crontab） Volume Manager） 14.3.5 LVM 的 LV 磁盘快照 现在你知道 LVM 的好处咯，未来如果你有想要增加某个 LVM 的容量时，就可以通过这个放 大的功能来处理。 那么 LVM 除了这些功能之外，还有什么能力呢？其实他还有一个重要的能 力，那就是 LV 磁盘的快照 （snapshot）。 什么是 LV 磁盘快照啊？快照就是将当时的系统 信息记录下来，就好像照相记录一般！ 未来若 移到快 照区，没有被更动的区域则由快照区与文件系统共享。 用讲的好像很难懂，我们用图解说明 一下好了： 图14.3.3、LVM 快照区域的备份示意图 左图为最初创建 LV 磁盘快照区的状况，LVM 会预留一个区域 （左图的左侧三个 PE 区块） 作为数据存放处。 此时快照区内并没有任何数据，而快照区与系统区共享所有的 PE 数据， 因此你会看到快照区的内容与文件系统是一模一样的。 等到系统运行一阵子后，假设