chunkid 持久化© XXX Page 2 of 3 1. 2. 3. 1. 2. 3. 4. 5. 6. 1. 2. 3. 4. 1. 1. 1. 2. 1. 2. 3. 4. 3. 2. 背景 将原有的获取chunkid的方法从space迁入mds中，并持久化写入etcd中；

© XXX Page 1 of 12 元数据持久化© XXX Page 2 of 12 前言 Raft Log Raft Snapshot 持久化文件 key_value_pairs 其他说明 实现 1、inode、entry 的编码 2、KVStore Q&A 单靠 redis 的 AOF 机制能否保证数据不丢失? redis 的高可用、高可扩方案？ redis + muliraft redis 中哈希表实现的优点？ 参考 前言 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： Raft Log：记录 operator log Raft Snapshot：将内存中的数据结构以特定格式 dump 到文件进行持久化© XXX Page 3 of 12 Raft Log +------+------------+-----+--- ------+----------------+---------+ 持久化文件 字段 字节数 说明 CURVEFS 7 magic number（常量字符 "CURVEFS"），用于标识该文件为 curvefs 元数据持久化文件 version 4 文件版本号（当文件格式变化时，可以 100% 向后兼容加载旧版持久化文件） size 8 键值对数量 key_value_pairs /

边云协 同框架等能力，进一步提升数字基础设施协同能力，构建万物互联的基础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 繁荣社区生态 • 友好桌面环境：UKUI、DDE 、Xfce、Kiran-desktop、GNOME 桌面环境，丰富社区桌面环境生态。 • 欧拉 DevKit：支持操作系统迁移、兼容性评估、简化安全配置 secPaver 等更多开发工具。 系统框架 openEuler openEuler 社区与上下游生态建立连接，构建多样性的社区合作伙伴和协作模式，共同推进版本演进。 平台框架 国际开源社区 处理器 行业 ISV 厂商 更广泛的 社区合作伙伴 操作系统厂商 共同参与 多样算力厂商 政府 运营商 安平 金融 电力 其他上游社区 坚持 Upstream First openEuler 开源社区 二次发行 直接使用 构建规范 社区开发 平台 版本发布 为了获得更好的体验，建议不小于 20GB 场景创新 09 openEuler 23.09 技术白皮书 场景创新 场景创新 10 openEuler 23.09 技术白皮书 异构通用内存管理框架（GMEM）特性 在后摩尔时代，GPU、TPU 和 FPGA 等专用异构加速器设备正不断涌现，它们与 CPU 类似，需要将数据放在本地内存（例 如 LPDDR 或 HBM）中以提高计算速度。加速

提供块设备服务，CurveFS会基于此实现。第一阶段的目标是实现 满足数据库场景的文件接口。 调研 开源fs 当前对已有的开源分布式文件系统进行了调研，主要包括系统架构，元数据内存结构，元数据持久化，调研文档如下： chubaofs: ChubaoFS© XXX Page 3 of 14 1. 2. 3. moosefs: https://kms.netease.co 依赖于第三方kv存储，目前是etcd CurveFS 单机内存元数据设计 类似 fastcfs 和 moosefs 的元数据设计方式，采用通用的 dentry，inode 两层映射关系，所有的元数据都缓存在内存中，持久化在 binlog 文件中，binlog采用定期dump的方式删除。基于这种方式的开发： a. 性能 加载：数据量较大的情况下，元数据节点启动较慢；但是元数据使用 master-slave master-slave 多副本数据 CurveFS 分布式元数据设计 类似 chubaofs 的元数据设计方式，同样是采用 dentry，inode 两层映射关系，所有的元数据都缓存在内存中。元数据是分片的，使用 multi-raft 持久化元数据以及保证多副本数据一致性。基于这种方式开发： a. 性能 由于元数据分片，获取元数据需要跟多个节点进行rpc的交互，因此性能相比单机要弱一些

5.8 5.9 5.10 5.11 5.12 5.13 5.14 openEuler 21.09 技术白皮书 04 02/ 平台架构 openEuler 21.09 技术白皮书 05 系统框架 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质 发展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础 双平面混合集群 OS 高效一键式安装，百节点部署时间 <15min。 探索场景创新 边缘计算：发布面向边缘计算场景的版本 openEuler 21.09 Edge，集成 KubeEdge+ 边云协同框架，具备边云应用 统一管理和发放等基础能力。 • 嵌入式： 发布面向嵌入式领域的版本 openEuler 21.09 Embedded，镜像大小 <5M，启动时间 <5S。 繁荣社区生态 友好桌面环境：UKUI、DDE 分布式套件 虚拟化/容器 边云协同套件 嵌入式套件 机密计算服务 欧拉 DevKit … 实时加速框架 机密计算框架 … Linux Kernel 实时内核 安全内核 … 场 景 使 能 层 基 础 服 务 层 内 核 openEuler 21.09 技术白皮书 06 平台框架 openEuler 社区与上下游生态建立连接，构建多样性的社区合作伙伴和协作模式，共同推进版本演进。

0 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10 4 5 openEuler 21.03 技术白皮书 openEuler WHITE PAPER 系统框架 openEuler 操作系统使用场景主要是服务器，包括基础加速库、虚拟化、内核、驱动、编译器、系统工具、OpenJDK 等组件。 创新架构，全栈优化，打造全场景协同的 One OS，充分释放多样性算力。 桌面系统 UKUI/DDE/Xfce DB Web 资源编排 消息中间件 内核热升级 文件系统 芯片、外设驱动 Linux Kernel 5.10 计算 架构 进程 管理 驱动 框架 内存分层 扩展 IO异步 通讯框架 虚拟化 增强 调度 管理 引领内核创新： • Linux Kernel 5.10 ：调度、IO、内存管理深度优化。 • 内存分层扩展 etMem：支持多种内存、存储介质统一管理，系统容量平滑扩展。 更多桌面环境支持：UKUI、DDE 、Xfce 桌面环境，丰富社区桌面环境生态。 平台架构 6 7 openEuler 21.03 技术白皮书 openEuler WHITE PAPER 运行环境 平台框架 openEuler 社区与上下游生态建立连接，构建多样性的社区合作伙伴和协作模式，共同推进版本演进。 国际开源社区 处理器 行业ISV厂商 更广泛的 社区合作 伙伴 操作系统厂商 共同参与

能，底层基于ext4文件系统，操 作实际的磁盘。 ChunkServer架构ChunkServer通过RPC网络层与client， MDS，其他ChunkServer通信。RPC 网络层是由brpc框架去完成的。包 括读写socket，rpc协议解析等。 ChunkServer架构RPC Service层是对外提供的一些RPC服 务的接口。包含的RPC服务有： • ChunkService。IO相关操作 绍文档中详细介绍。 ChunkServer架构Metric统计模块使用brpc中的bvar计数 器，统计一些IO层面和copyset层面的 一些指标，方便监控和跟踪。 ChunkServer架构并发控制层，负责对chunkserver的IO 请求进行并发控制，对上层的读写请 求安照chunk粒度进行Hash，使得不同 chunk的请求可以并发执行。 ChunkServer架构DataStore是对chunk落盘逻辑的封装。 克隆chunk的管理等等。 ChunkServer架构LocalFileSystermAdaptor是对底层文件 系统的一层抽象，目前适配封装了ext4 文件系统的接口。 之所以要做这层抽 象，目的是隔离了底层文件系统的实 际读写请求，如果将来curve要适配裸 盘或者采用其他文件系统，可以在这 层进行适配。 ChunkServer架构CURVE基本架构 01 02 03 04 ChunkServer架构

统版本，统一基于 Linux Kernel 6.6 构建， 对外接口遵循POSIX标准，具备天然协同基础。同时openEuler 24.03 LTS版本集成分布式软总线、KubeEdge+边云协同框架等能力， 进一步提升数字基础设施协同能力，构建万物互联的基础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 夯实云化基座 • 容器操作系统 KubeOS：云原生场景，实现 OS 双平面混合集群 OS 高效一键式安装，百节点部署时间 <15min。 新场景 • 边缘计算：发布面向边缘计算场景的版本 openEuler 24.03 LTS Edge，支持 KubeEdge+ 边云协同框架，具备边云应用统一管 理和发放等基础能力。 • 嵌入式： 发布面向嵌入式领域的版本 openEuler 24.03 LTS Embedded，镜像大小 < 5M，启动时间 < 5s。 繁荣社区生态 桌面环境，丰富社区桌面环境生态。 • openEulerDevKit：支持操作系统迁移、兼容性评估、简化安全配置 secPaver 等更多开发工具。 系统框架 openEuler 社区与上下游生态建立连接，构建多样性的社区合作伙伴和协作模式，共同推进版本演进。 平台框架 平台架构 06 openEuler 24.03 LTS 技术白皮书 openEuler 社区当前已与多个设备厂商建立丰富的南向生态，比如

5.7 5.8 5.9 5.10 5.11 5.12 5.13 5.14 openEuler 22.03-LTS 技术白皮书 05 openEuler 22.03-LTS 技术白皮书 04 系统框架 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质发 展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设 Linux Kernel 5.10 构建，对外接口遵循 POSIX 标准，具备天然协同基础。同时 openEuler 22.03 LTS 版本集成分布式软总线、KubeEdge + 边云 协同框架等能力，进一步提升数字基础设施协同能力，构建万物互联的基础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 引领内核创新 • 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 双平面混合集群 OS 高效一键式安装，百节点部署时间 <15min。 新场景 • 边缘计算：发布面向边缘计算场景的版本 openEuler 22.03 LTS Edge，支持 KubeEdge + 边云协同框架，具备边云 应用统一管理和发放等基础能力。 • 嵌入式： 发布面向嵌入式领域的版本 openEuler 22.03 LTS Embedded，镜像大小 <5M，启动时间 <5S。 繁荣社区生态

[等着管理员⾃⼰来送密码] [注: 某些操作肯定是需要事先⾃⼰想办法先拿到管理权限后才能正常进⾏的, 此处不再赘述 , 是防御重点] Windows SSP [持久化/内存] Hook PasswordChangeNotify [持久化/内存] OWA 登录账号密码截获 截获mstsc.exe中输⼊的rdp连接账号密码 linux 别名记录利⽤ 本机明⽂密码嗅探 [ http,ftp,pop3 Mof 传统远控 ... linux 单机系统维持 [临时] Patch SSH 替换各类基础服务so [ PAM,Nginx,Rsync ...] 系统计划任务 传统应⽤层远控 驱动层远控( 针对特定内核版本 ) 0x12 痕迹处理 web⽇志 [ 访问, 错误⽇志 ] 数据库⽇志 [ 异常连接⽇志,慢查询⽇志 ] 系统各类安全⽇志 [ ssh,rdp,smb wmi,powershell....] 各类邮箱登录⽇志 域内敏感攻击利⽤⽇志 [ ⾦票,银票... ] 此项为专业蓝队范畴,不再赘述 ...... 0x13 各类常⽤ C2 / 渗透 框架 CobaltStrike [⼆次开发] payload(beacon) 逆向/改进重写 Metasploit [⼆次开发] ...... 0x14 各类常⽤ Webshell 管理⼯具