CurveFS client 向上提供两层接口，分别是© XXX Page 3 of 11 对接fuse，提供通用文件系统接口。对于fuse接口，先前进行了一些调研，见FUSE调研 提供lib库，提供对接分布式数据库接口，这一部分，可参考polarfs的接口，如下图所示。 根据讨论，我们首先对接fuse的lowlevel operators，对于数据库的lib库接口，后续可以在此基础上再做一层对接。lowlevel +readdirplus +copy_file_range +lseek 关键接口分析 init void (*init) (void *userdata, struct fuse_conn_info *conn); 根据挂载信息，从mds获取文件系统信息（或superblock），块分配器（bitmap）和root inode所在的copyset、 metaserver block），缓存到client端。 destroy void (*destroy) (void *userdata); 清理init缓存的文件系统信息。 lookup void (*lookup) (fuse_req_t req, fuse_ino_t parent, const char *name); 根据parent inode id和name从denty缓存中找到对应的denty结构； 如果dentry缓存

ds/curvefs_mds wanghai+ 2642837 2589230 0 13:47 pts/156 00:00:00 ./bazel-bin/curvefs/src/client/fuse_client -f -o volume=/fs -o user=test -o conf=./curvefs/conf/curvefs_client.conf /tmp/fsmount 问题1：root用户无法访问挂载目录 4 of 33 查阅资料发现这是fuse的一种安全策略，默认是只有filesystem owner拥有该文件系统的访问权限，如果想要其他用户有权访问，需要在挂载参数中指定‘-o allow-root’ 或'-o allow-other'以允许相应用户有权访问该文件系统，如果挂载者不是root还需要在/etc/fuse.conf（/usr/local/etc/fuse.conf）中增加配置项“use 配置项是无值的）。详见libfuse官方文 档：https://github.com/libfuse/libfuse#security-implications # The file /etc/fuse.conf allows for the following parameters: # # user_allow_other - Using the allow_other mount option

: 用于生产临时的无名的普通文件，pathname指定一个目录。 O_TMPFILE libfuse open void(* fuse_lowlevel_ops::open)(fuse_req_t req, fuse_ino_t ino, struct fuse_file_info *fi)© XXX Page 6 of 23 Open a file Open flags are available file is opened. See fuse_file_info structure in <fuse_common.h> for more details. If this request is answered with an error code of ENOSYS and FUSE_CAP_NO_OPEN_SUPPORT is set in fuse_conn_info.capable, and release will also succeed without being sent to the filesystem process. Valid replies: fuse_reply_open fuse_reply_err Parameters req request handle ino the inode number fi file information© XXX Page

⽀持低延迟的⽂件数据访问Curve⽂件系统⾯临的问题 • ⽤户态实现 • 稳定性/可靠性⾼ • 容易更新及维护 • 基于FUSE提供POSIX兼容⽂件接⼝ • 问题 • 相对kernel⽂件系统的实现(ext4, xfs)性能 差异⼤，延迟⾼FUSE⽂件IO读写流程 • 场景1 pytorch example word_language_model • LOOKUP inode 关闭⽂件时会发送FLUSH请求和RELEASE请求FUSE⽂件IO读写流程FUSE的IO路径及瓶颈分析 • 对⽐测试 • ⽂件访问测试直接访问ext4 • 通过FUSE访问passthrough_ll底层ext4 • 内核调⽤延迟测试 • 与FUSE Daemon通讯120us左右，FUSE Daemon⼤概10us以内 • 瓶颈在/dev/fuse通讯开销基于FUSE可能的优化点 • 降低内核与libfuse通讯延迟 cache？实现POSIX兼容API途径及问题 • 基于FUSE的实现 • curve / ceph / gluster • LD_PRELOAD重载⽂件系统系统调⽤ • vpp / f-stack / DirectFUSE • Kernel版本实现 • BentoFS 基于rust的实现采⽤LD_Preload⽅式瓶颈分析 • 环境 • FUSE daemon使⽤ passthrough_ll

分布式系统，参考并设计解决上述遗留问题。 当前删除接口代码如下：© XXX Page 3 of 15 CURVEFS_ERROR FuseClient::RemoveNode(fuse_req_t req, fuse_ino_t parent, const char *name) { Dentry dentry; CURVEFS_ERROR ret = dentryMa 指的是文件的访问计数。当文件/目录被打开时， ，该文件/目录仍然可以被打开的进程访问，不会造成崩溃或报错，我们的curvefs也需要实现 即使文件/目录已经被另一个进程删除了（nlink==0） 这样的语义。 这部分内容在fuse的相关接口中也有描述如下： /** * Forget about an inode * * This function is called when the kernel removes internal caches. * * The inode's lookup count increases by one for every call to * fuse_reply_entry and fuse_reply_create. The nlookup parameter * indicates by how much the lookup count should be

write operation. CurveFS architecture Curvefs implements the file system interface based on FUSE. 1. Fs-meta Cluster is used to manage the inode and dentry metadata of files. The architecture metadata scalability is very good in this way. 2. Fs-data cluster is used to store file data. Curve-fuse Supports Object storage by S3 apis and CurveBS CurveBS performance considerations 1. CurveBS

。 所以，如果能对文件的多次空间申请分配连续的地址空间，则inode中记录的extent数量可以大大减少，能够降低整个文件系统的元数据量。 对于延迟分配和Inline file这两个特性，需要fuse client端配合完成。 空间分配 整体设计 分配器包括两层结构： 第一层用bitmap进行表示，每个bit标识其所对应的一块空间（以4MiB为例，具体大小可配置）是否分配出去。 在线扩容时，直接在新扩容的空间上，创建新的空间分配器进行空间管理。 文件系统重新加载时，再将所有的空间，按照上述的策略，进行分组管理。 接口设计 RPC接口 当前设计是把空间分配器作为内置服务放在元数据节点，所以请求的发起方是fuse client，元数据服务器接收到请求后，根据fsId查找到对应的文件系统的空间分配器后，将空间分配/回收的任务交给这个分配器进行处理，处理完成后，返回RPC。 空间分配器相关的RPC接口，及r

底座，完美支持云原生数据库的存算分离架 构 • Curve作为云存储中间件使用S3兼容的对象 存储作为数据存储引擎，为公有云用户提供 高性价比的共享文件存储 • 支持在物理机上挂载使用块设备或FUSE文件 系统开源社区 社区运营 生态共建 开源共建 源码兜底 技术领先 目标 方法 影响力 降本 获客 用户 开发者 操作系统 芯片 数据库 云原生 AI训练 大数据 社区生态Curve介绍 支持多挂载，提供close-to-open一致性 • 提供缓存加速，可使用内存、本地盘、云盘加速 • 存储后端可对接对象存储，降低成本 • 支持生命周期管理 Curve文件存储架构 • client：接受用户请求，采用fuse的方式挂载挂载使用。 • 元数据集群：mds 和 metaserver。 • mds：保存元数据，包括topo信息、文件系统信 息、元数据分布信息等，持久化到etcd中。 • metaser

Samsung. exfat-fuse V:6, I:136 73 read/write exFAT filesystem (Microsoft) driver for FUSE. exfat-utils V:4, I:123 231 utilities for the exFAT filesystem maintained by the exfat-fuse author. xfsprogs IRIX) ntfs-3g V:165, I:509 1470 read/write NTFS filesystem (Microsoft: Windows NT, …) driver for FUSE. jfsutils V:0, I:8 1577 utilities for the JFS filesystem. (IBM: AIX, OS/2) reiser4progs V:0, I:2 disk like device (supported natively on MS Windows NT and later version, and supported by NTFS-3G via FUSE on Linux) ISO9660 cross platform sharing of static data on CD-R and DVD+/-R UDF incremental data

exfat-fuse V:6, I:136 73 FUSE 读写 exFAT 文件系统（微软）驱动。 exfat-utils V:4, I:123 231 exFAT 文件系统工具，由 exfat-fuse 的作者维护。 xfsprogs V:21, I:96 3493 XFS 文件系统工具. (SGI: IRIX) ntfs-3g V:165, I:509 1470 FUSE 读写 NTFS 6.5 和 Linux 内核 5.4 版本以上的操作系统所支持) NTFS 在大硬盘类设备上的跨平台共享数据 (在 MS Windows NT 和后续版本原生支持；在 Linux 上，通过使用 FUSE 的 NTFS-3G 支持。) ISO9660 在 CD-R 和 DVD+/-R 上的跨平台的静态数据分享 UDF CD-R 和 DVD+/-R (新) 上的增量数据写入 MINIX 软盘上磁盘空间高利用率的