:/tmp/fsmount# strace ./main ... open("in.txt", O_WRONLY|O_CREAT, 0200) = 3 O_EXCL # O_WRONLY|O_CREAT|O_EXCL # in.txt 0200 root@pubbeta1-nostest2:/tmp/fsmount# strace ./main ... open("in.txt", O_WRONLY|O_CREAT|O_EXCL smount$ strace ./main ... open("in.txt", O_RDONLY) = -1 EACCES (Permission denied) # O_WRONLY|O_APPEND # in.txt 0400 nbs@pubbeta1-nostest2:/tmp/fsmount$ strace ./main ... open("in.txt" nt$ strace ./main ... open("in.txt", O_RDWR) = -1 EACCES (Permission denied) # O_RDWR # in.txt 0777© XXX Page 8 of 23 nbs@pubbeta1-nostest2:/tmp/fsmount$ strace ./main ... open("in.txt"

1 0 13:44 pts/213 00:00:00 ./bazel-bin/curvefs/src/space_allocator/curve_fs_space_allocator_main wanghai+ 2641514 1 0 13:44 pts/213 00:00:00 ./bazel-bin/curvefs/src/metaserver/curvefs_metaserver Version table: 2.2.52-3+b1 500 500 http://debian.hz.netease.com/debian-current stretch/main amd64 Packages root@pubbeta2-curve5:/home/nbs# apt-get install acl root@pubbeta2-curve5:/home/nbs# org/legacy/publications/library/proceedings/usenix03/tech/freenix03/full_papers/gruenbacher/gruenbacher_html/main.html https://blog.csdn.net/qq_34805255/article/details/89348483 https://blog.51cto.com/denglz/1341873

11 of 30 $ ETCDCTL_API=3 ./bin/etcdctl put foo bar $ ETCDCTL_API=3 ./bin/etcdctl get foo --write-out=json revision: 2 $ ETCDCTL_API=3 ./bin/etcdctl put foo bar $ ETCDCTL_API=3 ./bin/etcdctl get ETCDCTL_API=3 ./bin/etcdctl put hello world $ ETCDCTL_API=3 ./bin/etcdctl get foo --write-out=json revision: 4 $ ETCDCTL_API=3 ./bin/etcdctl get hello --write-out=json revision: 4 $ ETCDCTL_API=3 ./bin/etcdctl /bin/etcdctl put hello world $ ETCDCTL_API=3 ./bin/etcdctl get hello --write-out=json revision: 5 3.2.2 举例说明Campagin流程 场景描述：三个mds(mds1, mds2, mds3)，希望实现一个mds作为主提供服务，另外两个mds作为备在主挂掉的时候提供服务的功能。如果利用上述的Campagin进行选举，过程如下：

server接口获取文件系统元数据信息，调用meta server接口获取文件和目录信息等 与现有块设备client交互，调用块设备接口，对卷进行读写。 向上对接fuse接口，协调上述模块交互，实现功能。 main 主函数模块，类似deamon，接收mount消息并处理（fuse session）。 除上述功能以外，还需实现文件系统创建和fuse挂载工具，功能主要是： 创建文件系统，指定文件系统的名字、卷大小（多文件系统）、 server，可先不实现） copyset cache & topo cache （可先不实现） mds client meta server client curve client （适配层） fuse impl main© XXX Page 10 of 11 接口设计 相关接口设计，见curve文件系统元数据proto（代码接口定义，已实现） Cache设计 Client的重要部分，就是上述这些cache

Curve分布式⽂件存储 • ⾼性能、易运维、云原⽣Curve⽂件系统框架和主要应⽤场景 • AI机器学习场景 • ⼤数据计算场景 • 中间件数据存储场景 • ⽀持POSIX兼容的⽂件API • ⽀持低延迟的⽂件数据访问Curve⽂件系统⾯临的问题 • ⽤户态实现 • 稳定性/可靠性⾼ • 容易更新及维护 • 基于FUSE提供POSIX兼容⽂件接⼝ • 问题 • 瓶颈在/dev/fuse通讯开销基于FUSE可能的优化点 • 降低内核与libfuse通讯延迟 • 基于⽂件属性的操作内核直接返回？ • 基于⽂件数据的操作先内核读写 cache？实现POSIX兼容API途径及问题 • 基于FUSE的实现 • curve / ceph / gluster • LD_PRELOAD重载⽂件系统系统调⽤ • vpp / f-stack / DirectFUSE google android12 passthrough什么是eBPF • ebpf是不同环境下内核配置， 调试，监控⼯具 • map映射 • 验证器 • Hook • Helper api配置TCP Initial RTO • 场景 内核4.12之前 initial RTO是⼀个常数1s • 应⽤类型BPF_PROG_TYPE_SOCK_OPS • HOOK BPF_SOCK_OPS_TIMEOUT_INIT

Upper-layer applications can access file data in storage pools through interfaces such as NFS/HDFS/Posix api Manage multiple types of storage (object storage, HDFS storage, Elastic block storage) Support

服务器的优化块设备协议 • NBD • Linux专有块设备协议 • iSCSI • 广泛支持的外部设备协议（块，磁带等）Curve云原生存储支持块设备 • 通过NBD，只支持Linux • 通过SDK API，目前只支持Linux • PFS • 扩大使用范围 • 通过iSCSI支持更多系统，例如Windows, 类UNIX系统等，使用两项基础 技术 • TCP/IP • SCSI • 替代SAN

少，对文件系统的要求不高， 所以不需要元数据高性能，这方面PFS也合适10/17/22 6 对PFS的修改 ●基于阿里开源的PFS ●不再基于daemon模式，而是直接使用pfs core api ●依然向外提供管理工具, 例如 pfs ls、cp、rm等 ●增加spdk驱动10/17/22 7 新增PFS接口 ●增加pfs_pwritev和pfs_preadv接口 ●ssize_t

MDSClient：负责与MDS交互，挂卸载卷、获取元数据信息 CLIENT整体架构QEMU： 实现了QEMU block与Client的对接层 向cinder/glance提供了Python API https://github.com/opencurve/curve-qemu-block-driver NBD： 实现了Curve-NBD，与内核NBD模块进行交互 可以作为容器的数据存储