V的早期版本引入的，后改进为O_NONBLOCK) flags中必须access mode：O_RDONLY, O_WRONLY, O_RDWR其中之一；© XXX Page 4 of 23 文件创建标志只影响打开操作, 文件状态标志影响后面的读写操作 file creation flags: O_CLOEXEC, O_CREAT, O_DIRECTORY, O_EXCL, O_NOCTTY, O_NOFOLLOW, O_TMPFILE offset 指向文件尾（file offset的修改和write操作在一个原子操作中完成）。 O_APPEND O_NONBLOCK O_NDELAY: O_NONBLOCK和O_NDELAY所产生的结果都是使I/O变成非阻塞模式(non-blocking)，在读取不到数据或是写入缓冲区已满会马上return，而不会阻塞等待。差别在于：在读操作时，如果读不到数据，O_NDELAY会使I/O 函数马上 ，并且设置errno为EAGAIN。 : 每次write都等到物理I/O完成，包括write引起的文件属性的更新。 O_SYNC O_DSYNC: 每次write都等待物理I/O完成，但是如果写操作不影响读取刚写入的数据，则不等待文件属性更新（在linux 2.6.33之前只有O_SYNC flag， 但是在绝大多数文件系统中对O_SYNC的实现都是O_DSYNC的含义，在2.6.33版本支持了O_DSYNC

----+----------------+---------+----------+ 字段 字节数 说明 type 1 操作类型，共有以下 2 类： SET (0X01)：ADD 和 UPDATE 都可以转换成 SET 操作 DEL (0X02)：当为 DEL 操作时，value_length 和 value 则为空 key_length 4 key 长度 key $key_length waldump : curvefs.dump) }; Q&A© XXX Page 9 of 12 单靠 redis 的 AOF 机制能否保证数据不丢失? 不能，因为 AOF 与 SET/DEL 这些操作不是同步进行的，即使刷入文件配置项 开启最高级别的 always 选项，也有可能丢失一个事件循环的数据，实现如下： appendfsync // : call(...) // propagate( 感觉不是很划算 redis 中哈希表实现的优点？ 主要是当哈希表需要扩桶的时候，rehash 过程中 redis 采用了均摊/渐进式的思想，把 rehash 中的性能损耗均摊在每一次 SET/DEL 操作中（如 rehash 总耗时 1 秒，均摊给 100 个请求，那么每个请求只增加延时 10 毫秒），rehash 过程如下： 哈希表渐进式 rehash 的详细步骤： (1) 为 ht[1]

filesystems)。挂载参数‘default_permissions’用于启用内核自己的权限检查，而不是将权限检查推迟到文件系统，除了文件系统的任何权限检查之外，内核还会进行检查，并且两者都必须成功才能允许操作 。 。 。 内核执行标准的 UNIX 权限检查 如果文件系统在打开设备 fd 时的初始功能协商期间启用了 ACL 支持，则此挂载选项将被隐式激活。 在这种情况下，内核执行 ACL 和标准的 unix STICKY: 仅设置在目录的其他用户权限位的执行权限上。如果在某个目录上的权限设置为多个用户都拥有写权限，那就意味着凡是拥有写权限的用户都能直接管理该目录中的所有文件名，包括改名文件及删除文 件名等操作；因此需要在这样的目录上设置STICKY特殊权限；如果此类目录设置了STICKY，则所有用户即便拥有写权限，也仅能删除或改名所有者为其自身的文件； # STICKY # chmod o+t DIR VolumeExtentList volumeExtentList = 13; // TYPE_FILE only } 创建目录、文件时设置uid、gid、mode信息 client对文件操作前进行鉴权 实现chown chmod进行权限更改© XXX Page 20 of 33 fuseuid gid struct fuse_ctx { uid_t uid;

Service层是对外提供的一些RPC服 务的接口。包含的RPC服务有： • ChunkService。IO相关操作 • CliService。成员变更相关操作 • CopySetService。创建copyset等操 作 • RaftService。Braft内置的service， 完成raft成员之间的选举，日志复制， 安装快照等操作。 ChunkServer架构CopysetNode封装了braft的Node，并 ChunkService到达的I/O请求的实际处 理过程。请求到来时，封装一个 OpRequest，将上下文保存在里面，然 后发起Propose提交给raft，等raft apply后再执行后面的操作。 ChunkServer架构CloneManager主要负责克隆相关的功 能，内部是一个线程池，主要负责异 步完成克隆chunk的数据补全。关于克 隆相关的内容将会在快照克隆相关介 绍文档中详细介绍。

高性价比的共享文件存储 • 支持在物理机上挂载使用块设备或FUSE文件 系统开源社区 社区运营 生态共建 开源共建 源码兜底 技术领先 目标 方法 影响力 降本 获客 用户 开发者 操作系统 芯片 数据库 云原生 AI训练 大数据 社区生态Curve介绍 01 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化RAFT协议简介 基于rocksdb的存储引擎 • 要求存储的元数据的大小不超过内存的大小 • raft apply的请求，数据都在内存，直接修改 内存中的数据 • raft snapshot，为避免快照对正常操作的影 响，利用操作系统的内存写时复制技术， fork一个进程创建完整的状态机的内存快照， 后台遍历内存，把内存的数据持久化到本地 磁盘 基于memory的存储引擎 • 存储元数据量不受内存大小限制 • raft 件不是打快照的状态，而是最新的状态，回放日志时，把数据重写一遍。Curve对RAFT的优化 优化点二： chunkfile pool 问题背景： Chunkserver使用基于ext4实现的本地文件系统，由于写操作存在较大的IO放大，因此在创建chunk 文件时会调用fallocate为文件预分配固定大小的空间，但是即便fallocate以后，在写文件未写过的块 时仍需要更改元数据，存在一定的IO放大。 解决思路：

情况，测试软件的性能和稳定性是否符合预期。  规模测试 测试模块在一定规模下是否能够正常工作，是否 会出现异常或者崩溃， 14/33系统测试 系统测试是对整个系统的测试，将硬件、软件、操作人员看作一个整体，检验它是否有不符 合系统说明书的地方。它是一个黑盒测试，可以发现系统分析和设计中的错误。 Curve的系统测试一般是由QA来完成，包含：  常规测试，主要是新增功能的手工测试； 选择最常用的参数值作为基础组合，在此基础上每次改变一个参数， 生成新用例。 16/33 我们可以依据Given-When-Then模式来编写具体的测试用例： Given —— 测试上下文 When —— 执行一系列操作 Then —— 得到一系列可观察的后果，即需要检测的断言·异常自动化测试实践 Robotframework  支持python关键字，灵活定义测试  完善的测试报告  完美兼容Jenkins 配置化（测试环境、测试负载定义）  控制用例时间（考虑一些折中方案）  Case独立性  Case通用性（兼顾curve、ceph等）  Tag规范(优先级、版本、运行时间)  最大化覆盖率（打乱操作顺序、随机 sleep）  精确性（checkpoint）  稳定性（避免环境因素、其他模块干扰） Curve使用Robotframework框架进行异常自动化测试， 相关代码见curve/robot

dentry可以抽象成 key : fsid+parentId+name , value : struct dentry； 分别从不同场景上进行分析，curve文件系统的元数据应该有以下的操作： 1、系统加载的时候，元数据从持久化介质加载。 2、业务运行过程中，元数据的增删改查。 3、系统退出的时候，元数据持久化。© XXX Page 7 of 24 场景一：系统加载的时候，元数据从持久化介质中加载。 映射的机器上。 生成记录 200 + E → 300 5、client给server1发送请求： 修改记录 "C"的inode link++ 这里涉及到增加dentry和增加link，这两个操作不在一个节点上，也需要使用分布式锁进行控制，做成事务。 list：遍历/A目录 1、client给server0发送请求： parentid 0 + name "A"，查询"A"的inodeid为100 ，rpc请求的个数近似翻倍，多一倍的查询，对性能上的影响能否接受。 inode的查询在client端其实有缓存。只有第一次查询的时候，client才需要去metaserver进行查询，以后对文件的操作，只需要使用本地缓存的inode信息。这样一来，查询inode多一倍的rpc请求，对性能的影响 可能没有想象中的大。一旦client知道了文件或者目录的inodeid，后续对inode的修改，都不需

●发挥某些被操作系统屏蔽的功能，例如nvme write zero ●根据阿里《When Cloud Storage Meets RDMA》的说法 ●在100Gbps网络带宽时，内存带宽成为瓶颈 ●Intel Memory Latency Checker (MLC)测试得到的CPU内存带宽是 61Gbps10/17/22 3 RDMA可以减轻CPU负担 ●可以减少CPU操作网络通讯的开销 ●找一个能管理裸盘，具有产品级可靠性的代码挺难的 ●PFS支持类POSIX文件的接口，与使用EXT4的存储引擎代码很像， 所以容易移植现有代码到PFS存储引擎 ●CurveBS对文件系统元数据的操作非常少，对文件系统的要求不高， 所以不需要元数据高性能，这方面PFS也合适10/17/22 6 对PFS的修改 ●基于阿里开源的PFS ●不再基于daemon模式，而是直接使用pfs core

S3-allocator模块：负责分配s3-object唯一标识。© XXX Page 3 of 11 整体思路 curvefs对接s3和对接volume主要的区别在于数据持久化和空间分配部分，而元数据的操作尽量保持统一。因此我们涉及到修改client的流程主要在read/write/flush，以及空间分配申请（s3不需要释放空间，可 直接删除对应s3 object） 文件首先会按照c 将conf中的S3相关信息：保罗ak，sk，s3address，bucketname等透传给S3Adapter模块。这里要注意，S3Adapter为原来curve块存储就有的模块，负责将快照数据上传到S3，这里我们对于s3的操作主要复用了这 个模块。该模块使用的AWS的sdk，并没有实现append接口 write流程 主要流程逻辑见上面的流程图，对流程补充有以下几点： 1.对于overlap的场景，会将inode中 chunk进行拆分，version大的覆盖version小的。最后得到的是一组没有overlap的c hunks。 2.在将这些chunks按照offset进行大小进行排序，方便处理后面的read操作。 3.将read的offset，len和s3info可能交互的场景分别进行处理，分别获取要读取的每个S3ChunkInfo的offset len，封装到request中，具体可见代码的处理逻辑。

基于s3的daemon版本基于基本的性能测试发现性能非常差。具体数据如下： 通过日志初步分析有2点原因© XXX Page 3 of 9 1.append接口目前采用先从s3 get，在内存中合并完后再put的方式，对s3操作过多 2.对于4k 小io每次都要和s3交互，导致性能非常差。 因此需要通过Cache模块解决以上2个问题。 整体设计 整个dataCache的设计思路，在写场景下能将数据尽可能的合并后flush 由于chunk大小是固定的（默认64M），所以Inode中采用map s3ChunkInfoMap用于保存对象存储的位置信息。采用2级索引的好处是，根据操作的offset可以快速定位到index，则只需要遍历index相关的S3ChunkInfoList，减少了遍历的范围。 对象名设计 对象名采用chunkId+blockindex+compact questVer中request采用异步 5.等待所有的request返回，更新读缓存，获取返回数据填充readBuf。 ReleaseCache流程 1.由于删除采用异步的方式，所以对于delete操作仅仅需要释放client的cache缓存。这里同时要保证的一点是：上层确保该文件没有被打开，才能调用该接口，因此不用考虑cache被删除的同时又有人来增加或修 改 2.根据inodeId找到对应FileCacheManager