CurveFS S3本地缓存盘方案1930722 | grep whs | egrep "start|end" I 2021-08-25T17:18:13.642961+0800 1930722 disk_cache_manager.cpp:55] whs start write. I 2021-08-25T17:18:17.992374+0800 1930722 disk_cache_manager.cpp:61] whs end0 码力 | 9 页 | 150.46 KB | 6 月前3
PFS SPDK: Storage Performance Development Kit存,才可以完成DMA写NVME10/17/22 16 PFS DMA 总体架构10/17/22 17 TCP也可以部分零copy ●读写盘的部分是零copy的 ●网络部分依赖内核tcp,不是零copy10/17/22 18 进展 ●还在测试CurveBS ●布置、监控等工具需要更新10/17/22 19 性能测试 ●使用pfs daemon测试 ●估计非daemon模式的会更快一点,因为没有跨进程开销10/17/220 码力 | 23 页 | 4.21 MB | 6 月前3
BRPC与UCX集成指南Listener::OnNewConnections Listener 获得一个socket fd后,创建通讯Socket。 SocketOptions关键字段: fd, on_edge_triggered_events18 例子:Request输入处理19 Channel创建Socket20 Channel远程调用的发起21 UCX ●NVIDIA Mellanox 开源项目 ●支持RDMA,TCP,Shared0 码力 | 66 页 | 16.29 MB | 6 月前3
Curve支持S3 数据缓存方案© XXX Page 1 of 9 Curve支持S3 数据缓存方案© XXX Page 2 of 9 版本 时间 修改者 修改内容 1.0 2021/8/18 胡遥 初稿 背景 整体设计 元数据采用2层索引 对象名设计 读写缓存分离 缓存层级 对外接口 后台刷数据线程 本地磁盘缓存 关键数据结构 详细设计 Write流程 Read流程 ReleaseCache流程0 码力 | 9 页 | 179.72 KB | 6 月前3
Curve质量监控与运维 - 网易数帆Curve使用Robotframework框架进行异常自动化测试, 相关代码见curve/robot at opencurve/curve (github.com) 17/33CI测试与异常测试报表 18/33 Curve通过jenkins软件实现代码的持续集成(CI),下面分别是CI测试和异常测试的报表。背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系0 码力 | 33 页 | 2.64 MB | 6 月前3
CurveFS Copyset与FS对应关系执行配置变更 metaserver 子模块拆分 metaserver service:接受rpc请求 copyset:负责对元数据的持久化,主要是一致性协议raft的处理© XXX Page 18 of 19 metastore:负责元数据的内存部分的管理,负责选partition partition:负责元数据的一段分片,每个元数据一定有对应的partition进行处理 inode manange/0 码力 | 19 页 | 383.29 KB | 6 月前3
Curve元数据节点高可用leaderChange, now is: %v, expect: %v", resp.Kvs[0].Value, goLeaderName)© XXX Page 18 of 30 1. return C.ObserverLeaderChange } } 4.2 图示说明选举流程 4.2.1 正常流程0 码力 | 30 页 | 2.42 MB | 6 月前3
Open Flags 调研如磁盘)中。对于通用块设备层来说要求io请求是块设备blocksize对齐的,对应buffered io在pagecache层做了对齐,对应direct_io需要用户层来保证。© XXX Page 18 of 23© XXX Page 19 of 23 实现:direct_io功能实现由VFS层提供,fuse也进行了支持,用户态文件系统要支持该flag需要在open中对flag进行解析,填充进f0 码力 | 23 页 | 524.47 KB | 6 月前3
Curve文件系统元数据管理5GB的内存。除了缓存需要占用的内存资源之外,如果涉及到多挂载的场景,还需要处理inode缓存失效的问题。 5.2 分片方式二:Inode按照inodeid进行分片,Dentry按照parentid进行分片© XXX Page 18 of 24 这种分片方式的,inode和dentry的分布没有任何关系,查找inode和查找dentry的大概率需要不同的分片进行处理。这样第一步通过parentid和name去查询inodei0 码力 | 24 页 | 204.67 KB | 6 月前3
CurveFs 用户权限系统调研neteaseusers 0 Jul 29 10:47 file1 -rw-r--r-- 1 root neteaseusers 0 Jul 29 10:47 file2© XXX Page 18 of 33 STICKY: 仅设置在目录的其他用户权限位的执行权限上。如果在某个目录上的权限设置为多个用户都拥有写权限,那就意味着凡是拥有写权限的用户都能直接管理该目录中的所有文件名,包括改名文件及删除文0 码力 | 33 页 | 732.13 KB | 6 月前3
共 10 条
- 1













