PFS SPDK: Storage Performance Development Kit0 码力 | 23 页 | 4.21 MB | 6 月前3
Curve for CNCF Mainperformance cloud native file systemUse Cases • Container • Database • Data apps(middleware/bigdata/ai) • Data backupContainer • Aggregates underlying storage in the cloud (AWS EBS, AWS S3, AWS Glacier cloud failure happens, Database service can move to the slave cloudData apps(middleware/bigdata/ai) • CurveFS can manage different storages (HDFS, OSS, EBS) below • Apps access data by POSIX0 码力 | 21 页 | 4.56 MB | 6 月前3
Raft在Curve存储中的工程实践Curve块存储 2021~2022 Curve文件存储 • 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 • AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 • 对接OpenStack平台为云主机提供高性能块 支持在物理机上挂载使用块设备或FUSE文件 系统开源社区 社区运营 生态共建 开源共建 源码兜底 技术领先 目标 方法 影响力 降本 获客 用户 开发者 操作系统 芯片 数据库 云原生 AI训练 大数据 社区生态Curve介绍 01 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化RAFT协议简介 什么是raft0 码力 | 29 页 | 2.20 MB | 6 月前3
NJSD eBPF 技术文档 - 0924版本Curve社区介绍Curve是什么? • Curve云原⽣软件定义存储 • Curve分布式块存储 • Curve分布式⽂件存储 • ⾼性能、易运维、云原⽣Curve⽂件系统框架和主要应⽤场景 • AI机器学习场景 • ⼤数据计算场景 • 中间件数据存储场景 • ⽀持POSIX兼容的⽂件API • ⽀持低延迟的⽂件数据访问Curve⽂件系统⾯临的问题 • ⽤户态实现 • 稳定性/可靠性⾼0 码力 | 20 页 | 7.40 MB | 6 月前3
CurveFS方案设计需要bitmap的大小为40MB 在设计过程中,对于每个文件系统,blk应该是可以根据业务形态来配置的 bitmap重建时间? 如果通过获取所有inode,重建出当前的空间分配情况,我们常见的业务形态有以下两种: ① 在AI训练等场景,文件的目录层级较少,文件数量较多,文件较小。这种情况inode比较聚集,一般分布在几个复制组上。inode数量多。 ② 在数据库等场景,文件的目录层级较少,文件数量较少,文件很大。这种情0 码力 | 14 页 | 619.32 KB | 6 月前3
OID CND Asia Slide: CurveFSdashboard ● Cloud Native ○ Using CURVE file system in KubernetesCURVE community The improvement and development of Curve cannot be achieved without the support and participation of community contributors. project: wechat group, qr code on the right hand sideYou can take away Challenges faced ● With the development of hardware and software, more and more stateful applications require to run on the clouds ●0 码力 | 24 页 | 3.47 MB | 6 月前3
CurveBS IO Processing Flowdistribution. Decentralization currently leads to excessive complexity. With the continuous development of software and hardware, the need for decentralization is not particularly strong in most cases0 码力 | 13 页 | 2.03 MB | 6 月前3
共 7 条
- 1













