github代码仓库： https://github.com/opencurve/curve Curve 3/33为用户服务 作为一个复杂的大型分布式存储系统，Curve 需要利用科学的方法论和专业的工具，在整个 软件生命周期内更好地为用户服务：  质量——向用户交付稳定可靠的软件；  监控——直观地展示Curve运行状态；  运维——保障Curve始终稳定高效运行。 质量 ✓ 质 质量管理体系（设计、开发、review、CI） ✓ 测试方法论（单元测试、集成测试、系统测试） 监控 ✓ 监控架构 ✓ 指标采集、后端处理、可视化展示 运维 ✓ 运维特性 （易部署、易升级、自治） ✓ 运维工具（部署工具、管理工具） 4/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系软件质量 软件质量的定义是：软件与明确地和隐含地定义的需求相一致的程度。 单元测试是软件开发的过程中最基本的测试，它用来对一个模块、一个函数或者一个类来进行 正确性检验的测试工作。 curve通过lcov统计代码覆盖率，衡量单元测试的完备程度，如下图所示： 13/33集成测试 测试目的 测试内容 单元测试后，有必要进行集成测试，发现 并排除在模块连接中可能发生的上述问题， 最终构成要求的软件子系统或系统。集成 测试需要关注的主要是各模块连接起来后 的问题：

可视化 • 每日报表 • 丰富的数据定位问题 • 集群状态查询工具 • curve_ops_tool • 自动化部署工具 • 一键部署，一键升级高质量 • 良好的模块化和抽象设计 • 完善的测试体系 • 单元测试 行覆盖80%+，分支覆盖70%+ • 集成测试 Given When Then 方法 完备的测试用例集 • 自动化异常测试 41个异常用例 • 自动化大压力随机故障注入

前copyset是否 有配置变更任务执行，如果有任务则下发。 任务计算: 任务计算模块包含了多个定时任务 和 触 发任务。 • 定时任务由调度模块定时触发。 • 触发任务由外部触发，管理员通过工具触发。 • TopoAdapter 用于获取Topology中调度需要使用的数据。 • Common Strategy 是通用的副本添加和移除策略。 任务管理: 任务管理模块用于管理计算模块产生的任务。 CopySetScheduler 是copyset均衡调度器，根 据集群中copyset的分布情况生成copyset迁移任 务； • LeaderScheduler 是leader均衡调度器，根据集 群中leader的分布情况生成leader变更任务； • ReplicaScheduler 是副本数量调度器，根据当 前copyset的副本数生成副本增删任务； • RecoverScheduler

inode id 由于inode放在原地，那么由于dentry已经被删除，那么查询工具就较为复杂，不能复用原有的client逻辑，需要组织成moosefs那样的meta文件系统可能需要引入额外的复杂性，但是依然可以实现简单的 工具查询。 由于该方案，删除的inode是分散于每个partition中，那么查询工具可能需要遍历所有partion去查询所有的删除inode。 第二种方案： 将ino sh目录可以是实际的目录结构，有dentry和inode，并遵循当前inode和dentry的放置方式（inode按照inodeid分布，dentry按照parentid分布） 这种方案的优点是便于工具对trash进行查询，毕竟是实际的目录结构，完全遵循文件系统，可能可以复用client的当前设计，甚至可以参考moosefs实现一个meta文件系统来管理，更为优雅。 但是缺点是DEL和UNDEL需 ，二是每个fs一个trash，并且trash不能放在fs的根目录下，因为存在跟用户的目录重名的问题。 一是使用全局唯一的trash 倾向于使用方案1，各方面实现上较为简单，异常处理不会很复杂，查询工具可以先实现一个简单的。 3. 是否需要做session机制（在metaserver打开），来维护inode的打开情况？ 经讨论，需要实现session机制，以应对打开文件被另一个进程删除的场景的场景。

? Maxwell Debezium A: PolarDB-X 全局 Binlog：完全兼容 • 与 MySQL Binlog 体验完全一致 • 保障分布式事务完整性 • 透明：下游系统或工具改造成本为零 • 实现复杂度高 Q: 分布式数据库有哪些问题要考虑Demo for Global Binlog with Flink CDCPolarDB-X Global Binlog 特性详情 文件格式兼容：Binlog v4 row-based • SQL 指令兼容：show binary logs… • MySQL DUMP 协议 • 保证分布式事务完整性与顺序 • 同一连接串 已验证工具或系统 • MySQL Slave（change master） • DTS • Canal/CloudCanal • Maxwell • Debezium • Streamsets • • mysql-binlog-connector-java • Flink CDC 性能指标 • 25w rps • 8GB 大事务 • 5s 延迟* 下一步 • 验证更多工具 • GTID • 多流业务系统 上游 Single Source of Truth 问题背景 已有系统迁移怎么办？ 下游Demo for ReplicationPolarDB-X Replication

所以不需要元数据高性能，这方面PFS也合适10/17/22 6 对PFS的修改 ●基于阿里开源的PFS ●不再基于daemon模式，而是直接使用pfs core api ●依然向外提供管理工具, 例如 pfs ls、cp、rm等 ●增加spdk驱动10/17/22 7 新增PFS接口 ●增加pfs_pwritev和pfs_preadv接口 ●ssize_t pfs_preadv(int 总体架构10/17/22 17 TCP也可以部分零copy ●读写盘的部分是零copy的 ●网络部分依赖内核tcp，不是零copy10/17/22 18 进展 ●还在测试CurveBS ●布置、监控等工具需要更新10/17/22 19 性能测试 ●使用pfs daemon测试 ●估计非daemon模式的会更快一点，因为没有跨进程开销10/17/22 20 Write,DMA write,Write-zero测试10/17/22

●能透明支持多个链路传输，例如多网卡bond ●编译成.so或lib的方式，可以集成到应用程序里 ●有完善的配置功能，ucx_info可以dump配置信息 ●有性能测试工具 ●比较详细的文档2223 UCS ●是一些工具代码，例如 –链表 –hash table –epoll event loop – memory register cache –config file24 UCT

机器有反亲和性创建PolarDB需要的阿里云环境 创建虚拟机的时 候选中的盘都不 是共享盘，必须 在创建完虚拟机 后，在单独添加 共享盘 注意创建PolarDB需要的阿里云环境创建PolarDB需要的阿里云环境 部署集把虚拟机打散到不通的物理机上创建PolarDB需要的阿里云环境 VIP的使用创建PolarDB需要的阿里云环境 把VIP绑定到多台数据库主机创建PolarDB需要的阿里云环境 创建虚拟机的时候选中的盘都不是共享盘，必须在创建完

可能会出现边删除边整理的状态(出现概率较小) 可以在实际删除前检查当前整理的inode列表, 如果在列表里就暂时跳过(同步删除)/重新丢进删除队列(异步删除) 或者就不管, 处理一下报错, 让后续的应该会开发的数据清理工具来删除, 因为出现这个冲突的概率比较小 truncate: 只进行元数据里len的改变, 触发一下compact就行, shrink的部分compact会进行处理

比较久的历史，原来叫STGT，后来改成TGT • 纯用户态，不与内核绑定 • 支持复杂的存储系统，例如ceph rbd, sheepdog, glfs • 纯C代码，外加一些脚本 • 完整的源代码和维护工具、手册 • 编写IO驱动比较容易，容易扩展支持新的存储系统 • 代码独立，容易编译、调试、修改，适应性强让TGT支持curve • 编写curve驱动，底层异步提交I/O，pipeline • 利用NEBD