Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 快速跨云弹性发布的业务 3. 低成本大容量需求的业务 4. 中间件冷热数据自动分离 5. S3和POSIX统一访问需求 主要挑战和支持场景Curve Roadmap 1. 架构 1. 文件存储支持分布式缓存、完善冷热数据分层存储能力 2. 完善混合云、公有云上部署架构 3. 完善高性能3副本存储引擎，支持混合盘 4. 文件存储支持数据存储到HDFS、rados等引擎 2. 性能 1.

优刻得科技股份有限公司 版权所有 分布式 分布式NewSQL数据库 数据库 TiDB 产品⽂档 2 9 11 12 12 12 12 12 13 14 14 14 14 15 15 16 16 18 ⽬录 ⽬录 ⽬录 ⽬录 概览 概览 什么是 什么是TiDB 产品优势 产品优势 ⾼度兼容 MySQL 动态扩展 分布式事务 HTAP 真正⾦融级⾼可⽤ 适⽤场景 适⽤场景 对数据⼀致性及⾼可靠 场景 Real-time HTAP 场景 数据汇聚、⼆次加⼯处理的场景 真正⾦融级⾼可⽤ UCloud 云上 云上 TiDB 架构⽰意图 架构⽰意图 TiDB TiDB Serverless ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 2/120 20 20 21 24 24 25 28 28 28 28 28 29 30 30 32 TiDB Serverless 删除 实例 实例 创建TiDB集群 查看TiDB实例列表 查看TiDB实例详情 删除TiDB实例 ⽤户 ⽤户 添加⽤⼾及权限 重置⽤⼾密码 删除⾮root⽤⼾ ⽬录 分布式NewSQL数据库 TiDB Copyright © 2012-2021 UCloud 优刻得 3/120 38 39 40 40 41 41 43 43 43 46 49 49 52 53 55

新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 686 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 688 · · · · · · · 2631 14.4 TiDB 分布式执行框架 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2633 14.4.1 TiDB 分布式执行框架 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3685 14.12.8 生成列· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 678 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 679 · · · · · · · 2613 14.4 TiDB 分布式执行框架 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2615 14.4.1 TiDB 分布式执行框架 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3666 14.12.8 生成列· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 620 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 621 · · · · · · · 2604 14.4 TiDB 分布式执行框架 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2606 14.4.1 TiDB 分布式执行框架 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3630 14.12.7 生成列· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

TiDB 系统变量 TiDB 专用系统变量和语法 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 用户变量 表达式语法 注释语法 字符集和时区 字符集支持 字符集配置 时区 数据类型 日期和时间类型 基本数据类型 函数和操作符 函数和操作符概述 表达式求值的类型转换 操作符 TiDB 专用系统变量和语法 TiDB 服务器日志文件 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 用户变量 表达式语法 注释语法 字符集和时区 字符集支持 字符集配置 时区 数据类型 数值类型 日期和时间类型 字符串类型 JSON 数据类型 TiDB 中文技术文档 目录 README Weekly 英文文档 README - 10 - 本文档使用 书栈(BookStack.CN) 构建 TiDB 是 PingCAP 公司受 Google Spanner / F1 论文启发而设计的开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。 TiDB 兼容 MyS

。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 “知识地图”，带你了解不同“地雷”的形状、大小和分布位置，让你掌握各种“排雷方法”。有了这些本领， 相信你可以更加自如地刷题和阅读文献，逐步构建起完整的知识体系。 我深深赞同费曼教授所言：“Knowledge isn’t free. You have 请注意，因为当 ? ≥ 4 时恒有 ?! > 2? ，所以阶乘阶比指数阶增长得更快，在 ? 较大时也是不可接受的。 2.3.5 最差、最佳、平均时间复杂度 算法的时间效率往往不是固定的，而是与输入数据的分布有关。假设输入一个长度为 ? 的数组 nums ，其中 nums 由从 1 至 ? 的数字组成，每个数字只出现一次；但元素顺序是随机打乱的，任务目标是返回元素 1 的 索引。我们可以得出以下结论。 们可以放心地使用算法。 从上述示例可以看出，最差时间复杂度和最佳时间复杂度只出现于“特殊的数据分布”，这些情况的出现概率 可能很小，并不能真实地反映算法运行效率。相比之下，平均时间复杂度可以体现算法在随机输入数据下的 运行效率，用 Θ 记号来表示。 对于部分算法，我们可以简单地推算出随机数据分布下的平均情况。比如上述示例，由于输入数组是被打乱 的，因此元素 1 出现在任意索引的概率都是相

。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 “知识地图”，带你了解不同“地雷”的形状、大小和分布位置，让你掌握各种“排雷方法”。有了这些本领， 相信你可以更加自如地刷题和阅读文献，逐步构建起完整的知识体系。 我深深赞同费曼教授所言：“Knowledge isn’t free. You have 请注意，因为当 ? ≥ 4 时恒有 ?! > 2? ，所以阶乘阶比指数阶增长得更快，在 ? 较大时也是不可接受的。 2.3.5 最差、最佳、平均时间复杂度 算法的时间效率往往不是固定的，而是与输入数据的分布有关。假设输入一个长度为 ? 的数组 nums ，其中 nums 由从 1 至 ? 的数字组成，每个数字只出现一次；但元素顺序是随机打乱的，任务目标是返回元素 1 的 索引。我们可以得出以下结论。 们可以放心地使用算法。 从上述示例可以看出，最差时间复杂度和最佳时间复杂度只出现于“特殊的数据分布”，这些情况的出现概率 可能很小，并不能真实地反映算法运行效率。相比之下，平均时间复杂度可以体现算法在随机输入数据下的 运行效率，用 Θ 记号来表示。 对于部分算法，我们可以简单地推算出随机数据分布下的平均情况。比如上述示例，由于输入数组是被打乱 的，因此元素 1 出现在任意索引的概率都是相

。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 “知识地图”，带你了解不同“地雷”的形状、大小和分布位置，让你掌握各种“排雷方法”。有了这些本领， 相信你可以更加自如地刷题和阅读文献，逐步构建起完整的知识体系。 我深深赞同费曼教授所言：“Knowledge isn’t free. You have 请注意，因为当 ? ≥ 4 时恒有 ?! > 2? ，所以阶乘阶比指数阶增长得更快，在 ? 较大时也是不可接受的。 2.3.5 最差、最佳、平均时间复杂度 算法的时间效率往往不是固定的，而是与输入数据的分布有关。假设输入一个长度为 ? 的数组 nums ，其中 nums 由从 1 至 ? 的数字组成，每个数字只出现一次；但元素顺序是随机打乱的，任务目标是返回元素 1 的 索引。我们可以得出以下结论。 们可以放心地使用算法。 从上述示例可以看出，最差时间复杂度和最佳时间复杂度只出现于“特殊的数据分布”，这些情况的出现概率 可能很小，并不能真实地反映算法运行效率。相比之下，平均时间复杂度可以体现算法在随机输入数据下的 运行效率，用 Θ 记号来表示。 对于部分算法，我们可以简单地推算出随机数据分布下的平均情况。比如上述示例，由于输入数组是被打乱 的，因此元素 1 出现在任意索引的概率都是相