TiDB 开源分布式关系型数据库新一代财富管理平台是支撑光大银行理财公司运营的核心系统,提供理财业务的全流程管理。依托私有 云基础设施与平台 4.0 开发框架,光大银行定制了分布式批处理方案,设计目标是余额宝每小时理财交易 2000 万笔,零钱通单日 5000 万笔,同时还要满足未来 3-5 年业务发展和接入更多互联网代销渠道需求。 光大银行在同城两数据中心构建 TiDB 双活集群,采用 5副本 TiKV,设计 40TB 运辑容量,同时将 TiDB0 码力 | 58 页 | 9.51 MB | 1 年前3
TiDB中文技术文档Prometheus pushgateway 的地址 45. address = "" 46. job = "tikv" 47. 48. [raftstore] 49. # 默认为 true,表示强制将数据刷到磁盘上。如果是非金融安全级别的业务场景,建议设置成 false, 50. # 以便获得更高的性能。 51. sync-log = true 52. 53. # Raft RocksDB 目录。默认值是 裂,分裂后的信息会汇报给 PD。 是的,TiKV 单机的存储引擎目前使用两个 RocksDB 实例,其中一个存储 raft-log,TiKV 有个 sync-log 参 数,在 ture 的情况下,每次提交都会强制刷盘到 raft-log,如果发生 crash 后,通过 raft-log 进行 KV 数据的恢复。 WAL 属于顺序写,目前我们并没有单独对他进行配置,建议 SSD,RAID 如果允许的话,最好是 RAID ReadPool 优化读性能, raw_get/get/batch_get 提升 30% 提升 metrics 的性能 Raft snapshot 处理完之后立即通知 PD,加快调度速度 解决 RocksDB 刷盘导致性能抖动问题 提升在数据删除之后的空间回收 加速启动过程中的垃圾清理过程 使用 DeleteFilesInRanges 减少副本迁移时 I/O 开销 稳定性 解决在 PD leader 发送切换的情况下0 码力 | 444 页 | 4.89 MB | 6 月前3
TiDB v6.1 中文手册REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD(获取读锁 将表数据刷到磁盘,进行 一些操作后,再释放读锁 对表进行解锁) 无 本地写 磁盘 Load 无 SELECT(查询 checkpoint 历史) CREATE(创建数 据库或表) DELETE(删除 结构又被称作 MemTable)。LSM-tree 引擎由于将用户的随机修改(插入)转化为了对 WAL 文件的顺序写,因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后,会刷到磁盘上生成 SST 文件 (Sorted String Table),SST 又分为多层(默认至多 6 层),每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层,每一层的数据是上一层的 10 5GB。这部分占用内存较少,不建议用户自行更改。 2021 14.2.2.3 RocksDB 的空间占用 • 多版本:RocksDB 作为一个 LSM-tree 结构的键值存储引擎,MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠(因为文件顺序是按照生成的顺序排列),因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候,会按照一定大小(默认是0 码力 | 3572 页 | 84.36 MB | 1 年前3
TiDB v5.2 中文手册结构又被称作 MemTable)。LSM-tree 引擎由于将用户的随机修改(插入)转化为了对 WAL 文件的顺序写,因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后,会刷到磁盘上生成 SST 文件 (Sorted String Table),SST 又分为多层(默认至多 6 层),每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层,每一层的数据是上一层的 10 5GB。这部分占用内存较少,不建议用户自行更改。 993 12.2.2.3 RocksDB 的空间占用 • 多版本:RocksDB 作为一个 LSM-tree 结构的键值存储引擎,MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠(因为文件顺序是按照生成的顺序排列),因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候,会按照一定大小(默认是 参数,来保证提交数据不丢失? 是的。TiKV 单机的存储引擎目前使用两个 RocksDB 实例,其中一个存储 raft-log。TiKV 有个 sync-log 参数,在 true 的情况下,每次提交都会强制刷盘到 raft-log,如果发生 crash 后,通过 raft-log 进行 KV 数据的恢复。 13.3.4.4.14 对 WAL 存储有什么推荐的硬件配置,例如 SSD,RAID 级别,RAID0 码力 | 2259 页 | 48.16 MB | 1 年前3
TiDB v5.1 中文手册结构又被称作 MemTable)。LSM-tree 引擎由于将用户的随机修改(插入)转化为了对 WAL 文件的顺序写,因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后,会刷到磁盘上生成 SST 文件 (Sorted String Table),SST 又分为多层(默认至多 6 层),每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层,每一层的数据是上一层的 10 5GB。这部分占用内存较少,不建议用户自行更改。 959 12.2.2.3 RocksDB 的空间占用 • 多版本:RocksDB 作为一个 LSM-tree 结构的键值存储引擎,MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠(因为文件顺序是按照生成的顺序排列),因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候,会按照一定大小(默认是 参数,来保证提交数据不丢失? 是的,TiKV 单机的存储引擎目前使用两个 RocksDB 实例,其中一个存储 raft-log,TiKV 有个 sync-log 参数,在 true 的情况下,每次提交都会强制刷盘到 raft-log,如果发生 crash 后,通过 raft-log 进行 KV 数据的恢复。 13.3.4.4.14 对 WAL 存储有什么推荐的硬件配置,例如 SSD,RAID 级别,RAID0 码力 | 2189 页 | 47.96 MB | 1 年前3
TiDB v7.1 中文手册REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD(获取读锁 将表数据刷到磁盘,进行 一些操作后,再释放读锁 对表进行解锁) 无 本地写 磁盘 Load 无 SELECT(查询 checkpoint 历史) CREATE(创建数 据库或表) DELETE(删除 结构又被称作 MemTable)。LSM-tree 引擎由于将用户的随机修改(插入)转化为了对 WAL 文件的顺序写,因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后,会刷到磁盘上生成 SST 文件 (Sorted String Table),SST 又分为多层(默认至多 6 层),每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层,每一层的数据是上一层的 10 5GB。这部分占用内存较少,不建议用户自行更改。 14.2.2.3 RocksDB 的空间占用 • 多版本:RocksDB 作为一个 LSM-tree 结构的键值存储引擎,MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠(因为文件顺序是按照生成的顺序排列),因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候,会按照一定大小(默认是0 码力 | 4369 页 | 98.92 MB | 1 年前3
TiDB v6.5 中文手册REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD(获取读锁 将表数据刷到磁盘,进行 一些操作后,再释放读锁 对表进行解锁) 无 本地写 磁盘 Load 无 SELECT(查询 checkpoint 历史) CREATE(创建数 据库或表) DELETE(删除 结构又被称作 MemTable)。LSM-tree 引擎由于将用户的随机修改(插入)转化为了对 WAL 文件的顺序写,因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后,会刷到磁盘上生成 SST 文件 (Sorted String Table),SST 又分为多层(默认至多 6 层),每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层,每一层的数据是上一层的 10 5GB。这部分占用内存较少,不建议用户自行更改。 14.2.2.3 RocksDB 的空间占用 • 多版本:RocksDB 作为一个 LSM-tree 结构的键值存储引擎,MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠(因为文件顺序是按照生成的顺序排列),因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候,会按照一定大小(默认是0 码力 | 4049 页 | 94.00 MB | 1 年前3
TiDB v5.3 中文手册结构又被称作 MemTable)。LSM-tree 引擎由于将用户的随机修改(插入)转化为了对 WAL 文件的顺序写,因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后,会刷到磁盘上生成 SST 文件 (Sorted String Table),SST 又分为多层(默认至多 6 层),每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层,每一层的数据是上一层的 10 5GB。这部分占用内存较少,不建议用户自行更改。 1028 12.2.2.3 RocksDB 的空间占用 • 多版本:RocksDB 作为一个 LSM-tree 结构的键值存储引擎,MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠(因为文件顺序是按照生成的顺序排列),因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候,会按照一定大小(默认是 参数,来保证提交数据不丢失? 是的。TiKV 单机的存储引擎目前使用两个 RocksDB 实例,其中一个存储 raft-log。TiKV 有个 sync-log 参数,在 true 的情况下,每次提交都会强制刷盘到 raft-log,如果发生 crash 后,通过 raft-log 进行 KV 数据的恢复。 13.3.4.4.14 对 WAL 存储有什么推荐的硬件配置,例如 SSD,RAID 级别,RAID0 码力 | 2374 页 | 49.52 MB | 1 年前3
TiDB v5.4 中文手册REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD(获取读锁 将表数据刷到磁盘,进行 一些操作后,再释放读锁 对表进行解锁) 无 本地写 磁盘 Load 无 SELECT(查询 checkpoint 历史) CREATE(创建数 据库或表) DELETE(删除 结构又被称作 MemTable)。LSM-tree 引擎由于将用户的随机修改(插入)转化为了对 WAL 文件的顺序写,因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后,会刷到磁盘上生成 SST 文件 (Sorted String Table),SST 又分为多层(默认至多 6 层),每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层,每一层的数据是上一层的 10 5GB。这部分占用内存较少,不建议用户自行更改。 1451 12.2.2.3 RocksDB 的空间占用 • 多版本:RocksDB 作为一个 LSM-tree 结构的键值存储引擎,MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠(因为文件顺序是按照生成的顺序排列),因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候,会按照一定大小(默认是0 码力 | 2852 页 | 52.59 MB | 1 年前3
TiDB v8.0 中文手册REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD(获取读锁 将表数据刷到磁盘,进行 一些操作后,再释放读锁 对表进行解锁) 无 本地写 磁盘 Load 无 SELECT(查询 checkpoint 历史) CREATE(创建数 据库或表) DELETE(删除 结构又被称作 MemTable)。LSM-tree 引擎由于将用户的随机修改(插入)转化为了对 WAL 文件的顺序写,因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后,会刷到磁盘上生成 SST 文件 (Sorted String Table),SST 又分为多层(默认至多 6 层),每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层,每一层的数据是上一层的 10 5GB。这部分占用内存较少,不建议用户自行更改。 2464 14.2.2.3 RocksDB 的空间占用 • 多版本:RocksDB 作为一个 LSM-tree 结构的键值存储引擎,MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠(因为文件顺序是按照生成的顺序排列),因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候,会按照一定大小(默认是0 码力 | 4805 页 | 101.28 MB | 1 年前3
共 16 条
- 1
- 2













