 Doris的数据导入机制以及原子性保证FE Follower 2. Load 数据 数据版本 N+1 事务状态 VISIBLE 事务管理 1.Begin Txn 3.汇报导入 4. publish 5. publish 回调 生效数据 V1 V2 Vn+1 … Vn Publish • 修改BE元数据,数据版本 +1 • 修改FE元数据, 数据版本 +1 • 事务状态改为 VISIBLE Phase Phase 2 总结 03 Doris 中的导入 • 写入带版本 • 查询带版本 多版本机制解决读写冲突 两阶段导入保证多表原子生效 • 支持并行导入 • 有冲突时按导入顺序生效,无冲突导入时并行生效 写入带版本 查询带版本 支持并行导入 冲突时按顺序生效 (多版本机制) (两阶段导入) 事务能力保证 使用案例 04 BI Application 数据加载0 码力 | 33 页 | 21.95 MB | 1 年前3 Doris的数据导入机制以及原子性保证FE Follower 2. Load 数据 数据版本 N+1 事务状态 VISIBLE 事务管理 1.Begin Txn 3.汇报导入 4. publish 5. publish 回调 生效数据 V1 V2 Vn+1 … Vn Publish • 修改BE元数据,数据版本 +1 • 修改FE元数据, 数据版本 +1 • 事务状态改为 VISIBLE Phase Phase 2 总结 03 Doris 中的导入 • 写入带版本 • 查询带版本 多版本机制解决读写冲突 两阶段导入保证多表原子生效 • 支持并行导入 • 有冲突时按导入顺序生效,无冲突导入时并行生效 写入带版本 查询带版本 支持并行导入 冲突时按顺序生效 (多版本机制) (两阶段导入) 事务能力保证 使用案例 04 BI Application 数据加载0 码力 | 33 页 | 21.95 MB | 1 年前3
 TiDB v8.0 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 95 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 96 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 更多信息,请参考用户文档。 • 支持在会话级将不可见索引 (Invisible Indexes) 调整为可见 #50653 @hawkingrei 在优化器选择索引时,默认情况下不会选择不可见索引。这一机制通常用于在评估是否删除某个索引 之前。如果担心删除索引可能导致性能下降,可以先将索引设置为不可见,以便在必要时快速将其恢 复为可见。 38 从 v8.0.0 开始,你可以将会话级系统变量tidb0 码力 | 4805 页 | 101.28 MB | 1 年前3 TiDB v8.0 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 95 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 96 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 更多信息,请参考用户文档。 • 支持在会话级将不可见索引 (Invisible Indexes) 调整为可见 #50653 @hawkingrei 在优化器选择索引时,默认情况下不会选择不可见索引。这一机制通常用于在评估是否删除某个索引 之前。如果担心删除索引可能导致性能下降,可以先将索引设置为不可见,以便在必要时快速将其恢 复为可见。 38 从 v8.0.0 开始,你可以将会话级系统变量tidb0 码力 | 4805 页 | 101.28 MB | 1 年前3
 TiDB v8.1 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 81 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 82 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · e 指标 #28937 @cfzjywxk – 在 Resource Control 面板中添加 RU (max) 监控指标 #49318 @nolouch – 为 LDAP 身份认证添加超时机制,避免资源锁 (RLock) 无法及时释放的问题 #51883 @YangKeao • TiKV – 在 Raftstore 线程中避免进行快照文件的 IO 操作,提高 TiKV 稳定性 #165640 码力 | 4807 页 | 101.31 MB | 1 年前3 TiDB v8.1 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 81 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 82 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · e 指标 #28937 @cfzjywxk – 在 Resource Control 面板中添加 RU (max) 监控指标 #49318 @nolouch – 为 LDAP 身份认证添加超时机制,避免资源锁 (RLock) 无法及时释放的问题 #51883 @YangKeao • TiKV – 在 Raftstore 线程中避免进行快照文件的 IO 操作,提高 TiKV 稳定性 #165640 码力 | 4807 页 | 101.31 MB | 1 年前3
 TiDB v7.1 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 96 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 97 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 和tidb_broadcast_join_threshold_size 的阈值(此时这两个变量将不再生效),TiDB 会自动估算不同 Join 算法所需进行网络交换的数据量,然后选择综合开销较小的算法,从而减少网络流量,提升 MPP 查 询性能。 更多信息,请参考用户文档。 • 支持自适应副本读取缓解读热点 #14151 @sticnarf @you06 在读热点场景中,热点 TiKV 无法及时处理读请求,导致读请求排队。但是,此时并非所有0 码力 | 4369 页 | 98.92 MB | 1 年前3 TiDB v7.1 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 96 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 97 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 和tidb_broadcast_join_threshold_size 的阈值(此时这两个变量将不再生效),TiDB 会自动估算不同 Join 算法所需进行网络交换的数据量,然后选择综合开销较小的算法,从而减少网络流量,提升 MPP 查 询性能。 更多信息,请参考用户文档。 • 支持自适应副本读取缓解读热点 #14151 @sticnarf @you06 在读热点场景中,热点 TiKV 无法及时处理读请求,导致读请求排队。但是,此时并非所有0 码力 | 4369 页 | 98.92 MB | 1 年前3
 TiDB v7.6 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 91 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 92 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 中分离出来,单独存储在 Titan 中,以提升对大 Value 的 处理性能。Titan 引擎与 TiKV 所使用的 RocksDB 特性完全兼容。这一变更不仅降低了写入放大效应,在处 理大 Value 的写入、更新和点查场景时也表现得更加出色。同时,在 Range Scan 场景下,通过对 Titan 引 擎的优化,默认配置下 Titan 引擎的性能测试结果和 RocksDB 基本持平。 该配置的变更对历史版本兼容,已有的0 码力 | 4666 页 | 101.24 MB | 1 年前3 TiDB v7.6 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 91 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 92 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 中分离出来,单独存储在 Titan 中,以提升对大 Value 的 处理性能。Titan 引擎与 TiKV 所使用的 RocksDB 特性完全兼容。这一变更不仅降低了写入放大效应,在处 理大 Value 的写入、更新和点查场景时也表现得更加出色。同时,在 Range Scan 场景下,通过对 Titan 引 擎的优化,默认配置下 Titan 引擎的性能测试结果和 RocksDB 基本持平。 该配置的变更对历史版本兼容,已有的0 码力 | 4666 页 | 101.24 MB | 1 年前3
 TiDB v5.2 中文手册特性,提供更直观方便的方式观察事务加锁情况以及排查死锁问题。 25 • 新增 TiFlash I/O 限流功能,提升 TiFlash 读写稳定性。 • 为 TiKV 引入新的流控机制代替之前的 RocksDB write stall 流控机制,提升 TiKV 流控稳定性。 • 简化 Data Migration (DM) 工具运维,降低运维管理的成本。 • TiCDC 支持 HTTP 协议 OpenAPI control. �→ enable 新增 表示是否开启 TiKV 流量控制 机制。默认值 为 true。 TiKV 配置文件 storage.flow- �→ control. �→ memtables- �→ threshold 新增 当 KvDB 的 memtable 的个 数达到该阈值 时,流控机制 开始工作。默 认值为 5。 TiKV 配置文件 storage.flow- �→ 件个数达到该 阈值时,流控 机制开始工作。 默认值为 9。 28 配置文件 配置项 修改类型 描述 TiKV 配置文件 storage.flow- �→ control. �→ soft- �→ pending- �→ compaction �→ -bytes- �→ limit 新增 当 KvDB 的 pending compaction bytes 达到该阈值时, 流控机制开始 拒绝部分写入0 码力 | 2259 页 | 48.16 MB | 1 年前3 TiDB v5.2 中文手册特性,提供更直观方便的方式观察事务加锁情况以及排查死锁问题。 25 • 新增 TiFlash I/O 限流功能,提升 TiFlash 读写稳定性。 • 为 TiKV 引入新的流控机制代替之前的 RocksDB write stall 流控机制,提升 TiKV 流控稳定性。 • 简化 Data Migration (DM) 工具运维,降低运维管理的成本。 • TiCDC 支持 HTTP 协议 OpenAPI control. �→ enable 新增 表示是否开启 TiKV 流量控制 机制。默认值 为 true。 TiKV 配置文件 storage.flow- �→ control. �→ memtables- �→ threshold 新增 当 KvDB 的 memtable 的个 数达到该阈值 时,流控机制 开始工作。默 认值为 5。 TiKV 配置文件 storage.flow- �→ 件个数达到该 阈值时,流控 机制开始工作。 默认值为 9。 28 配置文件 配置项 修改类型 描述 TiKV 配置文件 storage.flow- �→ control. �→ soft- �→ pending- �→ compaction �→ -bytes- �→ limit 新增 当 KvDB 的 pending compaction bytes 达到该阈值时, 流控机制开始 拒绝部分写入0 码力 | 2259 页 | 48.16 MB | 1 年前3
 TiDB v8.4 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 99 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 100 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · spill-dir,从而确保系统的持续运行 #17356 @LykxSassinator – 优 化 存 在 大 量 DELETE 版 本 时 RocksDB 的 compaction 触 发 机 制, 以 加 快 磁 盘 空 间 回 收 #17269 @AndreMouche – 支持在线更改写入流量控制 (flow-control) 的相关配置 #17395 @glorv – 优化空表和小 Region 场景下 Region0 码力 | 5072 页 | 104.05 MB | 10 月前3 TiDB v8.4 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 99 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 100 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · spill-dir,从而确保系统的持续运行 #17356 @LykxSassinator – 优 化 存 在 大 量 DELETE 版 本 时 RocksDB 的 compaction 触 发 机 制, 以 加 快 磁 盘 空 间 回 收 #17269 @AndreMouche – 支持在线更改写入流量控制 (flow-control) 的相关配置 #17395 @glorv – 优化空表和小 Region 场景下 Region0 码力 | 5072 页 | 104.05 MB | 10 月前3
 TiDB v8.5 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 103 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 104 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · spill-dir,从而确保系统的持续运行 #17356 @LykxSassinator – 优 化 存 在 大 量 DELETE 版 本 时 RocksDB 的 compaction 触 发 机 制, 以 加 快 磁 盘 空 间 回 收 #17269 @AndreMouche – 支持在线更改写入流量控制 (flow-control) 的相关配置 #17395 @glorv – 优化空表和小 Region 场景下 Region0 码力 | 5095 页 | 104.54 MB | 10 月前3 TiDB v8.5 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 103 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 104 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · spill-dir,从而确保系统的持续运行 #17356 @LykxSassinator – 优 化 存 在 大 量 DELETE 版 本 时 RocksDB 的 compaction 触 发 机 制, 以 加 快 磁 盘 空 间 回 收 #17269 @AndreMouche – 支持在线更改写入流量控制 (flow-control) 的相关配置 #17395 @glorv – 优化空表和小 Region 场景下 Region0 码力 | 5095 页 | 104.54 MB | 10 月前3
 TiDB v7.5 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 81 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 82 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 提升分析性能 你的业务中存在某些复杂的分析查询,如聚合、关联等操作。当这些分析查询涉及大量数据(超过 1000 万行)时,如果查询涉及的表无法有效利用索引或者索引的选择性较差,而行存储引擎TiKV 难以满足查 询的性能需求。 • 混合负载隔离 在高并发的 OLTP 业务同时,你可能需要处理一些 OLAP 业务,同时还需要避免 OLAP 查询影响 OLTP 业务 性能,确保系统的整体稳定性。 78 •0 码力 | 4590 页 | 100.91 MB | 1 年前3 TiDB v7.5 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 81 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 82 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 提升分析性能 你的业务中存在某些复杂的分析查询,如聚合、关联等操作。当这些分析查询涉及大量数据(超过 1000 万行)时,如果查询涉及的表无法有效利用索引或者索引的选择性较差,而行存储引擎TiKV 难以满足查 询的性能需求。 • 混合负载隔离 在高并发的 OLTP 业务同时,你可能需要处理一些 OLAP 业务,同时还需要避免 OLAP 查询影响 OLTP 业务 性能,确保系统的整体稳定性。 78 •0 码力 | 4590 页 | 100.91 MB | 1 年前3
 TiDB v8.2 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 83 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 84 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · #53312 @djshow832 – 改进对于 MPP 执行计划的列裁剪功能,以提升 TiFlash MPP 的执行性能 #52133 @yibin87 – 优化 IndexLookUp 算子在回表数据量较多(大于 1024 行)时的性能开销 #53871 @crazycs520 – 在 MPP 负载均衡时移除不包含任何 Region 的 Store #52313 @xzhangxian10080 码力 | 4987 页 | 102.91 MB | 10 月前3 TiDB v8.2 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 83 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 84 4.2.2 使用 TiDB 的增删改查 SQL · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · #53312 @djshow832 – 改进对于 MPP 执行计划的列裁剪功能,以提升 TiFlash MPP 的执行性能 #52133 @yibin87 – 优化 IndexLookUp 算子在回表数据量较多(大于 1024 行)时的性能开销 #53871 @crazycs520 – 在 MPP 负载均衡时移除不包含任何 Region 的 Store #52313 @xzhangxian10080 码力 | 4987 页 | 102.91 MB | 10 月前3
共 82 条
- 1
- 2
- 3
- 4
- 5
- 6
- 9













