Phase 2 总结 03 Doris 中的导入 • 写入带版本 • 查询带版本 多版本机制解决读写冲突 两阶段导入保证多表原子生效 • 支持并行导入 • 有冲突时按导入顺序生效，无冲突导入时并行生效 写入带版本 查询带版本 支持并行导入 冲突时按顺序生效 （多版本机制） （两阶段导入） 事务能力保证 使用案例 04 BI Application 数据加载

configuration 配置 properties 属性 settings 设置 typeAliases 类型命名 typeHandlers 类型处理器 objectFactory 对象工厂 plugins 插件 environments 环境 environment 环境变量 transactionManager 事务管理器 dataSource 数据源 databaseIdProvider 数据库厂商标识 BaseTypeHandler  指定其映射某个 JDBC 类型（可选操作）  在 mybatis 全局配置文件中注册 3.6 plugins 插件机制 1) 插件是 MyBatis 提供的一个非常强大的机制，我们可以通过插件来修改 MyBatis 的一些 核心行为。插件通过动态代理机制，可以介入四大对象的任何一个方法的执行 2) 四大对象: Executor (update, query, flushStatements from tbl_employee 3) 引用 SQL: 第 6 章：MyBatis 缓存机制 6.1 缓存机制简介 1) MyBatis 包含一个非常强大的查询缓存特性,它可以非常方便地配置和定制。缓存可以 极大的提升查询效率 2) MyBatis 系统中默认定义了两级缓存 一级缓存 二级缓存

特性，提供更直观方便的方式观察事务加锁情况以及排查死锁问题。 25 • 新增 TiFlash I/O 限流功能，提升 TiFlash 读写稳定性。 • 为 TiKV 引入新的流控机制代替之前的 RocksDB write stall 流控机制，提升 TiKV 流控稳定性。 • 简化 Data Migration (DM) 工具运维，降低运维管理的成本。 • TiCDC 支持 HTTP 协议 OpenAPI control. �→ enable 新增 表示是否开启 TiKV 流量控制 机制。默认值 为 true。 TiKV 配置文件 storage.flow- �→ control. �→ memtables- �→ threshold 新增 当 KvDB 的 memtable 的个 数达到该阈值 时，流控机制 开始工作。默 认值为 5。 TiKV 配置文件 storage.flow- �→ 件个数达到该 阈值时，流控 机制开始工作。 默认值为 9。 28 配置文件 配置项 修改类型 描述 TiKV 配置文件 storage.flow- �→ control. �→ soft- �→ pending- �→ compaction �→ -bytes- �→ limit 新增 当 KvDB 的 pending compaction bytes 达到该阈值时， 流控机制开始 拒绝部分写入

– BACKUP_ADMIN – RESTORE_ADMIN – ROLE_ADMIN – CONNECTION_ADMIN – SYSTEM_VARIABLES_ADMIN 你也可以使用插件来添加新的权限。若要查看全部的动态权限，请执行 SHOW PRIVILEGES 语句。用户文 档 • 新增安全增强模式 (Security Enhanced Mode) 配置项，用于对 TiDB 管理员进行更细粒度的权限划分。 索引和约束 5.2 5.1 5.0 4.0 表达式索引 实验特性 实验特性 实验特性 实验特性 列式存储 (TiFlash) Y Y Y Y RocksDB 引擎 Y Y Y Y Titan 插件 Y Y Y Y 不可见索引 Y Y Y N 复合主键 Y Y Y Y 唯一约束 Y Y Y Y 整型主键上的聚簇索引 Y Y Y Y 复合或非整型主键上的聚簇索引 Y Y Y N 2.3 注意： • vm.min_free_kbytes 是 Linux 内核的一个参数，用于控制系统预留的最小空闲内存量， 单位为 KiB。 • vm.min_free_kbytes 的设置会影响内存回收机制。设置得过大，会导致可用内存变 少，设置得过小，可能会导致内存的申请速度超过后台的回收速度，进而导致内存 回收并引起内存分配延迟。 • 建议将 vm.min_free_kbytes 最小设置为 1048576

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 96 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 并通过可视化的方式进行容量预估，便于合理配置资源。 更多信息，请参考用户文档。 • 支持 Fast Online DDL 的检查点机制，提升容错性和自动恢复能力 #42164 @tangenta TiDB v7.1.0 引入Fast Online DDL 的检查点机制，可以大幅提升 Fast Online DDL 的容错性和自动恢复能力。即 使 TiDB owner 因故障重启或者切换，TiDB @bufferflies – 新增历史负载信息，避免了存储引擎为 raft-kv2 时，热点调度器对不稳定负载所在的 Region 进行频 繁调度 #6297 @bufferflies – 新增 leader 健康检查机制，当 etcd leader 所在的 PD server 无法当选 leader 时，主动切换 etcd leader 来 保证 PD leader 可用 #6403 @nolouch 57 •

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 103 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 减少处理存算分离请求时创建的线程数，避免 TiFlash 计算节点在处理大量请求时崩溃 #9334 @JinheLin – 改进 Pipeline Model 执行模型下任务的等待机制 #8869 @SeaRise – 改进 JOIN 算子的取消机制，使得 JOIN 算子内部能及时响应取消请求 #9430 @windtalker • Tools – Backup & Restore (BR) * 当集群的 Y Y 使用 FastScan 加速 OLAP 场景下的查询 Y Y Y Y Y Y E N N N N N RocksDB 引擎 Y Y Y Y Y Y Y Y Y Y Y Y Titan 插件 Y Y Y Y Y Y Y Y Y Y Y Y Titan Level Merge E E E E E E E E E E E E 使用 bucket 提高数据扫描并发度 E E E E E E

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 95 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 更多信息，请参考用户文档。 • 支持在会话级将不可见索引 (Invisible Indexes) 调整为可见 #50653 @hawkingrei 在优化器选择索引时，默认情况下不会选择不可见索引。这一机制通常用于在评估是否删除某个索引 之前。如果担心删除索引可能导致性能下降，可以先将索引设置为不可见，以便在必要时快速将其恢 复为可见。 38 从 v8.0.0 开始，你可以将会话级系统变量tidb 任务，方便批量导入数据到目标表，极大地提升 了数据文件导入的效率和性能 #49008 @D3Hunter – 提升 Sort 算子的数据落盘性能 #47733 @xzhangxian1008 – 优化数据落盘功能的退出机制，支持在数据落盘过程中取消查询 #50511 @wshwsh12 – 在处理包含多个等值条件的表连接查询时，支持使用匹配部分条件的索引构造 Index Join #47233 @winoros

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 81 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · e 指标 #28937 @cfzjywxk – 在 Resource Control 面板中添加 RU (max) 监控指标 #49318 @nolouch – 为 LDAP 身份认证添加超时机制，避免资源锁 (RLock) 无法及时释放的问题 #51883 @YangKeao • TiKV – 在 Raftstore 线程中避免进行快照文件的 IO 操作，提高 TiKV 稳定性 #16564 tidb_mem_quota_analyze 时，更新统计信息使用的内存超过限制可能导致 TiDB crash 的问 题 #52601 @hawkingrei – 修复 TiDB 统计信息同步加载机制无限重试加载空统计信息并打印 fail to get stats version for �→ this histogram 日志的问题 #52657 @hawkingrei – 修复关闭新排序

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 91 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · range 场景的集成测试，提升 PITR 稳定性 #47738 @Leavrth * 提升了 RESTORE 语句在大数据量表场景下的建表性能 #48301 @Leavrth * 重构 BR 异常处理机制，提高对未知错误的容忍度 #47656 @3pointer – TiCDC * 通过增加并行，优化了 TiCDC 同步数据到对象存储的性能 #10098 @CharlesCheung96 * 支持通过在 键时，查询结果错误的问题 #48991 @winoros – 修复当内存使用超限时包含 CTE 的查询非预期卡住的问题 #49096 @AilinKid – 修复 TiDB server 在使用企业插件审计日志时可能占用大量资源的问题 #49273 @lcwangchao – 修复特定情况下优化器将 TiFlash 选择路径错误转化为 DUAL Table 的问题 #49285 @AilinKid

部分列统计信息的方案，提高宽表收集统计信息的速度 • TiKV – 增强磁盘空间防护能力，提升存储稳定性。 针对 TiKV 遇到磁盘写满错误时可能 Panic 的问题，为磁盘剩余空间引入两级阈值防御机制，避免超 额流量耗尽磁盘空间。同时，提供阈值触发时的空间回收能力。当剩余空间触发阈值时，部分写 操作会失败，并返回 disk full 错误和盘满节点列表。此时，可以通过 Drop/Truncate 5.1 5.0 4.0 表达式索引 实验特性 实验特性 实验特性 实验特性 实验特性 列式存储 (TiFlash) Y Y Y Y Y RocksDB 引擎 Y Y Y Y Y Titan 插件 Y Y Y Y Y 不可见索引 Y Y Y Y N 复合主键 Y Y Y Y Y 唯一约束 Y Y Y Y Y 整型主键上的聚簇索引 Y Y Y Y Y 复合或非整型主键上的聚簇索引 Y 注意： • vm.min_free_kbytes 是 Linux 内核的一个参数，用于控制系统预留的最小空闲内存量， 单位为 KiB。 • vm.min_free_kbytes 的设置会影响内存回收机制。设置得过大，会导致可用内存变 少，设置得过小，可能会导致内存的申请速度超过后台的回收速度，进而导致内存 回收并引起内存分配延迟。 • 建议将 vm.min_free_kbytes 最小设置为 1048576