· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 737 10.2.1 定位查询瓶颈· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 优化法，按照自上而下的性能分析方法论对 TiDB 的性能指标做了重新梳理，为 TiDB 用户提供一个系统 级别的总体性能诊断入口。通过 Performance Overview 面板，你可以直观地看到整个系统的性能瓶颈在哪 里，数量级地缩短了性能诊断时间并降低了性能分析和诊断难度。 用户文档 2.2.1.3 性能 • 支持自定义 Region 大小 从 v6.1.0 起，你可以通过coprocessor.region-split-size 采集可能会对集群资源造成挤压，影响业务的稳定运行。TiDB 从 v6.1.0 开始提供系统变量tidb_max_auto �→ _analyze_time 用来控制后台统计信息采集的最长执行时间，默认为 12 小时。当业务没有遇到资源 瓶颈的情况时，建议不要修改该参数，确保数据对象的统计信息及时采集。但是当业务压力大，资源 不足的时候，可以通过该变量减少统计信息采集的时长，避免统计信息采集对核心业务造成资源争抢。 用户文档 2.2

@binshi-bing 从 v8.0.0 开始，PD 支持微服务模式。该模式可将 PD 的时间戳分配和集群调度功能拆分为以下微服务单 独部署，从而实现 PD 的性能扩展，解决大规模集群下 PD 的性能瓶颈问题。 – tso 微服务：为整个集群提供单调递增的时间戳分配。 – scheduling 微服务：为整个集群提供调度功能，包括但不限于负载均衡、热点处理、副本修复、副 本放置等。 每个微服务 每个微服务都以独立进程的方式部署。当设置某个微服务的副本数大于 1 时，该微服务会自动实现主备的容 灾模式，以确保服务的高可用性和可靠性。 目前 PD 微服务仅支持通过 TiDB Operator 进行部署。当 PD 出现明显的性能瓶颈且无法升级配置的情况下， �→ 建议考虑使用该模式。 更多信息，请参考[用户文档](#pd-微服务)。 • 增强 Titan 引擎的易用性 #16245 @Connor1996 – 默认启用 DML 类型（实验特性）#50215 @ekexium 在 TiDB v8.0.0 之前，所有事务数据在提交之前均存储在内存中。当处理大量数据时，事务所需的内存成 为限制 TiDB 处理事务大小的瓶颈。虽然 TiDB 非事务 DML 功能通过拆分 SQL 语句的方式尝试解决事务大 小限制，但该功能存在多种限制，在实际应用中的体验并不理想。 从 v8.0.0 开始，TiDB 支持处理大量数据的 DML

节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 • TiSpark – 如果你的业务需要基于 Spark 进行分析，请部署 并不能保证数据立即被删除，且当前插入的数据将会在将来的 TTL 任务中才会 被删除，哪怕短时间内 TTL 删除的速度低于插入的速度，也不能说明 TTL 的效率一定过慢。需要结合具 体情况分析。 • 如何判断 TTL 任务的瓶颈在扫描还是删除？ 观察面板中 TTL Scan Worker Time By Phase 与 TTL Delete Worker Time By Phase 监控项。如果 scan worker 应哪一张表。 • 如何合理配置 tidb_ttl_scan_worker_count 和 tidb_ttl_delete_worker_count？ 1. 可以参考问题 “如何判断 TTL 任务的瓶颈在扫描还是删除？” 来考虑提升 tidb_ttl_scan_worker_ �→ count 还是 tidb_ttl_delete_worker_count。 296 2. 如果 TiKV 节点数量较多，提升

节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 • TiSpark – 如果你的业务需要基于 Spark 进行分析，请部署 并不能保证数据立即被删除，且当前插入的数据将会在将来的 TTL 任务中才会 被删除，哪怕短时间内 TTL 删除的速度低于插入的速度，也不能说明 TTL 的效率一定过慢。需要结合具 体情况分析。 • 如何判断 TTL 任务的瓶颈在扫描还是删除？ 观察面板中 TTL Scan Worker Time By Phase 与 TTL Delete Worker Time By Phase 监控项。如果 scan worker 应哪一张表。 • 如何合理配置 tidb_ttl_scan_worker_count 和 tidb_ttl_delete_worker_count？ 1. 可以参考问题 “如何判断 TTL 任务的瓶颈在扫描还是删除？” 来考虑提升 tidb_ttl_scan_worker_ �→ count 还是 tidb_ttl_delete_worker_count。 281 2. 如果 TiKV 节点数量较多，提升

节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 • TiSpark – 如果你的业务需要基于 Spark 进行分析，请部署 不保证所有过期数据立即被删除，过期数据被删除的时间取决于后台清理任务的调度周期和调度窗口。 • 目前单个表的清理任务同时只能在同一个 TiDB Server 节点运行，这在某些场景下（比如表特别大的情 况）可能会产生性能瓶颈。此问题会在后续版本中优化。 4.6.5 预处理语句 预处理语句是一种将多个仅有参数不同的 SQL 语句进行模板化的语句，它让 SQL 语句与参数进行了分离。可 以用它提升 SQL 语句的： • 会将数据同步更新到 follower。 默认情况下，TiDB 只会在同一个 Region 的 leader 上读写数据。当系统中存在读取热点 Region 导致 leader 资源紧 张成为整个系统读取瓶颈时，启用 Follower Read 功能可明显降低 leader 的负担，并且通过在多个 follower 之间 均衡负载，显著地提升整体系统的吞吐能力。 4.7.8.1.2 何时使用 优化读热点

倍（实验特性）#33937 #49886 @3pointer 随着 TiDB 集群规模的不断扩大，故障时快速恢复集群以减少业务中断时间显得尤为重要。在 v7.6.0 之前 的版本中，Region 打散算法是性能恢复的主要瓶颈。在 v7.6.0 中，BR 优化了 Region 打散算法，可以迅速 将恢复任务拆分为大量小任务，并批量分散到所有 TiKV 节点上。新的并行恢复算法充分利用每个 TiKV 节点的所有资源，实现了并行快速恢复。在实际案例中，大规模 Lightning block- �→ size 新增 控制物理 导入模式 (backend=' �→ local') 中本地文 件排序的 I/O 区块大 小。默认 值为 16KiB。当 IOPS 成为 瓶颈时， 可以调大 该参数的 值以缓解 磁盘 IOPS， 从而提升 数据导入 性能。 BR -- �→ granularity �→ 新增 通过设置 -- �→ granularity �→ =" 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 • TiSpark – 如果你的业务需要基于 Spark 进行分析，请部署

开始，PD 微服务支持通过 TiUP 进行部署。你可以在集群中单独部署 tso 微服务和 scheduling 微 服务，从而实现 PD 的性能扩展，解决大规模集群下 PD 的性能瓶颈问题。当 PD 出现明显的性能瓶颈且 无法升级配置的情况下，建议考虑使用该模式。 更多信息，请参考用户文档。 • 为切换资源组的操作增加权限控制 #53440 @glorv TiDB 允许用户使用命令SET RESOURCE 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 81 • TiSpark – 如果你的业务需要基于 Spark 进行分析，请部署 并不能保证数据立即被删除，且当前插入的数据将会在将来的 TTL 任务中才会 被删除，哪怕短时间内 TTL 删除的速度低于插入的速度，也不能说明 TTL 的效率一定过慢。需要结合具 体情况分析。 • 如何判断 TTL 任务的瓶颈在扫描还是删除？ 观察面板中 TTL Scan Worker Time By Phase 与 TTL Delete Worker Time By Phase 监控项。如果 scan worker

节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 97 • TiSpark – 如果你的业务需要基于 Spark 进行分析，请部署 并不能保证数据立即被删除，且当前插入的数据将会在将来的 TTL 任务中才会 被删除，哪怕短时间内 TTL 删除的速度低于插入的速度，也不能说明 TTL 的效率一定过慢。需要结合具 体情况分析。 • 如何判断 TTL 任务的瓶颈在扫描还是删除？ 观察面板中 TTL Scan Worker Time By Phase 与 TTL Delete Worker Time By Phase 监控项。如果 scan worker 应哪一张表。 • 如何合理配置 tidb_ttl_scan_worker_count 和 tidb_ttl_delete_worker_count？ 1. 可以参考问题 “如何判断 TTL 任务的瓶颈在扫描还是删除？” 来考虑提升 tidb_ttl_scan_worker_ �→ count 还是 tidb_ttl_delete_worker_count。 2. 如果 TiKV 节点数量较多，提升

节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 • TiSpark – 如果你的业务需要基于 Spark 进行分析，请部署 并不能保证数据立即被删除，且当前插入的数据将会在将来的 TTL 任务中才会 被删除，哪怕短时间内 TTL 删除的速度低于插入的速度，也不能说明 TTL 的效率一定过慢。需要结合具 体情况分析。 • 如何判断 TTL 任务的瓶颈在扫描还是删除？ 观察面板中 TTL Scan Worker Time By Phase 与 TTL Delete Worker Time By Phase 监控项。如果 scan worker 应哪一张表。 • 如何合理配置 tidb_ttl_scan_worker_count 和 tidb_ttl_delete_worker_count？ 1. 可以参考问题 “如何判断 TTL 任务的瓶颈在扫描还是删除？” 来考虑提升 tidb_ttl_scan_worker_ �→ count 还是 tidb_ttl_delete_worker_count。 2. 如果 TiKV 节点数量较多，提升

节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 • TiSpark – 如果你的业务需要基于 Spark 进行分析，请部署 并不能保证数据立即被删除，且当前插入的数据将会在将来的 TTL 任务中才会 被删除，哪怕短时间内 TTL 删除的速度低于插入的速度，也不能说明 TTL 的效率一定过慢。需要结合具 体情况分析。 • 如何判断 TTL 任务的瓶颈在扫描还是删除？ 观察面板中 TTL Scan Worker Time By Phase 与 TTL Delete Worker Time By Phase 监控项。如果 scan worker 应哪一张表。 • 如何合理配置 tidb_ttl_scan_worker_count 和 tidb_ttl_delete_worker_count？ 1. 可以参考问题 “如何判断 TTL 任务的瓶颈在扫描还是删除？” 来考虑提升 tidb_ttl_scan_worker_ �→ count 还是 tidb_ttl_delete_worker_count。 282 2. 如果 TiKV 节点数量较多，提升