 TiDB v5.2 中文手册会尝试 将其删掉。默 认值从 5m 修改 为 10m。 TiKV 配置文件 server.raft- �→ client- �→ queue-size 新增 指定 TiKV 中发 送 Raft 消息的 缓冲区大小。 默认值为 8192。 TiKV 配置文件 storage.flow- �→ control. �→ enable 新增 表示是否开启 TiKV 流量控制 机制。默认值 为 true。 time)/tikv_count = 92.4 6.3.1.3.4 备份过程中的异常处理 本节介绍如何处理备份过程中出现的常见错误。 备份日志中出现 key locked Error 日志中的错误消息:log - ["backup occur kv error"][error="{\"KvError\":{\"locked\": 如果在备份过程中遇到 key 被锁住,目前 BR 会尝试清锁。少量报错不会影响备份的正确性。 error: \"[5_5359_42_123_ �→ default.sst] is already exists in /dir/backup_local/\" })" 若备份失败并出现以上错误消息,采取以下其中一种操作后再重新备份: • 更换备份数据目录。例如将 /dir/backup-2020-01-01/ 改为 /dir/backup_local/。 • 删除所有 TiKV 和 BR0 码力 | 2259 页 | 48.16 MB | 1 年前3 TiDB v5.2 中文手册会尝试 将其删掉。默 认值从 5m 修改 为 10m。 TiKV 配置文件 server.raft- �→ client- �→ queue-size 新增 指定 TiKV 中发 送 Raft 消息的 缓冲区大小。 默认值为 8192。 TiKV 配置文件 storage.flow- �→ control. �→ enable 新增 表示是否开启 TiKV 流量控制 机制。默认值 为 true。 time)/tikv_count = 92.4 6.3.1.3.4 备份过程中的异常处理 本节介绍如何处理备份过程中出现的常见错误。 备份日志中出现 key locked Error 日志中的错误消息:log - ["backup occur kv error"][error="{\"KvError\":{\"locked\": 如果在备份过程中遇到 key 被锁住,目前 BR 会尝试清锁。少量报错不会影响备份的正确性。 error: \"[5_5359_42_123_ �→ default.sst] is already exists in /dir/backup_local/\" })" 若备份失败并出现以上错误消息,采取以下其中一种操作后再重新备份: • 更换备份数据目录。例如将 /dir/backup-2020-01-01/ 改为 /dir/backup_local/。 • 删除所有 TiKV 和 BR0 码力 | 2259 页 | 48.16 MB | 1 年前3
 TiDB v5.1 中文手册Backup & Restore (BR) * 修复备份期间少数 TiKV 节点不可用导致的备份中断问题 #980 – TiCDC * 修复 Unified Sorter 中的并发问题并过滤无用的错误消息 #1678 * 修复同步到 MinIO 时,重复创建目录会导致同步中断的问题 #1463 * 默认开启会话变量 explicit_defaults_for_timestamp,使得下游 MySQL 过期的文件并禁止共享 sort-dir 目录 #1742 * 修复存在大量过期 Region 信息时 KV 客户端可能锁死的问题 #1599 * 修复 --cert-allowed-cn 参数中错误的帮助消息 #1697 * 修复因更新 explicit_defaults_for_timestamp 而需要 MySQL SUPER 权限的问题 #1750 * 添加 sink 流控以降低内存溢出的风险 time)/tikv_count = 92.4 6.3.1.3.4 备份过程中的异常处理 本节介绍如何处理备份过程中出现的常见错误。 备份日志中出现 key locked Error 日志中的错误消息:log - ["backup occur kv error"][error="{\"KvError\":{\"locked\": 如果在备份过程中遇到 key 被锁住,目前 BR 会尝试清锁。少量报错不会影响备份的正确性。0 码力 | 2189 页 | 47.96 MB | 1 年前3 TiDB v5.1 中文手册Backup & Restore (BR) * 修复备份期间少数 TiKV 节点不可用导致的备份中断问题 #980 – TiCDC * 修复 Unified Sorter 中的并发问题并过滤无用的错误消息 #1678 * 修复同步到 MinIO 时,重复创建目录会导致同步中断的问题 #1463 * 默认开启会话变量 explicit_defaults_for_timestamp,使得下游 MySQL 过期的文件并禁止共享 sort-dir 目录 #1742 * 修复存在大量过期 Region 信息时 KV 客户端可能锁死的问题 #1599 * 修复 --cert-allowed-cn 参数中错误的帮助消息 #1697 * 修复因更新 explicit_defaults_for_timestamp 而需要 MySQL SUPER 权限的问题 #1750 * 添加 sink 流控以降低内存溢出的风险 time)/tikv_count = 92.4 6.3.1.3.4 备份过程中的异常处理 本节介绍如何处理备份过程中出现的常见错误。 备份日志中出现 key locked Error 日志中的错误消息:log - ["backup occur kv error"][error="{\"KvError\":{\"locked\": 如果在备份过程中遇到 key 被锁住,目前 BR 会尝试清锁。少量报错不会影响备份的正确性。0 码力 | 2189 页 | 47.96 MB | 1 年前3
 TiDB v5.3 中文手册pool-size 的值为 0 时, 该配置项不生 效。 TiKV raftstore. �→ raft-msg- �→ flush- �→ interval 新增 Raft 消息攒批 发出的间隔时 间。每隔该配 置项指定的间 隔,Raft 消息会 攒批发出。当 raftstore. �→ store-io- �→ pool-size 的值为 0 时, 该配置项不生 效。 30 配置文件 配置项 修改类型 完善了列存文件的数据校验能力(checksums,实验功能) • Tools – TiCDC * 通过修改 Kafka sink 配置项 MaxMessageBytes 的默认值,由 64 MB 减小为 1 MB,以修复消息过大 会被 Kafka Broker 拒收的问题 #3104 * 减少同步链路中的内存占用 #2553#3037 #2726 * 优化监控项和告警规则,提升了同步链路、内存 GC、存量数据扫描过程的可观测性 错误而导致的 CDC 频繁增加 scan 重试的问题 #11082 – 修复因 channel 打满而导致的 Raft 断连情况 #11047 – 修复 Raft client 中 batch 消息过大的问题 #9714 – 修复 resolved_ts 中协程泄漏的问题 #10965 – 修复当 response 大小超过 4 GiB 时 Coprocessor panic 的问题 #90120 码力 | 2374 页 | 49.52 MB | 1 年前3 TiDB v5.3 中文手册pool-size 的值为 0 时, 该配置项不生 效。 TiKV raftstore. �→ raft-msg- �→ flush- �→ interval 新增 Raft 消息攒批 发出的间隔时 间。每隔该配 置项指定的间 隔,Raft 消息会 攒批发出。当 raftstore. �→ store-io- �→ pool-size 的值为 0 时, 该配置项不生 效。 30 配置文件 配置项 修改类型 完善了列存文件的数据校验能力(checksums,实验功能) • Tools – TiCDC * 通过修改 Kafka sink 配置项 MaxMessageBytes 的默认值,由 64 MB 减小为 1 MB,以修复消息过大 会被 Kafka Broker 拒收的问题 #3104 * 减少同步链路中的内存占用 #2553#3037 #2726 * 优化监控项和告警规则,提升了同步链路、内存 GC、存量数据扫描过程的可观测性 错误而导致的 CDC 频繁增加 scan 重试的问题 #11082 – 修复因 channel 打满而导致的 Raft 断连情况 #11047 – 修复 Raft client 中 batch 消息过大的问题 #9714 – 修复 resolved_ts 中协程泄漏的问题 #10965 – 修复当 response 大小超过 4 GiB 时 Coprocessor panic 的问题 #90120 码力 | 2374 页 | 49.52 MB | 1 年前3
 TiDB v6.1 中文手册不便,并且容易误操作。从 v6.1.0 起,当开启 enable-global-kill 配置项时,你可以在任意 TiDB 节点运 行 kill 命令终止指定的连接及操作,而无需担心客户端和 TiDB 中间有代理时错误地终止其他查询或会 话。目前 TiDB 暂时不支持用 Ctrl+C 终止查询或会话。 用户文档,#8854 • TiKV API V2(实验特性) 在 v6.1.0 之前,TiKV 作为 垃圾回收 (GC) 从 Raftstore 中迁移到后台线程,防止 snapshot GC 阻塞 Raftstore 消息循环 #11966 – 支持动态设置 gRPC 可发送的最大消息长度 (max-grpc-send-msg-len) 和单个 gPRC 消息可包含的最 大 Raft 消息个数 (raft-msg-max-batch-size) #12334 – 支持通过 Raft 执行在线有损恢复 @Transactional 注释的对象包装在一个代理中,使用该代理对对 象的调用进行处理。 你可以简单的认为,代理在带有 @Transactional 注释的对象内的函数调用时:在函数顶部将使用 transaction �→ .begin() 开启事务,函数返回后,调用 transaction.commit() 进行事务提交,而出现任何运行时错误时, 代理将会调用 transaction.rollback()0 码力 | 3572 页 | 84.36 MB | 1 年前3 TiDB v6.1 中文手册不便,并且容易误操作。从 v6.1.0 起,当开启 enable-global-kill 配置项时,你可以在任意 TiDB 节点运 行 kill 命令终止指定的连接及操作,而无需担心客户端和 TiDB 中间有代理时错误地终止其他查询或会 话。目前 TiDB 暂时不支持用 Ctrl+C 终止查询或会话。 用户文档,#8854 • TiKV API V2(实验特性) 在 v6.1.0 之前,TiKV 作为 垃圾回收 (GC) 从 Raftstore 中迁移到后台线程,防止 snapshot GC 阻塞 Raftstore 消息循环 #11966 – 支持动态设置 gRPC 可发送的最大消息长度 (max-grpc-send-msg-len) 和单个 gPRC 消息可包含的最 大 Raft 消息个数 (raft-msg-max-batch-size) #12334 – 支持通过 Raft 执行在线有损恢复 @Transactional 注释的对象包装在一个代理中,使用该代理对对 象的调用进行处理。 你可以简单的认为,代理在带有 @Transactional 注释的对象内的函数调用时:在函数顶部将使用 transaction �→ .begin() 开启事务,函数返回后,调用 transaction.commit() 进行事务提交,而出现任何运行时错误时, 代理将会调用 transaction.rollback()0 码力 | 3572 页 | 84.36 MB | 1 年前3
 TiDB v5.4 中文手册allow-remove- �→ leader 删除 决定是否允许 删除主开关。 TiKV raft-msg- �→ flush- �→ interval 删除 Raft 消息攒批 发出的间隔时 间。每隔该配 置项指定的间 隔,Raft 消息会 攒批发出。 34 配置文件 配置项 修改类型 描述 PD log.level 修改 默认值由 “INFO” 改为 “info”,保证 大小写不敏感。 TiFlash 104857601 (10MB)。 TiCDC partition-num 修改 将 Kafka Sink partition-num 的默认值改由 4 为 3,使 TiCDC 更加平均地分 发消息到各个 Kafka partition。 TiDB Lightning meta-schema- �→ name 修改 此配置项控制 TiDB Lightning 在 目标 TiDB 中保 存 time)/tikv_count = 92.4 6.3.1.3.4 备份过程中的异常处理 本节介绍如何处理备份过程中出现的常见错误。 备份日志中出现 key locked Error 日志中的错误消息:log - ["backup occur kv error"][error="{\"KvError\":{\"locked\": 如果在备份过程中遇到 key 被锁住,目前 BR 会尝试清锁。少量报错不会影响备份的正确性。0 码力 | 2852 页 | 52.59 MB | 1 年前3 TiDB v5.4 中文手册allow-remove- �→ leader 删除 决定是否允许 删除主开关。 TiKV raft-msg- �→ flush- �→ interval 删除 Raft 消息攒批 发出的间隔时 间。每隔该配 置项指定的间 隔,Raft 消息会 攒批发出。 34 配置文件 配置项 修改类型 描述 PD log.level 修改 默认值由 “INFO” 改为 “info”,保证 大小写不敏感。 TiFlash 104857601 (10MB)。 TiCDC partition-num 修改 将 Kafka Sink partition-num 的默认值改由 4 为 3,使 TiCDC 更加平均地分 发消息到各个 Kafka partition。 TiDB Lightning meta-schema- �→ name 修改 此配置项控制 TiDB Lightning 在 目标 TiDB 中保 存 time)/tikv_count = 92.4 6.3.1.3.4 备份过程中的异常处理 本节介绍如何处理备份过程中出现的常见错误。 备份日志中出现 key locked Error 日志中的错误消息:log - ["backup occur kv error"][error="{\"KvError\":{\"locked\": 如果在备份过程中遇到 key 被锁住,目前 BR 会尝试清锁。少量报错不会影响备份的正确性。0 码力 | 2852 页 | 52.59 MB | 1 年前3
 TiDB v8.0 中文手册href="https://docs.pingcap.com/zh/tidb/v8.0/ticdc-simple-protocol">Simple 协议 �→ TiDB v8.0 中文手册href="https://docs.pingcap.com/zh/tidb/v8.0/ticdc-simple-protocol">Simple 协议 �→- TiCDC 支持了新的 Simple 消息协议,该协议通过在 DDL 和 BOOTSTRAP 事件中嵌入表的 schema 信息, �→ 实现了对 schema 信息的动态追踪 (in-band schema tracking)。 schema 信息占用的内存。 更多信息,请参考用户文档。 2.2.1.4 高可用 • 代理组件 TiProxy 成为正式功能 (GA) #413 @djshow832 @xhebox TiDB v7.6.0 引入了代理组件 TiProxy 作为实验特性。TiProxy 是 TiDB 的官方代理组件,位于客户端和 TiDB server 之间,为 TiDB 提供负载均衡、连接保持功能,让 保护日志信息。 更多信息,请参考用户文档。 2.2.1.9 数据迁移 • TiCDC 支持 Simple 协议 #9898 @3AceShowHand TiCDC 支持了新的 Simple 消息协议,该协议通过在 DDL 和 BOOTSTRAP 事件中嵌入表的 schema 信息,实现 了对 schema 信息的动态追踪 (in-band schema tracking)。 更多信息,请参考用户文档。0 码力 | 4805 页 | 101.28 MB | 1 年前3
 TiDB v8.1 中文手册com/zh/tidb/v8.1/ticdc-simple-protocol">Simple 协议 �→ (从 v8.0.0 开始引入) TiDB v8.1 中文手册com/zh/tidb/v8.1/ticdc-simple-protocol">Simple 协议 �→ (从 v8.0.0 开始引入)- TiCDC 支持了新的 Simple 消息协议,该协议通过在 DDL 和 BOOTSTRAP 事件中嵌入表的 schema 信息, �→ 实现了对 schema 信息的动态追踪 (in-band schema tracking)。 @YangKeao – 修复添加唯一索引可能导致 TiDB panic 的问题 #52312 @wjhuang2016 43 • TiKV – 修复由于过时的 Region peer 忽略 GC 消息导致 resolve-ts 被阻塞的问题 #16504 @crazycs520 – 修复 RocksDB 中非活跃的 WAL (Write Ahead Log) 可能损毁数据的问题 #16705 @Connor1996 wait_timeout 变量控制此超时时间,详见JDBC 查询超时文档。 此外,客户端到 TiDB 之间通常还会有 LVS 或 HAProxy 之类的网络代理。这些代理通常会在连接空闲超过特定时 间(由代理的 idle 配置决定)后主动清理连接。除了关注代理的 idle 配置外,连接池还需要进行保活或探测 连接。 如果常在 Java 应用中看到以下错误: The last packet sent successfully0 码力 | 4807 页 | 101.31 MB | 1 年前3
 TiDB v8.5 中文手册7 使用 TiCDC 同步消息到 Kafka 时 Kafka 报错 Message was too large,该如何处理? · · · · · · · · · 945 7.7.8 TiCDC 同步时,在下游执行 DDL 语句失败会有什么表现,如何恢复? · · · · · · · · · · · · · · · · · · 946 7.7.9 使用 TiCDC 同步消息到 Kafka 时报错 kafka: 把数据同步到 Kafka 时,能在 TiDB 中控制单条消息大小的上限吗? · · · · · · · · · · · · · · · 953 7.8.13 在一个事务中对一行进行多次修改,TiCDC 会输出多条行变更事件吗? · · · · · · · · · · · · · · · · 954 7.8.14 TiCDC 把数据同步到 Kafka 时,一条消息中会不会包含多种数据变更? · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 954 7.8.16 TiCDC 把数据同步到 Kafka 时,如何确定一条消息中包含的数据变更发生在哪个时间点? · · · · 954 7.8.17 TiCDC Open protocol 如何标示 null 值? · · · · · · · · · · · · · · ·0 码力 | 5095 页 | 104.54 MB | 10 月前3 TiDB v8.5 中文手册7 使用 TiCDC 同步消息到 Kafka 时 Kafka 报错 Message was too large,该如何处理? · · · · · · · · · 945 7.7.8 TiCDC 同步时,在下游执行 DDL 语句失败会有什么表现,如何恢复? · · · · · · · · · · · · · · · · · · 946 7.7.9 使用 TiCDC 同步消息到 Kafka 时报错 kafka: 把数据同步到 Kafka 时,能在 TiDB 中控制单条消息大小的上限吗? · · · · · · · · · · · · · · · 953 7.8.13 在一个事务中对一行进行多次修改,TiCDC 会输出多条行变更事件吗? · · · · · · · · · · · · · · · · 954 7.8.14 TiCDC 把数据同步到 Kafka 时,一条消息中会不会包含多种数据变更? · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 954 7.8.16 TiCDC 把数据同步到 Kafka 时,如何确定一条消息中包含的数据变更发生在哪个时间点? · · · · 954 7.8.17 TiCDC Open protocol 如何标示 null 值? · · · · · · · · · · · · · · ·0 码力 | 5095 页 | 104.54 MB | 10 月前3
 TiDB v8.4 中文手册• TiCDC Claim-Check 支持仅发送 Kafka 消息的 value 部分到外部存储 #11396 @3AceShowHand 在 v8.4.0 之前,如果开启了 Claim-Check 功能(将 large-message-handle-option 设置为 claim-check), TiCDC 在处理大型消息时会将 key 和 value 都进行编码并存储在外部存储系统中。 都进行编码并存储在外部存储系统中。 从 v8.4.0 开始,TiCDC 支持仅将 Kafka 消息的 value 部分发送到外部存储,该功能仅适用于非 Open Protocol 协议。你可以通过设置 claim-check-raw-value 参数控制是否开启该功能。 更多信息,请参考用户文档。 • TiCDC 引入 Checksum V2 算法校验 Update 或 Delete 事件中 Old Value 数据 #10969 中 binlog 的生 成,从 v8.4.0 开始 被删除。 TiCDC claim- �→ check- �→ raw- �→ value 新增 控制 TiCDC 是否仅将 Kafka 消息 的 value 部分发送 到外部存 储,该功 能仅适用 于非 Open Protocol 协 议。 55 配置文件 或组件 配置项 修改类型 描述 TiDB Lightning logical-0 码力 | 5072 页 | 104.05 MB | 10 月前3 TiDB v8.4 中文手册• TiCDC Claim-Check 支持仅发送 Kafka 消息的 value 部分到外部存储 #11396 @3AceShowHand 在 v8.4.0 之前,如果开启了 Claim-Check 功能(将 large-message-handle-option 设置为 claim-check), TiCDC 在处理大型消息时会将 key 和 value 都进行编码并存储在外部存储系统中。 都进行编码并存储在外部存储系统中。 从 v8.4.0 开始,TiCDC 支持仅将 Kafka 消息的 value 部分发送到外部存储,该功能仅适用于非 Open Protocol 协议。你可以通过设置 claim-check-raw-value 参数控制是否开启该功能。 更多信息,请参考用户文档。 • TiCDC 引入 Checksum V2 算法校验 Update 或 Delete 事件中 Old Value 数据 #10969 中 binlog 的生 成,从 v8.4.0 开始 被删除。 TiCDC claim- �→ check- �→ raw- �→ value 新增 控制 TiCDC 是否仅将 Kafka 消息 的 value 部分发送 到外部存 储,该功 能仅适用 于非 Open Protocol 协 议。 55 配置文件 或组件 配置项 修改类型 描述 TiDB Lightning logical-0 码力 | 5072 页 | 104.05 MB | 10 月前3
 TiDB v8.2 中文手册并行度会根据硬件规格自动选择。 更多信息,请参考用户文档。 2.2.1.3 高可用 • TiProxy 支持多种负载均衡策略 #465 @djshow832 @xhebox TiProxy 是 TiDB 的官方代理组件,位于客户端和 TiDB server 之间,为 TiDB 集群提供负载均衡和连接保持功 能。在 v8.2.0 之前,TiProxy 默认使用 v1.0.0 版本,仅支持基于 TiDB server 1024,用于降低 TiKV 节点上因 I/O 抖 动导致的长尾延迟。 TiKV server.grpc- �→ compression-type 修改 该配置项现在也会影响 TiKV 向 TiDB 发送的 响应消息的压缩算法。开启压缩可能消耗 更多 CPU 资源。 TiFlash security.redact_info_ �→ log 修改 可选值新增 marker 选项。当配置项的值设 置为 marker gRPC request sources duration 在监控中显示错误的问题 #17133 @King-Dylan – 修复设置 gRPC 消息的压缩算法 (grpc-compression-type) 对 TiKV 发送到 TiDB 的消息不起作用的问题 #17176 @ekexium – 修复 tikv-ctl 的 raft region 命令的输出中未包含 Region 状态信息的问题0 码力 | 4987 页 | 102.91 MB | 10 月前3 TiDB v8.2 中文手册并行度会根据硬件规格自动选择。 更多信息,请参考用户文档。 2.2.1.3 高可用 • TiProxy 支持多种负载均衡策略 #465 @djshow832 @xhebox TiProxy 是 TiDB 的官方代理组件,位于客户端和 TiDB server 之间,为 TiDB 集群提供负载均衡和连接保持功 能。在 v8.2.0 之前,TiProxy 默认使用 v1.0.0 版本,仅支持基于 TiDB server 1024,用于降低 TiKV 节点上因 I/O 抖 动导致的长尾延迟。 TiKV server.grpc- �→ compression-type 修改 该配置项现在也会影响 TiKV 向 TiDB 发送的 响应消息的压缩算法。开启压缩可能消耗 更多 CPU 资源。 TiFlash security.redact_info_ �→ log 修改 可选值新增 marker 选项。当配置项的值设 置为 marker gRPC request sources duration 在监控中显示错误的问题 #17133 @King-Dylan – 修复设置 gRPC 消息的压缩算法 (grpc-compression-type) 对 TiKV 发送到 TiDB 的消息不起作用的问题 #17176 @ekexium – 修复 tikv-ctl 的 raft region 命令的输出中未包含 Region 状态信息的问题0 码力 | 4987 页 | 102.91 MB | 10 月前3
共 16 条
- 1
- 2













