Doris的数据导入机制以及原子性保证• 查询性能业界领先 • 高并发查询,100台集群可达10w QPS • 流式导入单节点100MB/s,小批量导入毫 秒延迟 • 数据、元数据高可用,线上稳定服务6年 • 机器故障副本自动迁移 01 Doris简介 MySQL Tools (MySQL Networking) FE (Leader,JAVA) FE (Follower,JAVA) FE (Follower 原始数据 查询导入结果 源 操作1 操作2 处理 失败 失败 源 操作1 操作2 重试成功 额外重试 处理两次 02 导入的问题 At-Most-Once & At-Least-Once 语义 At-Most-Once语义 At-Least-Once语义 失败 源 操作1 操作2 重试成功 重试 只处理一次 Exactly-Once语义 成功 LOG 02 导入的问题 Exactly-Once Phase 2 总结 03 Doris 中的导入 • 写入带版本 • 查询带版本 多版本机制解决读写冲突 两阶段导入保证多表原子生效 • 支持并行导入 • 有冲突时按导入顺序生效,无冲突导入时并行生效 写入带版本 查询带版本 支持并行导入 冲突时按顺序生效 (多版本机制) (两阶段导入) 事务能力保证 使用案例 04 BI Application 数据加载0 码力 | 33 页 | 21.95 MB | 1 年前3
TiDB v7.1 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 96 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 目前的监控使用方式及主要监控指标,有没有更好看的监控?· · · · · · · · · · · · · · · · · · · · · · 3695 15.7.2 Prometheus 监控数据默认 15 天自动清除一次,可以自己设定成 2 个月或者手动删除吗?· · · · 3695 15.7.3 Region Health 监控项 · · · · · · · · · · · · · · · · · · 1/time-to-live" target="_blank">行级 TTL(从 �→ v7.0.0 开始 GA)支持通过后台任务自动删除超过生命周期 (Time to live) 的数据, �→ 并以此来自动管理数据规模并提高性能。 330 码力 | 4369 页 | 98.92 MB | 1 年前3
TiDB v5.2 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 299 8.3.3 自动诊断 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · (Recovery Point Objective) 无法真实达到企业 所期望的值。TiDB 采用多副本 + Multi-Raft 协议的方式将数据调度到不同的机房、机架、机器,当部分机 器出现故障时系统可自动进行切换,确保系统的 RTO <= 30s 及 RPO = 0。 24 • 对存储容量、可扩展性、并发要求较高的海量数据及高并发的 OLTP 场景 随着业务的高速发展,数据呈现爆炸性的增长,传 特性,提供更直观方便的方式观察事务加锁情况以及排查死锁问题。 25 • 新增 TiFlash I/O 限流功能,提升 TiFlash 读写稳定性。 • 为 TiKV 引入新的流控机制代替之前的 RocksDB write stall 流控机制,提升 TiKV 流控稳定性。 • 简化 Data Migration (DM) 工具运维,降低运维管理的成本。 • TiCDC 支持 HTTP 协议 OpenAPI0 码力 | 2259 页 | 48.16 MB | 1 年前3
TiDB v8.0 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 95 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 目前的监控使用方式及主要监控指标,有没有更好看的监控?· · · · · · · · · · · · · · · · · · · · · · 4002 15.7.2 Prometheus 监控数据默认 15 天自动清除一次,可以自己设定成 2 个月或者手动删除吗?· · · · 4002 15.7.3 Region Health 监控项 · · · · · · · · · · · · · · · · · · – scheduling 微服务:为整个集群提供调度功能,包括但不限于负载均衡、热点处理、副本修复、副 本放置等。 每个微服务都以独立进程的方式部署。当设置某个微服务的副本数大于 1 时,该微服务会自动实现主备的容 灾模式,以确保服务的高可用性和可靠性。 目前 PD 微服务仅支持通过 TiDB Operator 进行部署。当 PD 出现明显的性能瓶颈且无法升级配置的情况下, �→ 建议考虑使用该模式。0 码力 | 4805 页 | 101.28 MB | 1 年前3
TiDB v8.1 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 81 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 目前的监控使用方式及主要监控指标,有没有更好看的监控?· · · · · · · · · · · · · · · · · · · · · · 3991 15.7.2 Prometheus 监控数据默认 15 天自动清除一次,可以自己设定成 2 个月或者手动删除吗?· · · · 3991 15.7.3 Region Health 监控项 · · · · · · · · · · · · · · · · · · �→ 管理资源消耗超出预期的查询-runaway-queries">管理资源消耗超出预期的查询(从 v8.1.0 �→ 开始 GA)通过资源组的规则,TiDB 能够自动识别出运行超出预期的查询,并对该查询进行限流或取消处理。 �→ 即使没有被规则识别,你仍然可以手动添加查询特征以及采取对应的措施, �→ 从而降低突发的查询性能问题对整个数据库的影响。 0 码力 | 4807 页 | 101.31 MB | 1 年前3
TiDB v7.5 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 81 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 目前的监控使用方式及主要监控指标,有没有更好看的监控?· · · · · · · · · · · · · · · · · · · · · · 3839 15.7.2 Prometheus 监控数据默认 15 天自动清除一次,可以自己设定成 2 个月或者手动删除吗?· · · · 3839 15.7.3 Region Health 监控项 · · · · · · · · · · · · · · · · · ·资源管控支持自动管理后台任务(实验特性,从 v7.4.0 开始引入) 从 v7.1.0 开始,0 码力 | 4590 页 | 100.91 MB | 1 年前 3
TiDB v7.6 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 91 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 目前的监控使用方式及主要监控指标,有没有更好看的监控?· · · · · · · · · · · · · · · · · · · · · · 3894 15.7.2 Prometheus 监控数据默认 15 天自动清除一次,可以自己设定成 2 个月或者手动删除吗?· · · · 3894 15.7.3 Region Health 监控项 · · · · · · · · · · · · · · · · · · @Connor1996 @v01dstar @tonyxuqqi 为了更好地支持 TiDB 宽表写入场景,特别是在支持 JSON 之后,从 TiDB v7.6.0 开始,默认开启 Titan 引擎, 自动将超过 32 KB 的大 Value 从 RocksDB 的 LSM Tree 中分离出来,单独存储在 Titan 中,以提升对大 Value 的 处理性能。Titan 引擎与 TiKV 所使用的 RocksDB0 码力 | 4666 页 | 101.24 MB | 1 年前3
TiDB v8.5 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 103 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 目前的监控使用方式及主要监控指标,有没有更好看的监控?· · · · · · · · · · · · · · · · · · · · · · 4187 15.7.2 Prometheus 监控数据默认 15 天自动清除一次,可以自己设定成 2 个月或者手动删除吗?· · · · 4187 15.7.3 Region Health 监控项 · · · · · · · · · · · · · · · · · · lyze_concurrency �→ -从-v840-版本开始引入">自动统计信息收集任务支持并发使用系统变量 tidb_auto_analyze_concurrency�→ 控制单个自动统计信息收集任务内部的并发度,TiDB �→ 会根据节点规模和硬件规格自动确定扫描任务的并发度。该功能通过充分利用系统资源, �→ 提高统计信息收集0 码力 | 5095 页 | 104.54 MB | 10 月前3
TiDB v8.4 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 99 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 目前的监控使用方式及主要监控指标,有没有更好看的监控?· · · · · · · · · · · · · · · · · · · · · · 4166 15.7.2 Prometheus 监控数据默认 15 天自动清除一次,可以自己设定成 2 个月或者手动删除吗?· · · · 4166 15.7.3 Region Health 监控项 · · · · · · · · · · · · · · · · · · lyze_concurrency �→ -从-v840-版本开始引入">自动统计信息收集任务支持并发使用系统变量 tidb_auto_analyze_concurrency�→ 控制单个自动统计信息收集任务内部的并发度,TiDB �→ 会根据节点规模和硬件规格自动确定扫描任务的并发度。该功能通过充分利用系统资源, �→ 提高统计信息收集0 码力 | 5072 页 | 104.05 MB | 10 月前3
TiDB v8.2 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 83 4.1.2 TiDB 事务机制 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 目前的监控使用方式及主要监控指标,有没有更好看的监控?· · · · · · · · · · · · · · · · · · · · · · 4123 15.7.2 Prometheus 监控数据默认 15 天自动清除一次,可以自己设定成 2 个月或者手动删除吗?· · · · 4123 15.7.3 Region Health 监控项 · · · · · · · · · · · · · · · · · · 会受 到影响。 从 v8.2.0 开始,TiDB 支持并行排序功能,显著提升了排序计算的性能。该功能无需手动开启,TiDB 会根 据系统变量tidb_executor_concurrency 的值自动选择并行或非并行排序。 更多信息,请参考用户文档。 • TiDB 的并行 HashAgg 算法支持数据落盘成为正式功能 (GA) #35637 @xzhangxian1008 TiDB v8.00 码力 | 4987 页 | 102.91 MB | 10 月前3共 94 条- 1
- 2
- 3
- 4
- 5
- 6
- 10













