Greenplum内核揭秘之排序算法 5 ● 内排序算法 ● 外排序算法 ● Greenplum TupleSort ● 排序在Greenplum中的应用 Outline 6 ● 冒泡排序 ● 插入排序 ● 快速排序 ● 堆排序 ● 基数排序 内排序算法 7 快速排序是最常用的排序算法，由Tony Hoare在1959年发明。 快速排序算法的三个步骤： ● 挑选基准值 列分 别进行排序 快速排序 8 ● 快速排序算法每次选取一个基准元素，将比基准元素小的排到基准元素左边， 比基准元素大的排到基准元素的右边，从而将待排序数组分成两个子集。 快速排序 6 8 3 2 7 1 7 9 8 7 7 9 6 3 2 1 分治法 9 快速排序 ● 快速排序算法： 10 堆排序是最常用的排序算法，由J.Williams在1964年发明。 ● 堆 堆是一种近似完全二叉树的结构，最大值堆要求每个子节点的键值总是小于父 节点。最小值堆要求每个子节点的键值总是大于父节点。 堆排序算法 ● 步骤1：建立最大值堆,最大元素在堆顶 ● 步骤2：重复将堆顶元组移除并插入到排序数组，更新堆使其保持堆的性质 ● 步骤3：当堆的元素个数为零时，数组排序完毕 堆排序 11 ● 建堆 堆排序 9 5 8 1 3 6 2 1 2 5 9 8

Cassandra历史 BigTable Dynamo Cassandra概述 Cassandra最初源自FaceBook，集合了Google BigTable面向列的特 性和Amazon Dynamo分布式哈希(DHT)的P2P特性于一身，具有很高 的性能、可扩展性、容错、部署简单等特点。 Cassandra架构关键字 1.Gossip 点对点通信协议，用于集群之间节点交换位置和状态信息 2.Partitioner Cassandra故障恢复 Partitioner Partitioner定义了数据如何在集群中的节点分布，哪个节点应该存放数据的第一份拷贝。 基本上，Partitioner就是一个计算分区键token的哈希函数。 1.Partition Key 决定数据在Cassandra哪个节点上 2.Clustering Key 用于在各个分区内的排序 3.Primary Key 主键，决定数据行的唯一性 key_part_one也就是partition key 3.key_part_two就是cluster key Cassandra如何根据partition key决定数据落在哪个节点？ 一致性哈希和虚拟节点 一致性哈希和虚拟节点 Replica Strategy Cassandra在多个节点中存放replicas以保证可靠性和容错性。Replica Strategy决定放置replicas的 节点

层进行流控而不是在 RocksDB 层进行流控， 避免 RocksDB write stall 造成的 raftstore 卡顿并造成 Raft 选举超时导致发生节点 leader 迁移的问题。 – 改善流控算法，有效降低大写入压力下导致 QPS 下降的问题 用户文档，#10137 • 自动检测并恢复集群中单个 TiKV 变慢带来的影响 在 TiKV 中引入了慢节点检测机制，通过检测 TiKV Raftstore 生成列 实验特性 实验特性 实验特性 实验特性 视图 Y Y Y Y 序列 Y Y Y Y AUTO_INCREMENT 列 Y Y Y Y AUTO_RANDOM 列 Y Y Y Y DDL 算法断言 Y Y Y Y 在单条语句中添加多列 实验特性 实验特性 实验特性 实验特性 更改列类型 Y Y N N 2.3.6 事务 事务 5.2 5.1 5.0 4.0 Async commit origin %d 的错误。更多细 节，请参考ALTER TABLE。 • TiDB 中，ALGORITHM={INSTANT,INPLACE,COPY} 语法只作为一种指定，并不更改 ALTER 算法，详情参 阅ALTER TABLE。 • 不支持添加或删除 CLUSTERED 类型的主键。要了解关于 CLUSTERED 主键的详细信息，请参考聚簇索引。 • 不支持指定不同类型的索引 (HA

29 • 引入一种新的统计信息类型 tidb_analyze_version = 2 (实验特性)。 tidb_analyze_version = 2 默认启用，避免了 Version 1 中因为哈希冲突导致的在较大的数据量中可能产 生的较大误差，并保持了大多数场景中的估算精度。 用户文档 2.2.2.2 事务 • 新增锁视图 (Lock View)（实验特性） Lock View 用于 生成列 实验特性 实验特性 实验特性 实验特性 视图 Y Y Y Y 序列 Y Y Y Y AUTO_INCREMENT 列 Y Y Y Y AUTO_RANDOM 列 Y Y Y Y DDL 算法断言 Y Y Y Y 在单条语句中添加多列 实验特性 实验特性 实验特性 实验特性 更改列类型 Y Y N N 36 数据定义语言 (DDL) 5.2 5.1 5.0 4.0 2.3.6 事务 origin %d 的错误。更多细 节，请参考ALTER TABLE。 • TiDB 中，ALGORITHM={INSTANT,INPLACE,COPY} 语法只作为一种指定，并不更改 ALTER 算法，详情参 阅ALTER TABLE。 • 不支持添加或删除 CLUSTERED 类型的主键。要了解关于 CLUSTERED 主键的详细信息，请参考聚簇索引。 • 不支持指定不同类型的索引 (HA

发阈值时，部分写 操作会失败，并返回 disk full 错误和盘满节点列表。此时，可以通过 Drop/Truncate Table 或者扩 容等方式来回收空间，恢复服务。 – 简化 L0 层流控算法 #10879 – 优化 raft client 错误日志的收集 #10944 – 优化日志线程以避免其成为性能瓶颈 #10841 – 添加更多的写入查询统计类型 #10507 – 降低写入延迟，从 * 类型转换函数：CAST(time, real) * 聚合函数：GROUP_CONCAT()，SUM(enum) – 提供了 512 位 SIMD 支持 – 增强了对过期的数据版本的清理算法，减少磁盘使用量及提高读文件性能 – 解决了用户在某些非 Linux 平台系统上查看 dashboard 时，无法获取内存或 CPU 等相关信息的问题 – 统一 TiFlash 日志文件的命名风格（与 column in Schema column 报错的问题 #28149 – 修复 TiDB 在 TiFlash 关闭时可能出现 panic 的问题 #28096 – 移除对基于 3DES (三重数据加密算法) 不安全的 TLS 加密套件的支持 #27859 – 修复因 Lightning 前置检查会连接已下线的 TiKV 节点而导致导入失败的问题 #27826 – 修复在导入太多文件到表时前置检查花费太多时间的问题

format_ �→ version 新增 表示 DTFile 储 存文件格式， 默认值为 2， 该格式在数据 文件中内嵌哈 希值。也可以 设置为 3，该 格式包含元数 据，标记数据 校验，支持多 种哈希算法。 TiFlash logger.count 修改 默认值修改为 10。 TiFlash status. �→ metrics_ �→ port 修改 默认值修改为 8234。 TiFlash 实验特性 视图 Y Y Y Y Y Y 序列 Y Y Y Y Y Y AUTO_INCREMENT 列 Y Y Y Y Y Y AUTO_RANDOM 列 Y Y Y Y Y Y DDL 算法断言 Y Y Y Y Y Y 在单条语句中添加多列 实验特性 实验特性 实验特性 实验特性 实验特性 实验特性 更改列类型 Y Y Y Y N N 临时表 Y Y N N N N 2.3.6 balance roundrobin # 连接数最少的服务器优先接收连接。`leastconn` �→ 建议用于长会话服务，例如 LDAP、SQL、TSE 等，而不是短会话协议，如 HTTP。该算法是动态的 �→ ，对于启动慢的服务器，服务器权重会在运行中作调整。 server tidb-1 10.9.18.229:4000 check inter 2000 rise 2 fall 3 # 检测

修改 类型 描述 tidb_ �→ enable �→ _ �→ outer �→ _ �→ join �→ _ �→ reorder �→ 新增 控制 TiDB 的Join Reorder 算法 支 持 Outer Join，默 认开 启。对 于从旧 版本升 级上来 的集 群，该 变量的 默认值 也会是 TRUE。 tidb_ �→ enable �→ _ �→ prepared �→ 支持 Region Buckets #4668 – 默认关闭编译 swagger server #4932 • TiFlash – 优化聚合算子的内存统计，从而能在 Merge 阶段选择更高效的算法 #4451 • Tools – Backup & Restore (BR) * 支持备份恢复空库 #33866 – TiDB Lightning * 优化 Scatter Region 为批量模式，提升 Y Y Y Y Y 序列 Y Y Y Y Y Y Y Y AUTO_INCREMENT 列 Y Y Y Y Y Y Y Y AUTO_RANDOM 列 Y Y Y Y Y Y Y Y DDL 算法断言 Y Y Y Y Y Y Y Y 在单条语句中添加多列 实验特性 实验特性 实验特性 实验特性 实验特性 实验特性 实验特性 实验特性 更改列类型 Y Y Y Y Y Y N N 临时表 Y

下推到 TableScan 算 子。 更多信息，请参考用户文档。 34 • TiFlash 支持根据网络交换数据量自动选择 MPP 模式的 Join 算法 #7084 @solotzg TiFlash MPP 模式有多种 Join 算法。在 v7.1.0 之前的版本中，TiDB 根据变量tidb_broadcast_join_threshold �→ _count 和tidb_broadc MPP 模式是否使用 Broad- cast Hash Join 算法。 在 v7.1.0 中，TiDB 引入变量tidb_prefer_broadcast_join_by_exchange_data_size，控制是否基于最小 网络数据交换策略选择 MPP Join 算法。该变量默认关闭，表示默认保持 v7.1.0 之前的算法选择策略。 如需开启，请设置该变量为 ON。开启后，你无需再手动调整 eshold_count 和tidb_broadcast_join_threshold_size 的阈值（此时这两个变量将不再生效），TiDB 会自动估算不同 Join 算法所需进行网络交换的数据量，然后选择综合开销较小的算法，从而减少网络流量，提升 MPP 查 询性能。 更多信息，请参考用户文档。 • 支持自适应副本读取缓解读热点 #14151 @sticnarf @you06 在读热点场景中，热点

_outer �→ _join_ �→ reorder �→ 修改 经进一 步的测 试后， 该变量 默认值 从 OFF 修改为 ON，表 示默认 启用 Outer Join 的Join Reorder 算法。 39 变量名 修改类型 描述 tidb_cost �→ _model �→ _ �→ version �→ 修改 经进一 步的测 试后， 该变量 默认值 从 1 修 改为 2， 表示默 认使用 AUTO_INCREMENT 列 Y Y Y Y Y Y Y Y AUTO_RANDOM 列 Y Y Y Y Y Y Y Y TTL (Time to Live) E N N N N N N N DDL 算法断言 Y Y Y Y Y Y Y Y 在单条语句中添加多列 Y E E E E E E E 更改列类型 Y Y Y Y Y Y N N 临时表 Y Y Y Y N N N N 并行 DDL Y origin %d 的错误。更多细 节，请参考ALTER TABLE。 • TiDB 中，ALGORITHM={INSTANT,INPLACE,COPY} 语法只作为一种指定，并不更改 ALTER 算法，详情参 阅ALTER TABLE。 • 不支持添加或删除 CLUSTERED 类型的主键。要了解关于 CLUSTERED 主键的详细信息，请参考聚簇索引。 • 不支持指定不同类型的索引 (HA

• BR 快照恢复速度提升 GA #50701 @3pointer @Leavrth 从 TiDB v8.0.0 版本起，BR 快照恢复提速功能正式发布并默认启用。通过采用粗粒度打散 Region 算法、批 量创建库表、降低 SST 文件下载和 Ingest 操作之间的相互影响、加速表统计信息恢复等改进措施，快照 恢复的速度有大幅提升。在实际案例中，单个 TiKV 节点的数据恢复速度稳定在 1.2 Region 算法会占用大量的外部 存储带宽，请避免因为外部带宽不足导致的对其他业务的影响。 更多信息，请参考用户文档。 • 新增支持下推以下函数到 TiFlash #50975 #50485 @yibin87 @windtalker – CAST(DECIMAL AS DOUBLE) – POWER() 更多信息，请参考用户文档。 • TiDB 的并发 HashAgg 算法支持数据落盘（实验特性）#35637 TiDB 版本中，HashAgg 算子的并发算法不支持数据落盘。当 SQL 语句的执行计划包含并发的 HashAgg 算子时，该 SQL 语句的所有数据都只能在内存中进行处理。这导致内存需要处理大量数据，当 超过内存限制时，TiDB 只能选择非并发 HashAgg 算法，无法通过并发提升性能。 在 v8.0.0 中，TiDB 的并发 HashAgg 算法支持数据落盘。在任意并发条件下，HashAgg