TiDB在⾦金金融聚合⽀支付业务的实践 个⼈人简介 • 宋涛 • Ping++ DBA • 负责Ping++数据库相关⼯工作、数据库⾃自动化运维建设 TiDB在Ping++⾦金金融聚合⽀支付业务的实践 • TiDB在Ping++的应⽤用场景分析 - OLAP：saas服务下实时数仓的⽀支撑 - HTAP：基于TiDB Docker的聚合⽀支付私有化部署⽅方案 分布式，海海量量数据实时查询性能 • ⾃自动failover的⾼高可⽤用 场景⼆二：聚合⽀支付私有化部署⽅方案 服务私有化部署的数据库要求： • 脱离云产品：DRDS • oltp+olap • 海海量量交易易下的单表性能：分库分表？ • ⾼高可⽤用：MHA？Innodb Cluster? • 监控、运维⽅方式简单⾼高效 场景⼆二：聚合⽀支付私有化部署⽅方案 基于TiDB Docker的HTAP⼀一站式⽅方案

202 目录 目录 目录 SQL手册 数据类型 字面常量 SQL操作符 别名 SQL-手册 注释 语法帮助 DML DDL 信息查看语句 辅助命令 账户管理 内置函数 聚合函数 位操作函数 字符串函数 条件函数 数学函数 JSON解析函数 类型转换函数 格式转换函数 通用函数 时间和日期函数 BITMAP函数 HLL函数 窗口函数 哈希函数 示例： HLL 数据类型 HLL 数据类型 HLL(HyperLogLog) 类型是一个二进制类型。HLL 类型只能用于聚合类型的表（Aggregation Table），并且必须指定聚合类型为 HLL_UNION。 HLL 类型主要用于非精确快速去重场景下，对数据进行预聚合。 HLL列只能通过配套的 hll_union_agg、hll_cardinality、hll_hash 进行查询或使用。 进行查询或使用。 BITMAP 数据类型 BITMAP 数据类型 BITMAP 类型是一个二进制类型。BITMAP 类型只能用于聚合类型的表（Aggregation Table），并且必须指定聚合类型为 BITMAP_UNION。 BITMAP 类型主要用于精确去重场景下，对数据进行预聚合。同时也可以用于如用户画像场景存放用户ID等。 BITMAP 列只能通过配套的 BITMAP 函数进行查询和使用。

ClassCastException: Integer can not cast to Long? . . . . . . . . . . . . 286 7.9 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？ . . . . . . . . . . . . . . 286 7.10 Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示“Order 是其中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的分表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确 运行。例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表，可以在降低单表数据量的情况下， 尽量使用本地事务，善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场 SQL 解析 分为词法解析和语法解析。先通过词法解析器将 SQL 拆分为一个个不可再分的单词。再使用语法解析器 对 SQL 进行理解，并最终提炼出解析上下文。解析上下文包括表、选择项、排序项、分组项、聚合函数、 分页信息、查询条件以及可能需要修改的占位符的标记。 执行器优化 合并和优化分片条件，如 OR 等。 SQL 路由 根据解析上下文匹配用户配置的分片策略，并生成路由路径。目前支持分片路由和广播路由。

上游数据更新延迟导致整个宽表延迟的问题，进而提升了数据的时效性。数据（指 标、标签等）通过 Spark 统一离线加载到 Kafka 中，使用 Flink 将数据增量更新到 Doris 和 ES 中（利用 Flink 实现进一步的聚合，减轻了 Doris 和 ES 的更新压力）。  加速层：该层主要将大宽表拆为小宽表，根据更新频率配置不同的分区策略，减小 数据冗余带来的存储压力，提高查询吞吐量。Doris 具备多表查询和联邦查询性能 也只需保存最新待导入的数据。同时该方案整体实时性更好且可控，并且大宽表聚合在 Flink 中执行，可灵活加入各种 ETL 逻辑，离线和实时可对多个开发逻辑进行复用，灵活度较高。 数据模型选择 目前我们生产环境所使用的版本为 Apache Doris 1.1.3，我们对其所支持的 Unique 主键模 型、Aggregate 聚合模型和 Duplicate 明细模型进行了对比 ，相较于 Unique Unique 模型和 Duplicate 模型，Aggregate 聚合模型满足我们部分列更新的场景需求： Aggregate 聚合模型可以支持多种预聚合模式，可以通过 REPLACE_IF_NOT_NULL 的方式实 现部分列更新。数据写入过程中，Doris 会将多次写入的数据进行聚合，最终用户查询时， 返回一份聚合后的完整且正确的数据。 另外两种数据模型适用的场景，这里也进行简单的介绍： 

. . 245 分组归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246 聚合归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249 分页归并 . . . 19 19. [其他] 阅读源码时为什么会出现编译错误? IDEA 不索引生成的代码？ . . . . 292 7.7.20 20. [其他] 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？ . . . . 293 7.7.21 21. [其他] Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示 “Order by value 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确 运行。例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表，可以在降低单表数据量的情况下， 尽量使用本地事务，善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场

247 分组归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 viii 聚合归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 分页归并 . . . 7.8.22 [其他] 阅读源码时为什么会出现编译错误? IDEA 不索引生成的代码？ . . . . . . 310 7.8.23 [其他] 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？ . . . . . . 310 7.8.24 [其他] Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示“Order by value 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确 运行。例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表，可以在降低单表数据量的情况下， 尽量使用本地事务，善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场

. . 242 分组归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 聚合归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246 分页归并 . . . 7.8.22 [其他] 阅读源码时为什么会出现编译错误? IDEA 不索引生成的代码？ . . . . . . 306 7.8.23 [其他] 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？ . . . . . . 306 7.8.24 [其他] Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示“Order by value 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确 运行。例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表，可以在降低单表数据量的情况下， 尽量使用本地事务，善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场

. . 258 分组归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259 聚合归并 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262 viii 分页归并 7.8.22 [其他] 阅读源码时为什么会出现编译错误? IDEA 不索引生成的代码？ . . . . . . 321 7.8.23 [其他] 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？ . . . . . . 321 7.8.24 [其他] Oracle 数据库使用 Timestamp 类型的 Order By 语句抛出异常提示“Order by value 中的重要挑战之一。他们需要知道数据需要从哪个具体的数据库的子表中获取。 另一个挑战则是，能够正确的运行在单节点数据库中的 SQL，在分片之后的数据库中并不一定能够正确 运行。例如，分表导致表名称的修改，或者分页、排序、聚合分组等操作的不正确处理。 跨库事务也是分布式的数据库集群要面对的棘手事情。合理采用分表，可以在降低单表数据量的情况下， 尽量使用本地事务，善于使用同库不同表可有效避免分布式事务带来的麻烦。在不能避免跨库事务的场

2.4 提升改进 • TiDB – 支持将内置函数 json_unquote() 下推到 TiKV #24415 – 支持在 Dual 表上移除 Union 算子的优化 #25614 – 优化聚合算子的代价常数 #25241 – 允许 MPP outer join 根据表行数选择构建表 #25142 – 支持 MPP 查询任务按 Region 均衡到不同 TiFlash 节点上 #24724 split 失败而不断重启的问题 – 修复无法删除 Delta 历史数据的潜在问题 – 修复在 CAST 函数中为非二进制字符串填充错误数据的问题 – 修复处理包含复杂 GROUP BY 列的聚合查询时结果不正确的问题 – 修复写入压力过大时出现进程崩溃的问题 – 修复右连接键不为空且左连接键可为空时进程崩溃的问题 – 修复 read-index 请求耗时长的潜在问题 – 修复读负载高的情况下进程崩溃的问题 位函数和操作符 Y Y Y Y Cast 函数和操作符 Y Y Y Y 加密和压缩函数 Y Y Y Y 信息函数 Y Y Y Y JSON 函数 实验特性 实验特性 实验特性 实验特性 聚合函数 Y Y Y Y 窗口函数 Y Y Y Y 其他函数 Y Y Y Y 操作符 Y Y Y Y 字符集和排序规则 1 Y Y Y Y 2.3.2 索引和约束 索引和约束 5.2 5.1

位函数和操作符 Y Y Y Y Cast 函数和操作符 Y Y Y Y 加密和压缩函数 Y Y Y Y 信息函数 Y Y Y Y JSON 函数 实验特性 实验特性 实验特性 实验特性 聚合函数 Y Y Y Y 窗口函数 Y Y Y Y 其他函数 Y Y Y Y 操作符 Y Y Y Y 字符集和排序规则 1 Y Y Y Y 2.3.2 索引和约束 索引和约束 5.2 5.1 metrics_summary 用于汇总所有监控数据，以提升用户排查各监控指标 的效率。 • 监控汇总并按 label 聚合表information_schema.metrics_summary_by_label 同样用于汇总所有监控数据， 但该表会对各项监控的不同的 label 进行聚合统计。 8.3.3 自动诊断 以上集群信息表和集群监控表均需要用户手动执行 SQL 语句来排查集群问题。TiDB statements_summary 用于保存 SQL 监控指标聚合后的结果。一般来说，每一项监控指标都包含平均值和最大 值。例如执行延时对应 AVG_LATENCY 和 MAX_LATENCY 两个字段，分别是平均延时和最大延时。 为了监控指标的即时性，statements_summary 里的数据定期被清空，只展现最近一段时间内的聚合结果。清 空周期由系统变量 tidb_stmt_summary_refresh_interval