TiDB在⾦金金融聚合⽀支付业务的实践 个⼈人简介 • 宋涛 • Ping++ DBA • 负责Ping++数据库相关⼯工作、数据库⾃自动化运维建设 TiDB在Ping++⾦金金融聚合⽀支付业务的实践 • TiDB在Ping++的应⽤用场景分析 - OLAP：saas服务下实时数仓的⽀支撑 - HTAP：基于TiDB Docker的聚合⽀支付私有化部署⽅方案 分布式，海海量量数据实时查询性能 • ⾃自动failover的⾼高可⽤用 场景⼆二：聚合⽀支付私有化部署⽅方案 服务私有化部署的数据库要求： • 脱离云产品：DRDS • oltp+olap • 海海量量交易易下的单表性能：分库分表？ • ⾼高可⽤用：MHA？Innodb Cluster? • 监控、运维⽅方式简单⾼高效 场景⼆二：聚合⽀支付私有化部署⽅方案 基于TiDB Docker的HTAP⼀一站式⽅方案

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 728 5 聚合图形 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (remote command) - 一个预定义好的，满足一些条件的情况下，可以在被监控主机上自动执行的命令 模版 (template) - 一组可以被应用到一个或多个主机上的实体（监控项，触发器，图形，聚合图形，应用，LLD，Web 场景）的集合 模版的任务就是加快对主机监控任务的实施；也可以使监控任务的批量修改更简单。模版是直接关联到每台单独的主机上。 应用 (application) - 一组监控项组成的逻辑分组 目时，才能添加它们。 添加聚合图形 To add screens to a template in Configuration → Templates, do the following: 要在配置 → 模板中向屏幕添加聚合图形，请执行以下操作： • Click on Screens in the row of the template • 点击模板行中的聚合图形 • Configure

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 910 5 聚合图形 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.8.5. This option is missing in version 1.8.3. 33 StartPollers 否 -1000 询进程的初始实例数 量。\\注意如果要内部， 聚合，计算的监控项能 正常工作，这个参数值 必须大于 0。 StartPollers no 0-1000 5 Number of pre-forked instances of pollers1. 可以追踪模拟鼠标在 Web 网站上的点击操作，来检查 Web 网站的功能和响应时间。 丰富的可视化选项 • 能够创建可以将多个监控项组合到单个视图中的自定义图形； • 网络拓扑图； • 以仪表盘样式展示自定义聚合图形和幻灯片演示； • 报表； • 监控资源的高层次（业务）视图。 历史数据存储 • 存储在数据库中的数据； • 可配置的历史数据； • 内置数据管理机制（housekeeping）。

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 926 5 聚合图形 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.8.5. This option is missing in version 1.8.3. 33 StartPollers 否 -1000 询进程的初始实例数 量。\\注意如果要内部， 聚合，计算的监控项能 正常工作，这个参数值 必须大于 0。 StartPollers no 0-1000 5 Number of pre-forked instances of pollers1. 可以追踪模拟鼠标在 Web 网站上的点击操作，来检查 Web 网站的功能和响应时间。 丰富的可视化选项 • 能够创建可以将多个监控项组合到单个视图中的自定义图形； • 网络拓扑图； • 以仪表盘样式展示自定义聚合图形和幻灯片演示； • 报表； • 监控资源的高层次（业务）视图。 历史数据存储 • 存储在数据库中的数据； • 可配置的历史数据； • 内置数据管理机制（housekeeping）。

⼀一个对象通过ID被唯⼀一标识 Value Object - 值对象 • 通过值确定对象的等价性 Domain Services - 业务逻辑 Aggregate - 聚合(根) • ⼀一组实体对象和值对象的集合 • 外部对聚合的访问通过聚合根 Factories - 对象⼯工⼚厂 Repository - 存储机制 Tactical-战术建模 领域驱动设计的架构 �16 Domain Model 能快速发现界限上下⽂文以及相关的聚合根等 参与⼈人员：业务⼈人员，领域专家，技术⼈人员，架构师，测试⼈人员等关键⻆角⾊色 开放空间：⾜足够的空间将业务事件流可视化，让⼈人们可以互相讨论 彩⾊色即时贴：使⽤用不不同颜⾊色标识 Alberto Brandolini 如何使⽤用Event Storming 业务流梳理理 寻找事件 寻找命令 寻找聚合 划分⼦子域&界限上下⽂文 理理解业务 但不不出现在设计 中的业务术语 统⼀一语⾔言 业务流梳理理 寻找事件 寻找命令 寻找聚合 划分⼦子域&界限上下⽂文 统⼀一语⾔言 ① ② ③ ④ ⑤ ⑥ 业务流梳理理 领域专家介绍业务，参与者可以任意提问，⼤大家在理理解业务的基础上梳理理出业务流。 业务流梳理理 寻找事件 寻找命令 寻找聚合 划分⼦子域&界限上下⽂文 统⼀一语⾔言 ① ② ③ ④ ⑤ ⑥ 寻找事件

202 目录 目录 目录 SQL手册 数据类型 字面常量 SQL操作符 别名 SQL-手册 注释 语法帮助 DML DDL 信息查看语句 辅助命令 账户管理 内置函数 聚合函数 位操作函数 字符串函数 条件函数 数学函数 JSON解析函数 类型转换函数 格式转换函数 通用函数 时间和日期函数 BITMAP函数 HLL函数 窗口函数 哈希函数 示例： HLL 数据类型 HLL 数据类型 HLL(HyperLogLog) 类型是一个二进制类型。HLL 类型只能用于聚合类型的表（Aggregation Table），并且必须指定聚合类型为 HLL_UNION。 HLL 类型主要用于非精确快速去重场景下，对数据进行预聚合。 HLL列只能通过配套的 hll_union_agg、hll_cardinality、hll_hash 进行查询或使用。 进行查询或使用。 BITMAP 数据类型 BITMAP 数据类型 BITMAP 类型是一个二进制类型。BITMAP 类型只能用于聚合类型的表（Aggregation Table），并且必须指定聚合类型为 BITMAP_UNION。 BITMAP 类型主要用于精确去重场景下，对数据进行预聚合。同时也可以用于如用户画像场景存放用户ID等。 BITMAP 列只能通过配套的 BITMAP 函数进行查询和使用。

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 969 5 聚合图形 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.8.5. This option is missing in version 1.8.3. 35 StartPollers 否 -1000 询进程的初始实例数 量。\\注意如果要内部， 聚合，计算的监控项能 正常工作，这个参数值 必须大于 0。 StartPollers no 0-1000 5 Number of pre-forked instances of pollers1. 可以追踪模拟鼠标在 Web 网站上的点击操作，来检查 Web 网站的功能和响应时间。 丰富的可视化选项 • 可以组合多个监控项到单个视图中，创建自定义图表； • 网络拓扑图； • 以仪表盘样式展示自定义聚合图形和幻灯片演示； • 报表； • 监控资源的更高层次展示视图（业务视图）。 历史数据存储 • 存储在数据库中的数据； • 历史配置； • 内置数据管理机制（housekeeping）。

⼈人员，架构师，测试⼈人员等关键⻆角⾊色都 要参与其中 ‣开放空间：有⾜足够的空间可以将事件流 可视化，让⼈人们可以交互讨论 ‣彩⾊色即时贴：⾄至少三种颜⾊色 活动准备 寻找领域事件 事件⻛风暴暴 命令⻛风暴暴 寻找聚合 划分限界上下⽂文 什什么是事件？ 为什什么⽤用事件？ 如何进⾏行行事件⻛风暴暴？ 事件：领域专家关⼼心的，在业务上真实 发⽣生的事 例例1: 客户订单已提交 例例2: 对账已完成，每⽉月末夜间触发 已增加 商品已 编辑 退货单已 创建 退货单已 审核 订单已 退货 ⼊入库单 已创建 ⼊入库单 已⼊入库 仓库库存 已增加 寻找命令 事件⻛风暴暴 命令⻛风暴暴 寻找聚合 什什么是命令？ 为什什么⽤用命令？ 如何进⾏行行命令⻛风暴暴？ 命令：什什么活动产⽣生了了事件 例例1: 提交客户订单 例例2: 启动夜间对账 事件是业务上的输出，命令是业务 上的输⼊入。命令以及相应⻆角⾊色可以 投诉单 客服 ⼈人员 客服 ⼈人员 产品运 营⼈人员 产品运 营⼈人员 产品运 营⼈人员 产品运 营⼈人员 产品运 营⼈人员 寻找聚合 事件⻛风暴暴 命令⻛风暴暴 寻找聚合 什什么是聚合？ 如何寻找聚合？ 聚合是⼀一组相关领域模型的集合 ， 是⽤用来封装业务的不不变性。确保 关联关系紧密的领域模型能够内 聚在⼀一起。 1. 按照事件顺序依次通过提问来分析： •

KIBANA 索引模式 6.2. 在 KIBANA 中查看集群日志 第 第 7 章 章 将日志 将日志转发 转发到第三方系 到第三方系统 统 7.1. 关于将日志转发到第三方系统 当外部日志聚合器不可用时，Fluentd 日志处理 7.2. 支持的日志数据输出类型 7.3. 将日志转发到外部 ELASTICSEARCH 实例 7.4. 使用 FLUENTD 转发协议转发日志 7.5. Elasticsearch 节点磁盘高水位线 12.5.5. 已达到 Elasticsearch 节点磁盘的洪水水位线 12.5.6. Elasticsearch JVM 堆使用率是高 12.5.7. 聚合日志记录系统 CPU 为高 12.5.8. Elasticsearch 进程 CPU 为高 12.5.9. Elasticsearch 磁盘空间现为低 12.5.10. Elasticsearch OpenShift Logging 来聚合 OpenShift Container Platform 集群中的所有日 志，如节点系统日志、应用程序容器日志和基础架构日志等。OpenShift Logging 汇总整个集群中的这些 日志，并将其存储在默认日志存储中。您可以使用 Kibana web 控制台来视觉化日志数据。 OpenShift Logging 聚合了以下类型的日志： application

监控（尤其是多云场景下）。 监控系统的重心，通常是采集、存储、可视化、生成告警事件，但通常都不具有完备的事件后续处理能 力。这里说的后续处理主要包括：多渠道分级通知、告警静默、抑制、收敛聚合、降噪、排班、认领升 级、协同闭环处理等等。监控系统或多或少都有一些这方面的能力，但是通常都不完备，而这，正是 PagerDuty FlashDuty 这种产品存在的价值。这些产品都是以 Duty 思路方法和工具实践两个方面分 别进行探讨，下面先行探讨思路方法，看看要解决这些问题和需求，我们有哪些可能的解法。 思路方法篇 告警事件的后续处理：多渠道分级通知、告警静默、抑制、收敛聚合、降噪、排班、认领升级、协同闭环 处理等等。看起来需求很多，最核心的痛点有两个： ● 告警太多，打扰太多 ● 告警疏漏，无法闭环 我们先来看第一个痛点，首先分析一下造成告警太 器查看要高效得多。 如上，是从思路方法层面，对事件的处理做了逻辑讲解。要求所有的监控系统实现这些能力不太现实，而 且会造成一个一个的事件孤岛，所以典型的做法是把所有监控系统生成的事件统一聚合到一个平台来处 理，这就是 OnCall 中心，下面我们以 FlashDuty 来举例，讲解 OnCall 中心的工具实践。 工具实践篇 称手好用的工具是可以大幅提升效率的，同时，好