浅谈全链路监控： 从应用到数据库到 Runtime 黄东旭, Co-founder & CTO, PingCAP 关于我 黄东旭，联合创始人 & CTO @ PingCAP 做分布式数据库的程序员 ● 现在能写代码的时间是奢侈品 TiDB 的亲爹之一兼首席客服和新功能的第一个用户 ● 冤有头债有主，SQL 慢了来找我。。。 偶尔玩玩音乐 ● 摇滚乐->实验音乐 Go 的粉丝！！！！ ● 多种 Sampling 策略 ● 后端存储分离 ● Go! (图标也好看) Example: Example: Carrier ● Tracing 信息携带者 ○ 解决跨服务调用的 Tracing metadata 序列化和反序列化抽象 ● Inject / Extract ○ HTTPHeader ○ TextMap Example: 通过 HTTPHeader 作为 will wrap any other driver and log/trace all its calls instrumentedsql 原理 在 Driver 相关的调用加 Wrapper 插入 Span 真实的数据库调用对我们来说还是 黑洞 少废话先看东西 少废话先看东西 Under the hood ● 核心思想：将 Tracer ID 和 Span Context 传递到 TiDB

柔性事务 1.2. 功能列表 3 Apache ShardingSphere document, v5.0.0-beta 1.2.3 数据库治理 • 分布式治理 • 弹性伸缩 • 可视化链路追踪 • 数据加密 1.2. 功能列表 4 2 快速入门 本章节以尽量短的时间，为使用者提供最简单的 Apache ShardingSphere 的快速入门。 2.1 ShardingSphere-JDBC 编辑%SHARDINGSPHERE_PROXY_HOME%/conf/server.yaml。详情请参见配置手册。 %SHARDINGSPHERE_PROXY_HOME% 为 Proxy 解 压 后 的 路 径， 例： /Users/ss/shardingsphere‐proxy‐bin/ 2.2.2 2. 引入依赖 如果后端连接 PostgreSQL 数据库，不需要引入额外依赖。 如 果 后 端 编辑%SHARDINGSPHERE_SCALING_HOME%/conf/server.yaml。详情请参见使用手册。 %SHARDINGSPHERE_PROXY_HOME% 为 Scaling 解 压 后 的 路 径， 例： /Users/ss/shardingsphere‐scaling‐bin/ 2.2. ShardingSphere-Proxy 6 Apache ShardingSphere document

. . . 47 应用性能监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 应用链路追踪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.10.5 相关参考 . . . . 的复杂数据查询分析能力，简化并提升数据使用体验。 数 据 加密 数据加密，是保证数据安全的基本手段。ShardingSphere 提供一套完整的、透明化、安全的、 低改造成本的数据加密解决方案。 影 子 库 在全链路压测场景下，ShardingSphere 通过影子库功能支持在复杂压测场景下数据隔离，压 测获得测试结果可准确反应系统真实容量和性能水平。 1.1.3 产品优势 • 极致性能 驱动程序端历经长年打磨，效率接近原生 编辑 %SHARDINGSPHERE_PROXY_HOME%/conf/config-xxx.yaml。 %SHARDINGSPHERE_PROXY_HOME% 为 Proxy 解 压 后 的 路 径， 例：/opt/ shardingsphere-proxy-bin/ 详情请参见 配置手册。 3. 引入依赖 如果后端连接 PostgreSQL 或 openGauss 数据库，不需要引入额外依赖。

. . . 49 应用性能监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 应用链路追踪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 8.10.5 相关参考 . . . . 编辑 %SHARDINGSPHERE_PROXY_HOME%/conf/config-xxx.yaml。 %SHARDINGSPHERE_PROXY_HOME% 为 Proxy 解 压 后 的 路 径， 例：/opt/ shardingsphere-proxy-bin/ 详情请参见 配置手册。 3. 引入依赖 如果后端连接 PostgreSQL 或 openGauss 数据库，不需要引入额外依赖。 （资源管理器）概念来保证分布式事务的强一致性。其中 TM 与 RM 间采用 XA 的协议进行双向通信，通 过两阶段提交实现。与传统的本地事务相比，XA 事务增加了准备阶段，数据库除了被动接受提交指令外， 还可以反向通知调用方事务是否可以被提交。TM 可以收集所有分支事务的准备结果，并于最后进行原子 提交，以保证事务的强一致性。 8.2. 分布式事务 31 Apache ShardingSphere document

分布式事务框构 2018年PostgreSQL中国技术大会 数据库治理 配置动态化 高可用 过载保护 & 熔断 & 禁用 & 失效转移 权限 & 安全（数据脱敏）& SQL审核 链路追踪 & APM & 调用拓扑 & 监控报警 2018年PostgreSQL中国技术大会 注册中心 ü 配置动态化推动 ü 配置统一管理 ü 数据库从库禁用 ü 应用实例熔断 业务代码 ShardingSphere SkyWalking：基于分布式追踪的性能监控系统。项目的核心目标是针对微服务、Cloud Native、容 器化架构，并提供应用性能监控和分布式调用链追踪能力。 SkyWalking已于2017年12月8日，进入Apache孵化器。 2018年PostgreSQL中国技术大会 拓扑图 2018年PostgreSQL中国技术大会 调用链 2018年PostgreSQL中国技术大会 调用详细信息 2018年PostgreSQL中国技术大会

. . . 49 应用性能监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 应用链路追踪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 8.10.5 相关参考 . . . . 编辑 %SHARDINGSPHERE_PROXY_HOME%/conf/config-xxx.yaml。 %SHARDINGSPHERE_PROXY_HOME% 为 Proxy 解 压 后 的 路 径， 例：/opt/ shardingsphere-proxy-bin/ 详情请参见 配置手册。 3. 引入依赖 如果后端连接 PostgreSQL 或 openGauss 数据库，不需要引入额外依赖。 （资源管理器）概念来保证分布式事务的强一致性。其中 TM 与 RM 间采用 XA 的协议进行双向通信，通 过两阶段提交实现。与传统的本地事务相比，XA 事务增加了准备阶段，数据库除了被动接受提交指令外， 还可以反向通知调用方事务是否可以被提交。TM 可以收集所有分支事务的准备结果，并于最后进行原子 提交，以保证事务的强一致性。 8.2. 分布式事务 31 Apache ShardingSphere document

. . . 49 应用性能监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 应用链路追踪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 8.10.5 相关参考 . . . . 编辑 %SHARDINGSPHERE_PROXY_HOME%/conf/database-xxx.yaml。 %SHARDINGSPHERE_PROXY_HOME% 为 Proxy 解 压 后 的 路 径， 例：/opt/ shardingsphere-proxy-bin/ 详情请参见 配置手册。 3. 引入依赖 如果后端连接 PostgreSQL 或 openGauss 数据库，不需要引入额外依赖。 （资源管理器）概念来保证分布式事务的强一致性。其中 TM 与 RM 间采用 XA 的协议进行双向通信，通 过两阶段提交实现。与传统的本地事务相比，XA 事务增加了准备阶段，数据库除了被动接受提交指令外， 还可以反向通知调用方事务是否可以被提交。TM 可以收集所有分支事务的准备结果，并于最后进行原子 提交，以保证事务的强一致性。 8.2. 分布式事务 31 Apache ShardingSphere document

1.1. 简介 4 Apache ShardingSphere document, v5.0.0 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL 编辑%SHARDINGSPHERE_PROXY_HOME%/conf/server.yaml。详情请参见配置手册。 %SHARDINGSPHERE_PROXY_HOME% 为 Proxy 解 压 后 的 路 径， 例： /Users/ss/shardingsphere‐proxy‐bin/ 2.2.2 2. 引入依赖 如果后端连接 PostgreSQL 数据库，不需要引入额外依赖。 如果后端连接 编辑%SHARDINGSPHERE_PROXY_HOME%/conf/server.yaml。详情请参见运行部署。 %SHARDINGSPHERE_PROXY_HOME% 为 Proxy 解 压 后 的 路 径， 例： /Users/ss/shardingsphere‐proxy‐bin/ 2.2. ShardingSphere-Proxy 8 Apache ShardingSphere document

1.1. 简介 4 Apache ShardingSphere document, v5.1.1 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL RM（资源管理器）概念来保证分布式事务的强一致性。其中 TM 与 RM 间采用 XA 的协议进行双向通 信。与传统的本地事务相比，XA 事务增加了准备阶段，数据库除了被动接受提交指令外，还可以反向通 知调用方事务是否可以被提交。TM 可以收集所有分支事务的准备结果，并于最后进行原子提交，以保证 事务的强一致性。 Java 通过定义 JTA 接口实现了 XA 模型，JTA 接口中的 ResourceManager 在基于微服务的分布式应用架构下，业务需要多个服务是通过一系列的服务、中间件的调用来完成，所 以单个服务的压力测试已无法代表真实场景。在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 4.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服

1.1. 简介 4 Apache ShardingSphere document, v5.1.0 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL RM（资源管理器）概念来保证分布式事务的强一致性。其中 TM 与 RM 间采用 XA 的协议进行双向通 信。与传统的本地事务相比，XA 事务增加了准备阶段，数据库除了被动接受提交指令外，还可以反向通 知调用方事务是否可以被提交。TM 可以收集所有分支事务的准备结果，并于最后进行原子提交，以保证 事务的强一致性。 Java 通过定义 JTA 接口实现了 XA 模型，JTA 接口中的 ResourceManager 在基于微服务的分布式应用架构下，业务需要多个服务是通过一系列的服务、中间件的调用来完成，所 以单个服务的压力测试已无法代表真实场景。在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 4.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服