浅谈全链路监控： 从应用到数据库到 Runtime 黄东旭, Co-founder & CTO, PingCAP 关于我 黄东旭，联合创始人 & CTO @ PingCAP 做分布式数据库的程序员 ● 现在能写代码的时间是奢侈品 TiDB 的亲爹之一兼首席客服和新功能的第一个用户 ● 冤有头债有主，SQL 慢了来找我。。。 偶尔玩玩音乐 ● 摇滚乐->实验音乐 Go 的粉丝！！！！

....................................................................................... 8 完善的生态工具链 ................................................................................................... 4. 繁荣社区生态 友好卓面环境：UKUDDEXfce 卓面环境，丰富社区卓面环境生态。 • 欧拉 DevKit：支持操作系统迁移、兼容性评估、简化安全配置 secPaver 等更多开发工具。 Greenplum：新一代 HTAP 数据平台 Greenplum 自 2006 年发布第一个版本以来，就以精巧架构、简单易用、运行稳定、优异性能、环境适应性强在 MPP

•Android操作系统内置对SQLite的直接支持 SQLite概述 官网： http://www.sqlite.org/download.html 访问官网，可以直接下载相 关平台的SQLite开发工具 下载这个压缩包，可以在 Windows上创建和管理Sqlite数 据库，适合于学习 Windows环境下使用SQLite 解压 命令行下打开此程序 SQLite Shell SQLite

圈选等内容分 析服务。 数据架构演进 TDW 是腾讯最大的离线数据处理平台，公司内大多数业务的产品报表、运营分析、数据挖 掘等的存储和计算都是在 TDW 中进行，内容库数据平台的数据加工链路同样是在腾讯数据 仓库 TDW 上构建的。截止目前，内容库数据平台的数据架构已经从 1.0 演进到了 4.0 ， 经历了分析引擎从 ClickHouse 到 Apache Doris 的替换、经历了数据架构语义层的初步引 据集使用，语义层对 标签和指标透明统一的定义提升了工作效率、降低了使用成本。 存在的问题： 从架构图可知，标签和指标等数据均处于下游位置，虽然标签与指标在语义层被显式定义， 但仍然无法影响上游链路，数仓层有自己的语义逻辑，加速层有自己的导入配置，这样就造 成了数据管理机制的割裂。 数据架构 4.0 在数据架构 3.0 的基础上，我们对语义层进行更深层次的应用，在数据架构 4.0 中，我们 二个实现思路，原因如下： 在 TDW 中生成宽表，虽然链路简单，但是弊端也比较明显。  存储成本较高， TDW 除了要维护离散的 80 +个 Source 表外，还需维护 1 个大 7 宽表、2 份冗余的数据。  实时性比较差，由于每个 Source 表产出的时间不一样，往往会因为某些延迟比较 大的 Source 表导致整个数据链路延迟增大。  开发成本较高，该方案只能

侯阳 2022年1月15日 01 SphereEx 中间件研发工程师 Apache ShardingSphere Contributor 目前专注于 Shadow DB 及全链路压测相关的设计和研发 Apache ShardingSphere 发展和现状 Apache ShardingSphere 架构设计 Apache ShardingSphere Roadmap 1.x (2016) https://community.sphere-ex.com 文字 Apache ShardingSphere Overview Shadow DB 应用场景 Shadow DB 架构设计 全链路压测：流量规划，比如双 11，618 等 灰度发布：指定测试用户的体验版本发布 服务预热：预热数据隔离 对比测试：基于版本的对比测试 Shadow DB Scenes 4.1.1 Shadow agent 在调用链传递 通过 database-shadow 数据路由 cyborg-database-shadow sw8-correlation: cyborg-flow=true CyborgFlow POC1 文字 直接调用服务应用模拟生产环境调用 调用 cyborg-flow-gateway 网关模拟压测环境调用 CyborgFlow POC2 文字 真实流量的调用链路 压测流量的调用链路

. . . . 49 应用性能监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 应用链路追踪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 8.10.5 相关参考 . . . 以单个服务的压力测试已无法代表真实场景。在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 8.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用 产数据库中真实数据造成污染。这就要求业务应用在执行 SQL 前，能够根据透传的压测标识，做好数据 分类，将相应的 SQL 路由到与之对应的数据源。 8.9.3 目标 Apache ShardingSphere 关注于全链路压测场景下，数据库层面的解决方案。将压测数据自动路由至用 户指定的数据库，是 Apache ShardingSphere 影子库模块的主要设计目标。 8.9. 影子库 45 Apache ShardingSphere

1.1. 简介 4 Apache ShardingSphere document, v5.1.1 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL 以单个服务的压力测试已无法代表真实场景。在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 4.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用 路由到与之对应的数据源。 4.9. 影子库压测 57 Apache ShardingSphere document, v5.1.1 4.9.3 目标 Apache ShardingSphere 关注于全链路压测场景下，数据库层面的解决方案。将压测数据自动路由至用 户指定的数据库，是 Apache ShardingSphere 影子库模块的主要设计目标。 4.9.4 核心概念 生产库 生产环境使用的数据库。

. . . . 47 应用性能监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 应用链路追踪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 3.10.5 相关参考 . . . 的复杂数据查询分析能力，简化并提升数据使用体验。 数 据 加密 数据加密，是保证数据安全的基本手段。ShardingSphere 提供一套完整的、透明化、安全的、 低改造成本的数据加密解决方案。 影 子 库 在全链路压测场景下，ShardingSphere 通过影子库功能支持在复杂压测场景下数据隔离，压 测获得测试结果可准确反应系统真实容量和性能水平。 1.1.3 产品优势 • 极致性能 驱动程序端历经长年打磨，效率接近原生 以单个服务的压力测试已无法代表真实场景。在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 3.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用

1.1. 简介 4 Apache ShardingSphere document, v5.1.0 1.2 解决方案 解决方案/功能 分布式数据库 数据安全 • 数据库网关 * • 全链路压测 * 数据分片 数据加密 异构数据库支持 影子库 读写分离 行级权限（TODO） SQL 方 言 转 换 （TODO） 可观测性 分布式事务 SQL 审计（TODO） 弹性伸缩 SQL 以单个服务的压力测试已无法代表真实场景。在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 4.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用 产数据库中真实数据造成污染。这就要求业务应用在执行 SQL 前，能够根据透传的压测标识，做好数据 分类，将相应的 SQL 路由到与之对应的数据源。 4.9.3 目标 Apache ShardingSphere 关注于全链路压测场景下，数据库层面的解决方案。将压测数据自动路由至用 户指定的数据库，是 Apache ShardingSphere 影子库模块的主要设计目标。 4.9.4 核心概念 生产库 生产环境使用的数据库。

. . . . 49 应用性能监控 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 应用链路追踪 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 8.10.5 相关参考 . . . 以单个服务的压力测试已无法代表真实场景。在测试环境中，如果重新搭建一整套与生产环境类似的压 测环境，成本过高，并且往往无法模拟线上环境的复杂度以及流量。因此，业内通常选择全链路压测的 方式，即在生产环境进行压测，这样所获得的测试结果能够准确地反应系统真实容量和性能水平。 8.9.2 挑战 全链路压测是一项复杂而庞大的工作。需要各个微服务、中间件之间配合与调整，以应对不同流量以及压 测标识的透传。通常会搭建一整套压测平台以适用 产数据库中真实数据造成污染。这就要求业务应用在执行 SQL 前，能够根据透传的压测标识，做好数据 分类，将相应的 SQL 路由到与之对应的数据源。 8.9.3 目标 Apache ShardingSphere 关注于全链路压测场景下，数据库层面的解决方案。将压测数据自动路由至用 户指定的数据库，是 Apache ShardingSphere 影子库模块的主要设计目标。 8.9. 影子库 45 Apache ShardingSphere