浅谈全链路监控： 从应用到数据库到 Runtime 黄东旭, Co-founder & CTO, PingCAP 关于我 黄东旭，联合创始人 & CTO @ PingCAP 做分布式数据库的程序员 ● 现在能写代码的时间是奢侈品 TiDB 的亲爹之一兼首席客服和新功能的第一个用户 ● 冤有头债有主，SQL 慢了来找我。。。 偶尔玩玩音乐 ● 摇滚乐->实验音乐 Go 的粉丝！！！！ @@tidb_tracer_id=xxxxxx; 2. 在 Application 里将 Tracer ID 和 Span Context 序列化成字符串后传递给这个 Session Varible 3. 在 TiDB 体系内将 Tracer 信息反序列化后生成新的 Context 4. TiDB 和 TiKV 之间的通信是通过 gRPC, jaeger 对 gRPC 有着良好的支持 Tips: Jaeger client

Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 六 3 数据仓库体系架构 业务数据与数据使用归类 时间维度：过去 - 现在 - 未来 （数据的生命周期） • “现在”的数据 —— OLTP • “过去”的数据 —— OLAP • “未来”的数据 —— 趋势分析 4 数据仓库体系架构 业务数据与数据特点 Ø非实时，离线+在线流系统，趋势分析 Ø算法分析，持续计算 5 数据仓库体系架构 OLAP场景举例 • 业务相关场景 Ø用户状态 （注册数，活跃数，并发量，峰值） Ø金币状态 Ø道具/物品状态 Ø对账状态 Ø活动反馈 • 架构相关场景 Ø不同数据量，不同事务特点，不同查询需求 Ø历史数据归档与冷热分离 Ø实时与延时需求的权衡 6 数据仓库体系架构 数据流转过程 • 1 业务数据的产生 —— OLTP API接口服务器 • 6 最终数据的显示 —— 前端界面 • 7 结果数据的交互 —— OLTP，趋势分析 • 8 OLAP数据流转 —— dbsync平台 7 数据仓库体系架构 数据架构示意图 8 数据仓库体系架构 架构的具体技术实现 • 轻量级数据仓库 —— Inforbright – 与MySQL数据库结合，易使用，冷热分离 – 数据库归档，只能load，不支持DML – 对特定OLAP类查询有很好的支持作用

金融 光大银行 - 分布式数据库在光大银行关键业务系统的应用 。""* 26 北京银行- 打造面向未来的商业银行业分布式核心系统 ，， 28 中国银行 -基于 TiZabbix 构建金融业新一代运维监控平台 “"""* 30 PayPay - 从AWS Aurora 迁移到TiDB 的最佳实践 32 5.2 能源 国网河北电力 - 利用 TiDB 打造电力企业全场景数据服务能 参与金融分布式专 项相关标准工作:4分布式数据库技术金融应用规范技术架构》《分布式数据库技术金融应用规范安全 技术要求》《分布式数据库技术金融应用规范灾难恢复要求》 。 ”主导联合技术课题《分布式数据库运维体系研究》《分布式数据库入云及多租户研究》 1.5 荣誉 TiDB 产品荣誉 。 2017 年度产品创新奖 。 2017 年度中国信通院 0SCAR 尖峰开源技术奖 。 2018InfoWorld | PingCAPCOM 章 - TiDB 开源分布式关系型数据库 2.4 TiFlash 高性能列式分析引擎 为了真正解决企业级用户在高性能实时数据分析领域的业务需求，我们在 TiDB 已有体系架构的基础上, 结合最先进的列式存储与计算技术，研发而成了 Tiflash 高性能列式分析引擎。 Tiflash 是TiDB 数据库的扩展分析引擎，核心基于列存储引擎和矢量计算引擎， 与 TiDB

存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能; 4. 云原生平台节点: PieCloudDB 集群管控节点，提供数据洞察和集群运维等功能，支持可视化的数据 分析、性能监控、集群启停、自动化部署以及权限管控等能力; 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析，提供标准的 SQL 接口，且内置各种分析工 具，并原生兼容 Postgres (CPU/MEM/节点数 量等) ，管理运行状态，在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面，支持多种统计数据的汇总和明细展示。提供监控告警功能，具备元数据 、 计算节点以及平台工具等完善的监控指标体系，同时支持日志收集和展示，方便用户更好地进行智能化运维。 PieCloudDB 管控平台提供数据洞察、元数据浏览、用户管理、权限管理、SQL 查询历史、ETL 管理等功能。 支持统一的资源管控，通过云原生存储引擎支持多种存储模型，用分布式计算引擎和数据接口来实现湖 仓一体化架构。通过云原生大数据服务以更低成本满足企业业务高弹性和敏汪性的需求。 pieCloudDB 打破了数据湖与数据仓库割裂的体系，架构上实现了将数据湖的灵活性、生态丰富与数据仓库的企业级 能力充分融合，帮助企业构建数据湖和数据仓库下合的数据管理平台。 PieCloudDB 内置的 foreign-data wrapper 《FDW)

云原生管控平台节点： PieCloudDB 集群管控节点，提供数据洞察和集群运维等功能，支持可视化的 数据分析、性能监控、集群启停、自动化部署以及权限管控等能力; 数据应用层： 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析，提供标准的 SQL 接口，且内置各种分析工 具，并原生兼容 量等），管理运行状态，在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面，支持多种统计数据的汇总和明细展示。提供监控告警功能，具备元数据、 计算节点以及平台工具等完善的监控指标体系，同时支持日志收集和展示，方便用户更好地进行智能化运维。 PieCloudDB 管控平台提供数据洞察、 元数据浏览、用户管理、权限管理、SQL 查询历史、ETL 支持统一的资源管控，通过云原生存储引擎支持多种存储模型，用分布式计算引擎和数据接口来实现湖 仓一体化架构。通过云原生大数据服务以更低成本满足企业业务高弹性和敏捷性的需求。 PieCloudDB 打破了数据湖与数据仓库割裂的体系，架构上实现了将数据湖的灵活性、生态丰富与数据仓库的企业级 能力充分融合，帮助企业构建数据湖和数据仓库融合的数据管理平台。 PieCloudDB 内置的 foreign-data wrapper

TiDB在Ping++的应⽤用场景分析 - OLAP：saas服务下实时数仓的⽀支撑 - HTAP：基于TiDB Docker的聚合⽀支付私有化部署⽅方案 • 关于TiDB的线上运维 - TiDB体系 - 业务零感知运维 Ping++原数据架构及瓶颈 实时数仓数据源挑战： • 数⼗十亿交易易量量 • 多维度联合分析 • 实时分析+报表下载 场景⼀一：实时数仓数据源⽀支撑 ⾼高可⽤用：MHA？Innodb Cluster? • 监控、运维⽅方式简单⾼高效 场景⼆二：聚合⽀支付私有化部署⽅方案 基于TiDB Docker的HTAP⼀一站式⽅方案 • 兼容mysql，应⽤用零改动迁移 • 节点⾼高可⽤用 • ⾃自动Region分⽚片、分布式事务 • Online DDL • SQL优先级策略略，安全的oltp+olap • Grafana监控 • Docker简易易运维，⽔水平扩展 Docker简易易运维，⽔水平扩展 TiDB线上运维 • TiDB体系 TiDB线上运维 TiDB的业务零感知运维 • ⾃自动运维：TiDB升级、节点扩展/下线 TiDB-Ansible • ⼿手动运维：升级磁盘、磁盘扩容、数据迁移、⽹网络升级、服务器器重启等 - TiDB节点： 负载均衡层权重—>stop start—>负载均衡层权重 - PD节点：

的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是 交互，是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用 Database Mesh，访问数据库的 应用和数据库终将形成一个巨大的网格体系，应用和数据库只需在网格体系中对号入座即可，它们都是 被啮合层所治理的对象。 1.1. 简介 3 Apache ShardingSphere document, v5.1.1 Shard ingSphere-JDBC API，它可以用于实现框架扩展或组件替换。 3.4.2 挑战 可插拔架构对程序架构设计的要求非常高，需要将各个模块相互独立，互不感知，并且通过一个可插拔 内核，以叠加的方式将各种功能组合使用。设计一套将功能开发完全隔离的架构体系，既可以最大限度 的将开源社区的活力激发出来，也能够保障项目的质量。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进 行 与此同时，场景内部也愈加细化，相似场景使用不同数据库已成为常态。由此可见，数据库碎片化的趋 势已经不可逆转。 4.1.2 挑战 并无统一标准的数据库的访问协议和 SQL 方言，以及各种数据库带来的不同运维方法和监控工具的异同， 让开发者的学习成本和 DBA 的运维成本不断增加。提升与原有数据库兼容度，是在其之上提供增量服务 的前提。 SQL 方言和数据库协议的兼容，是数据库兼容度提升的关键点。 18

的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是 交互，是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用 Database Mesh，访问数据库的 应用和数据库终将形成一个巨大的网格体系，应用和数据库只需在网格体系中对号入座即可，它们都是 被啮合层所治理的对象。 1.1. 简介 3 Apache ShardingSphere document, v5.1.0 Shard ingSphere-JDBC API，它可以用于实现框架扩展或组件替换。 3.4.2 挑战 可插拔架构对程序架构设计的要求非常高，需要将各个模块相互独立，互不感知，并且通过一个可插拔 内核，以叠加的方式将各种功能组合使用。设计一套将功能开发完全隔离的架构体系，既可以最大限度 的将开源社区的活力激发出来，也能够保障项目的质量。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进 行 与此同时，场景内部也愈加细化，相似场景使用不同数据库已成为常态。由此可见，数据库碎片化的趋 势已经不可逆转。 4.1.2 挑战 并无统一标准的数据库的访问协议和 SQL 方言，以及各种数据库带来的不同运维方法和监控工具的异同， 让开发者的学习成本和 DBA 的运维成本不断增加。提升与原有数据库兼容度，是在其之上提供增量服务 的前提。 SQL 方言和数据库协议的兼容，是数据库兼容度提升的关键点。 18

的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是 交互，是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用 Database Mesh，访问数据库的 应用和数据库终将形成一个巨大的网格体系，应用和数据库只需在网格体系中对号入座即可，它们都是 被啮合层所治理的对象。 1.1. 简介 3 Apache ShardingSphere document, v5.1.2 Shard ingSphere-JDBC API，它可以用于实现框架扩展或组件替换。 3.4.2 挑战 可插拔架构对程序架构设计的要求非常高，需要将各个模块相互独立，互不感知，并且通过一个可插拔 内核，以叠加的方式将各种功能组合使用。设计一套将功能开发完全隔离的架构体系，既可以最大限度 的将开源社区的活力激发出来，也能够保障项目的质量。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构，项目的功能组件能够灵活的以可插拔的方式进 行 与此同时，场景内部也愈加细化，相似场景使用不同数据库已成为常态。由此可见，数据库碎片化的趋 势已经不可逆转。 4.1.2 挑战 并无统一标准的数据库的访问协议和 SQL 方言，以及各种数据库带来的不同运维方法和监控工具的异同， 让开发者的学习成本和 DBA 的运维成本不断增加。提升与原有数据库兼容度，是在其之上提供增量服务 的前提。 SQL 方言和数据库协议的兼容，是数据库兼容度提升的关键点。 18

69 导览 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 应用性能监控集成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 Agent 集成 . . . . . . . 的关注重点在于如何将分布式的数据访问应用与数据库有机串联起来，它更加关注的是 交互，是将杂乱无章的应用与数据库之间的交互进行有效地梳理。使用 Database Mesh，访问数据库的 应用和数据库终将形成一个巨大的网格体系，应用和数据库只需在网格体系中对号入座即可，它们都是 被啮合层所治理的对象。 1.1. 简介 2 Apache ShardingSphere document, v5.0.0-beta Shard ingSphere-JDBC /states/proxynodes 数据库访问对象运行实例信息，子节点是当前运行实例的标识。运行实例标识由运行服务器的 IP 地址和 PID 构成。运行实例标识均为临时节点，当实例上线时注册，下线时自动清理。注册中心监控这些节点的 变化来治理运行中实例对数据库的访问等。 /states/datanodes 可以治理读写分离从库，可动态添加删除以及禁用。 动态生效 在注册中心上修改、删除、新增相关配置，会动态推送到生产环境并立即生效。