PingCAP 划时代的 NewSQL 分布式关系型数据库 技术团队 刘奇 | CEO Co-Founder 前京东 / 豌豆荚资深架构师，知名开源分 布式缓存项目 Codis 作者, 国内 Go 语言 社区知名技术领袖之一 黄东旭 | CTO Co-Founder 前微软亚洲研究院 / 网易有道 / 豌豆荚 全栈工程师，架构师， Codis 共同作者, Open Source Hacker，业界知名程序员 Codis 作者。 Codis 是基于 Redis 的分布式集群解决方案， 为用户提供在线弹性伸缩和高性能的缓存服务，该项目 目前已广泛被各大互 联网公司（百度/小米/滴滴/猎豹 等）采用。 核心技术团队均为一线互联网公司基础架构部资深架构师，有技术改变世界的强烈抱负。 2013年以后 2008年至2013年 2008年以前 • 背景：应用最为广泛的数据库；能 很好的解决复杂的数据运算及表 Commits / 4000+ stars / 44 contributors / 2 Partners 华为 全职工程师（6人团队）深度参与，将会在手机云平台（ 类似 Apple iCloud 业务）和华为商城（VMall）等大型项目落地 京东 全职工程师（10人团队）深度参与，将会在京 东云平台落地，替 换内部 Oracle，继阿里去IOE之后又一重大标志性事件 百度 已经开始整合 TiDB

源码阅读系列文章（八）Online Schema Change 迁移支持 • TiDB Online Schema Change 原理 6.4.1.3 探索更多 • DM 与 online DDL 工具协作细节 6.4.2 下游存在更多列的迁移场景 本文档介绍数据同步时，下游存在更多列的迁移场景需要的注意事项。具体迁移操作可参考已有数据迁移场 景： 557 • 从小数据量 MySQL 迁移数据到 delay（排队延迟时间）：系统处理请求时为了等待某种资源的服务，在队列中等待调度的时间。 • Coherency delay（并发等待延迟）：系统处理请求时为了访问共享资源，需要和其他并发的任务进行通信 和协作的时间。 系统吞吐指系统每秒完成的请求数量。用户响应时间和吞吐通常是反比倒数的关系。随着吞吐的上升，系统 资源利用率上升，请求服务的排队延迟会随之上升，当资源利用率超过某个拐点，排队延迟会急剧上升。 系统调优需要根据系统性能分析的结果做指导，因此本文先列出常用的性能分析方法。 60 秒分析法 60 秒分析法由《性能之巅》的作者 Brendan Gregg 及其所在的 Netflix 性能工程团队公布。所用到的工具均可从 发行版的官方源获取，通过分析以下清单中的输出，可定位大部分常见的性能问题。 • uptime • dmesg | tail • vmstat 1 • mpstat -P

v 妆据 CDC 迁移 同步I具 7 7 7 时 产品技术支持服务 社区支持 商业支持 专业商业支持团队 8 。。 支持积取 。。 获得产品技术支持的通道与方法 TDB 和区网站及 。。 (电话,JM 邮件, 和途径 GiHub 分布式数据库，以便更好地迎接 互联网金融带来的大数据量和高并发的挑战。系统投产之后，已经成功应对两次双十一挑战，2019 年 双十一闫峰的 QPS 达到 7500，是平时 QPS 的十倍以上。 在双十一期间，北京银行 IT 团队进行多次线上的运维操作，包括版本升级、打补丁等，利用TiDB 分布式 数据库的多副本特性实现“运维零中断”的操作。随着系统升级，北京银行的网联业务链，包括上游的手 机银行到网联、银联无卡快捷支付业务 为上层业务提供实时的线上分析能力。 TiSpark 可以与大数据结合, 解决数据处理的性能问题, 简化系统架构和运维- PingCAP.COM 54 6.1 技术支持 数据库是企业的宝贵资产, PingCAP 专业的技术支持团队为我们的客户提供 7"24 小时的 TiDB 技术支持 服务, 为客户的核心资产保驾护航。 技术支持包括: TiDB 相关的安装部署、数据迁移、疑难问题分析与解决、系统优化、运维服务、应急服务、 技术培训、

源码阅读系列文章（八）Online Schema Change 迁移支持 • TiDB Online Schema Change 原理 5.4.1.3 探索更多 • DM 与 online DDL 工具协作细节 5.4.2 下游存在更多列的迁移场景 本文档介绍数据同步时，下游存在更多列的迁移场景需要的注意事项。具体迁移操作可参考已有数据迁移场 景： • 从小数据量 MySQL 迁移数据到 TiDB 此功能为实验特性，其接口、策略和内部实现在 GA 前可能会有所变化。虽然已通过部 分场景的测试，但尚未经过广泛验证，使用此功能可能导致系统不可用，不建议在生产 环境中使用。 • 建议在 TiDB 团队支持下进行相关操作，操作不当可能导致集群难以恢复。 当多数副本的永久性损坏造成部分数据不可读写时，可以使用 Online Unsafe Recovery 功能进行数据有损恢复。 6.9.1 功能说明 系统调优需要根据系统性能分析的结果做指导，因此本文先列出常用的性能分析方法。 9.1.1.1.1 60 秒分析法 60 秒分析法由《性能之巅》的作者 Brendan Gregg 及其所在的 Netflix 性能工程团队公布。所用到的工具均可从 发行版的官方源获取，通过分析以下清单中的输出，可定位大部分常见的性能问题。 • uptime • dmesg | tail • vmstat 1 • mpstat -P

源码阅读系列文章（八）Online Schema Change 迁移支持 • TiDB Online Schema Change 原理 6.5.1.3 探索更多 • DM 与 online DDL 工具协作细节 6.5.2 下游存在更多列的迁移场景 本文档介绍数据同步时，下游存在更多列的迁移场景需要的注意事项。具体迁移操作可参考已有数据迁移场 景： • 从小数据量 MySQL 迁移数据到 TiDB 的部署方式的备份恢复功能使用，可以参考： • 备份恢复部署在 TiDB Cloud 上的 TiDB。推荐在 TiDB Cloud 上创建 TiDB 集群，集群的运维管理将由 TiDB Cloud 团队托管完成，你可以聚焦于业务。 • 备份恢复部署在 Kubernetes 上的 TiDB。如果你使用 TiDB Operator 在 Kubernetes 中部署了 TiDB 集群，建议通 过 Kubernetes AWS 部署了一套 TiDB 生产集群，业务团队提出如下需求： • 及时备份用户数据变更，在数据库遭遇异常情况时，能够以最小的数据丢失代价（容忍异常前几分钟 内的用户数据丢失）快速地恢复业务。 • 每个月不定期进行业务审计。接收到审计请求后，提供一个数据库来查询审计要求的一个月内某个时 间点的数据。 通过 TiDB 提供的 PITR 功能，你可以满足业务团队的需求。 8.3.3.4.1 部署 TiDB

源码阅读系列文章（八）Online Schema Change 迁移支持 • TiDB Online Schema Change 原理 6.4.1.3 探索更多 • DM 与 online DDL 工具协作细节 6.4.2 下游存在更多列的迁移场景 本文档介绍数据同步时，下游存在更多列的迁移场景需要的注意事项。具体迁移操作可参考已有数据迁移场 景： 577 • 从小数据量 MySQL 迁移数据到 的部署方式的备份恢复功能使用，可以参考： • 备份恢复部署在 TiDB Cloud 上的 TiDB。推荐在 TiDB Cloud 上创建 TiDB 集群，集群的运维管理将由 TiDB Cloud 团队托管完成，你可以聚焦于业务。 • 备份恢复部署在 Kubernetes 上的 TiDB。如果你使用 TiDB Operator 在 Kubernetes 中部署了 TiDB 集群，建议通 过 Kubernetes AWS 部署了一套 TiDB 生产集群，业务团队提出如下需求： • 及时备份用户数据变更，在数据库遭遇异常情况时，能够以最小的数据丢失代价（容忍异常前几分钟 内的用户数据丢失）快速地恢复业务。 • 每个月不定期进行业务审计。接收到审计请求后，提供一个数据库来查询审计要求的一个月内某个时 间点的数据。 通过 TiDB 提供的 PITR 功能，你可以满足业务团队的需求。 8.3.3.4.1 部署 TiDB

Driver Feelings ● 代码风格 ○ 对于原先的我更多的是代 码命名方面的问题，一步一步的修改 ○ 参照 Go 源码或者 GitHub 上一些知名项目 ○ 注释有时候是必要 ● 测试 ● 在这个团队里，让我的感受是没有挺好，你可以更好 Q & A ● 项目地址 ● TiDB: http://github.com/pingcap/tidb （7000+ stars） ● TiKV: https://github

后端开发：....（事后一看果然是） Logging / Tracing / Metrics 分布式 Tracing 面临的挑战 ● 领域知识和业务强相关 ○ 工程师不会熟悉每个模块 ● 跨越多团队 / 语言 / 服务 / 模 块 / 物理机 ● 业务侵入性和性能损耗 ● 实时，秒级别有效性 行业现状 ● 起点：《Dapper, a Large-Scale Distributed Systems

源码阅读系列文章（八）Online Schema Change 迁移支持 • TiDB Online Schema Change 原理 6.5.1.3 探索更多 • DM 与 online DDL 工具协作细节 6.5.2 下游存在更多列的迁移场景 本文档介绍数据同步时，下游存在更多列的迁移场景需要的注意事项。具体迁移操作可参考已有数据迁移场 景： • 从小数据量 MySQL 迁移数据到 TiDB 的部署方式的备份恢复功能使用，可以参考： • 备份恢复部署在 TiDB Cloud 上的 TiDB。推荐在 TiDB Cloud 上创建 TiDB 集群，集群的运维管理将由 TiDB Cloud 团队托管完成，你可以聚焦于业务。 • 备份恢复部署在 Kubernetes 上的 TiDB。如果你使用 TiDB Operator 在 Kubernetes 中部署了 TiDB 集群，建议通 过 Kubernetes AWS 部署了一套 TiDB 生产集群，业务团队提出如下需求： • 及时备份用户数据变更，在数据库遭遇异常情况时，能够以最小的数据丢失代价（容忍异常前几分钟 内的用户数据丢失）快速地恢复业务。 • 每个月不定期进行业务审计。接收到审计请求后，提供一个数据库来查询审计要求的一个月内某个时 间点的数据。 通过 TiDB 提供的 PITR 功能，你可以满足业务团队的需求。 714 8.3.3.4.1

源码阅读系列文章（八）Online Schema Change 迁移支持 • TiDB Online Schema Change 原理 6.5.1.3 探索更多 • DM 与 online DDL 工具协作细节 6.5.2 下游存在更多列的迁移场景 本文档介绍数据同步时，下游存在更多列的迁移场景需要的注意事项。具体迁移操作可参考已有数据迁移场 景： • 从小数据量 MySQL 迁移数据到 TiDB 的部署方式的备份恢复功能使用，可以参考： • 备份恢复部署在 TiDB Cloud 上的 TiDB。推荐在 TiDB Cloud 上创建 TiDB 集群，集群的运维管理将由 TiDB Cloud 团队托管完成，你可以聚焦于业务。 • 备份恢复部署在 Kubernetes 上的 TiDB。如果你使用 TiDB Operator 在 Kubernetes 中部署了 TiDB 集群，建议通 过 Kubernetes AWS 部署了一套 TiDB 生产集群，业务团队提出如下需求： • 及时备份用户数据变更，在数据库遭遇异常情况时，能够以最小的数据丢失代价（容忍异常前几分钟 内的用户数据丢失）快速地恢复业务。 • 每个月不定期进行业务审计。接收到审计请求后，提供一个数据库来查询审计要求的一个月内某个时 间点的数据。 通过 TiDB 提供的 PITR 功能，你可以满足业务团队的需求。 8.3.3.4.1 部署 TiDB