TiDB在易易果集团的应⽤用 .罗瑞星 2018 / 05 / 26 ⾃自我介绍 罗瑞星 ⼤大数据⾼高级⼯工程师@51job ⼤大数据架构师@易易果集团 负责易易果集团⼤大数据⽅方向架构设计，优化；数据⼯工具及产品的开发 • 背景介绍. • TiDB的应⽤用 • 未来规划 1 2 3 ⽬目录 CONTENTS 易易果集团介绍 易易果⽣生鲜电商易易果创⽴立于2005年年， 易易果集团由易易果⽣生鲜成⽴立，未来将 易易果集团由易易果⽣生鲜成⽴立，未来将 着⼒力力打造三个业务板块：全渠道运营、安鲜达物流和采购供应链,2017 年年与天猫⽣生鲜全⾯面融合，GMV达到100亿。 SKU数超过4000，线上最⼤大 ⼋八⼤大品类涵盖，线上最全 采购覆盖全球6⼤大洲 39个国家地区147个产地 冷链仓全国布局最⼴广，15地24仓 产能全国最⼤大，180万件/天 冷链物流全国规模最⼤大，覆盖全国近400 个城市 ⾏行行业最⼤大的⽣生鲜电商运营平台 性能 • 能够像随时接⼊入想要的数据 不不⽤用考虑容量量，性能等问题 权限管理理 • 细化的权限管理理 易易⽤用 • 让初级⼩小⽩白也能够⽅方便便使⽤用 • SQL⽽而不不是代码 赋能 • 能够为IT其他部⻔门提供服务 数据中台的建设 选择TiDB的理理由 分布式 能够横向拓拓展 简单易易⽤用 兼容MySQL协议，⽅方便便开发与 脚本迁移. 管理理和监控 脚本化的部署，扩容； Prometheus上详细的监控；

书栈(BookStack.CN) 构建 1.1 Alpha 1.0 Pre-GA RC4 RC3 RC2 RC1 TiDB 路线图 用户案例 北京银行 海航 今日头条 转转 Mobike 饿了么（一） 饿了么（二） 易果生鲜 同程旅游 去哪儿 G7 一面数据 凤凰网 猿辅导 Mobikok 二维火 客如云 Ping++ 乐视云 零氪科技 威锐达测控 盖娅互娱 游族网络 西山居 FUNYOURS JAPAN 万达网络 TiDB 服务 TiDB 是指 TiDB 数据库系统，本篇文档涉及到 TiDB 集群的基本管理功能。 可以通过命令行参数或者配置文件设置服务参数，或者是两者一起使用。注意命令行参数的优先级高于配置文件，如 果同一个参数两种方式都设置，会以命令行参数中的值为准。具体信息参考这篇文档。 TiDB 兼容 MySQL 的系统变量，同时定义了一些特有的系统变量用于调整数据库行为，具体信息参考 TiDB 专用系 统变量和语法 Client/Driver 的编程语言，都可以直接使用 TiDB。 是的，除了 TiKV 之外，TiDB 还支持一些流行的单机存储引擎，比如 GolevelDB、RocksDB、BoltDB 等。如 果一个存储引擎是支持事务的 KV 引擎，并且能提供一个满足 TiDB 接口要求的 Client，即可接入 TiDB。 从 TiDB 架构来讲，支持真正意义上的跨中心异地多活，从操作层面讲，依赖数据中心之间的网络延迟和稳定性，一

�→ REGIONS �→ ，一 旦需要 同样配 置的表 数量较 多，操 作复杂。 为解决 这些问 题，引 入了该 变量。你 可以在 GLOBAL 或 SESSION 级别设 置该系 统变量， 提升易 用性。 54 变量名 修改类型 描述 tidb_ �→ shard_ �→ row_id �→ _bits 新增 在 v8.4.0 之前， 要设置 新建表 默认的 行 ID 的 分片数， 需要在 ID_ �→ BITS， 一旦需 要同样 配置的 表数量 较多， 操作复 杂。为 解决这 些问题， 引入了 该变量。 你可以 在 GLOBAL 或 SESSION 级别设 置该系 统变量， 提升易 用性。 55 变量名 修改类型 描述 tidb_tso_ �→ client �→ _rpc_ �→ mode 新增 设置 TiDB 向 PD 发送 TSO RPC 请求时 使用的 模式。这 TTL_ �→ ENABLE �→ 属性 来重 新开 启各 个表 的 TTL。 300 工具 名称 最低 兼容 版本 说明 TiDB Light- ning v6.6.0 导入 后如 果表 中有 TTL 属性， 会自 动将 表的 TTL_ �→ ENABLE �→ 属性 设置 为 OFF， 关闭 TTL。 这样 可以 防止 TiDB 在导 入后 立即 删除 过期 的数 据。

�→ REGIONS �→ ，一 旦需要 同样配 置的表 数量较 多，操 作复杂。 为解决 这些问 题，引 入了该 变量。你 可以在 GLOBAL 或 SESSION 级别设 置该系 统变量， 提升易 用性。 49 变量名 修改类型 描述 tidb_ �→ shard_ �→ row_id �→ _bits 新增 在 v8.4.0 之前， 要设置 新建表 默认的 行 ID 的 分片数， 需要在 ID_ �→ BITS， 一旦需 要同样 配置的 表数量 较多， 操作复 杂。为 解决这 些问题， 引入了 该变量。 你可以 在 GLOBAL 或 SESSION 级别设 置该系 统变量， 提升易 用性。 50 变量名 修改类型 描述 tidb_tso_ �→ client �→ _rpc_ �→ mode 新增 设置 TiDB 向 PD 发送 TSO RPC 请求时 使用的 模式。这 TTL_ �→ ENABLE �→ 属性 来重 新开 启各 个表 的 TTL。 296 工具 名称 最低 兼容 版本 说明 TiDB Light- ning v6.6.0 导入 后如 果表 中有 TTL 属性， 会自 动将 表的 TTL_ �→ ENABLE �→ 属性 设置 为 OFF， 关闭 TTL。 这样 可以 防止 TiDB 在导 入后 立即 删除 过期 的数 据。

nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR nightly 备份 TiDB nightly � � �（如 果恢 复了 使用 非整 数类 型聚 簇主 键的 表到 v4.0 的 TiDB 集 群，BR 会无 任何 警告 地导 致数 据错 误） 158 恢复 版本 （横 向） 备份 版本 （纵 向） 用 nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR v5.0 备 份 TiDB v5.0 � � �（如 果恢 复了 使用 非整 数类 型聚 簇主 键的 表到 v4.0 的 TiDB 集 群，BR 会无 任何 警告 地导 致数 据错 误） 159 恢复 版本 （横 向） 备份 版本 （纵 向） 用 nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR v4.0 备 份 TiDB v4.0 � � �（如 果 TiKV >= v4.0.0- rc.1， BR 包 含 #233 Bug 修 复，且 TiKV 不 包含 #7241 Bug 修 复，那 么 BR 会导 致 TiKV 节点 重启)

nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR nightly 备份 TiDB nightly � � �（如 果恢 复了 使用 非整 数类 型聚 簇主 键的 表到 v4.0 的 TiDB 集 群，BR 会无 任何 警告 地导 致数 据错 误） 166 恢复 版本 （横 向） 备份 版本 （纵 向） 用 nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR v5.0 备 份 TiDB v5.0 � � �（如 果恢 复了 使用 非整 数类 型聚 簇主 键的 表到 v4.0 的 TiDB 集 群，BR 会无 任何 警告 地导 致数 据错 误） 167 恢复 版本 （横 向） 备份 版本 （纵 向） 用 nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR v4.0 备 份 TiDB v4.0 � � �（如 果 TiKV >= v4.0.0- rc.1， BR 包 含 #233 Bug 修 复，且 TiKV 不 包含 #7241 Bug 修 复，那 么 BR 会导 致 TiKV 节点 重启)

nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR nightly 备份 TiDB nightly � � �（如 果恢 复了 使用 非整 数类 型聚 簇主 键的 表到 v4.0 的 TiDB 集 群，BR 会无 任何 警告 地导 致数 据错 误） 176 恢复 版本 （横 向） 备份 版本 （纵 向） 用 nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR v5.0 备 份 TiDB v5.0 � � �（如 果恢 复了 使用 非整 数类 型聚 簇主 键的 表到 v4.0 的 TiDB 集 群，BR 会无 任何 警告 地导 致数 据错 误） 177 恢复 版本 （横 向） 备份 版本 （纵 向） 用 nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR v4.0 备 份 TiDB v4.0 � � �（如 果 TiKV >= v4.0.0- rc.1， BR 包 含 #233 Bug 修 复，且 TiKV 不 包含 #7241 Bug 修 复，那 么 BR 会导 致 TiKV 节点 重启)

算法简介 4.7.3 子查询 本章将介绍 TiDB 中的子查询功能。 4.7.3.1 概述 子查询是嵌套在另一个查询中的 SQL 表达式，借助子查询，可以在一个查询当中使用另外一个查询的查询结 果。 下面将以Bookshop 应用为例对子查询展开介绍： 4.7.3.2 子查询语句 通常情况下，子查询语句分为如下几种形式： • 标量子查询（Scalar Subquery），如 SELECT ------------+------+ 50 rows in set (0.01 sec) 在找到这 50 位最年长的作家后，希望缓存这个查询结果，以便后续的查询能够方便地使用到这组数据。如 果使用一般的数据库表进行存储的话，在创建这些表时，需要考虑如何避免不同会话之间的表重名问题，而 且可能在一批查询结束之后就不再需要这些表了，还需要及时地对这些中间结果表进行清理。 4.7.6.1 创建临时表 也提供了适合小规模数据量数据库（例如小于 1 TiB）的全量数据迁移功能。 • 快速初始化 TiDB 集群：TiDB Lightning 提供的快速导入功能可以实现快速初始化 TiDB 集群的指定表的效 果。请注意，使用快速初始化 TiDB 集群的功能对 TiDB 集群的影响极大，在进行初始化的过程中，TiDB 集 群不支持对外访问。 • 增量数据迁移：使用 TiDB DM 从 MySQL，MariaDB

也提供了适合小规模数据量数据库（例如小于 1 TiB）的全量数据迁移功能。 • 快速初始化 TiDB 集群：TiDB Lightning 提供的快速导入功能可以实现快速初始化 TiDB 集群的指定表的效 果。请注意，使用快速初始化 TiDB 集群的功能对 TiDB 集群的影响极大，在进行初始化的过程中，TiDB 集 群不支持对外访问。 • 增量数据迁移：使用 TiDB DM 从 MySQL，MariaDB nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR nightly 备份 TiDB nightly � � �（如 果恢 复了 使用 非整 数类 型聚 簇主 键的 表到 v4.0 的 TiDB 集 群，BR 会无 任何 警告 地导 致数 据错 误） 232 恢复 版本 （横 向） 备份 版本 （纵 向） 用 nightly 用 BR v5.0 恢 复 TiDB v5.0 用 BR v4.0 恢 复 TiDB v4.0 用 BR v5.0 备 份 TiDB v5.0 � � �（如 果恢 复了 使用 非整 数类 型聚 簇主 键的 表到 v4.0 的 TiDB 集 群，BR 会无 任何 警告 地导 致数 据错 误） 233 恢复 版本 （横 向） 备份 版本 （纵 向） 用

TTL_ �→ ENABLE �→ 属性 来重 新开 启各 个表 的 TTL。 290 工具 名称 最低 兼容 版本 说明 TiDB Light- ning v6.6.0 导入 后如 果表 中有 TTL 属性， 会自 动将 表的 TTL_ �→ ENABLE �→ 属性 设置 为 OFF， 关闭 TTL。 这样 可以 防止 TiDB 在导 入后 立即 删除 过期 的数 据。 算法简介 4.7.3 子查询 本章将介绍 TiDB 中的子查询功能。 4.7.3.1 概述 子查询是嵌套在另一个查询中的 SQL 表达式，借助子查询，可以在一个查询当中使用另外一个查询的查询结 果。 下面将以Bookshop 应用为例对子查询展开介绍： 4.7.3.2 子查询语句 通常情况下，子查询语句分为如下几种形式： • 标量子查询（Scalar Subquery），如 SELECT ------------+------+ 50 rows in set (0.01 sec) 在找到这 50 位最年长的作家后，希望缓存这个查询结果，以便后续的查询能够方便地使用到这组数据。如 果使用一般的数据库表进行存储的话，在创建这些表时，需要考虑如何避免不同会话之间的表重名问题，而 且可能在一批查询结束之后就不再需要这些表了，还需要及时地对这些中间结果表进行清理。 4.7.6.1 创建临时表