China 2016 中国用户大会 部署方案 • 底层通过78台X3650 PC服务器组构建Hadoop集群,有效容量 138TB • 数据的分发、复制、任务调度、容错都是由系统软件来控制， 同时具备线性的横向扩展能力 • 3份冗余的数据保证对硬件的容错和读处理的支持 设备 硬件设备 数量 Hadoop 集群管理节点 IBM 3650 PC，双路六核，Intel X5650处理器， 2.66GHz主频，48GB内存，6*1TB 指定Timestamp能减少store file级别的读操 作 – Bloom Filter也能达到同样目的 • 选择指定的Column Family可以减少查询需 要读取的数据量 • 简单的纯基于filter的值查找是一个全表扫描 操作 – 但使用filter可以减少网络传输数据量 26 Postgres Conference China 2016 中国用户大会 关系型数据库中的数据模型 • Entity 多对多关系è联合 27 Postgres Conference China 2016 中国用户大会 NoSQL数据库的典型数据模型 (muddle) • 将所有数据关系放在一行宽 记录中存储 – 避免数据查找及跨网络访问 – 随机数据读取变为顺序读取 – 易于分表 – 空间换时间 – 原子性更新？ • 第三范式 28 Postgres Conference China 2016 中国用户大会 行记录设计

的并行文件分发服务(gpfdist)，管理员可以实现最大化 的利用网络带宽资源以实现高速并行装载。 上图展示了 GP 外部表和 gpfdist 是如何配合，以实现高速数据装载的，该模式 的性能是完全线性扩展的，数据直接在 gpfdist 和 Primary 之间并行传输，数据的 重分布直接在 Primary 之间完成，整个架构没有瓶颈点。 管理与监控 对 GP 系统的管理， Master 端都安装有 OpenSSL。在 设置参数 ssl=on(在 Master 的 postgresql.conf 文件)后重新启动集群就开启了 SSL。在使用 SSL 模式启动时，数据库会查找 Master 目录下的 server.key(服务器 密钥)文件和 server.crt(服务器证书)文件。这些文件必须被正确的安装，否则数据 库系统将无法启动。 重要提示：不要为 server myschema, public, pg_catalog; 设置了模式搜索路径之后，在未明确指明模式名称的情况下访问DB对象，将会按 照search_path列表的顺序依次在相应的Schema中查找对应的Object，直到找到为 止，若在不同的Schema中存在相同Name的Object，DB优先匹配search_path中靠 前的Schema下的Object。 查看当前的模式

真正做到学以致⽤。 另⼀⽅⾯， 对于 Redis 使⽤者来说， 本书包含了⼤量 Redis 新版特性的介绍， 读者可以通过本书了解到最新的 Redis 知识。 除此之外， 对于⽇常的命令⽂档查找和应⽤示例查找， 本书在⽬录处也做了优化， 读者可以通过 书本的⽬录和附录快速定位命令和示例， ⾮常便于⽇常查阅。 1.4 预备⼯作 本书包含⼤量 Redis 命令操作实例和 Python 代码应⽤示例， 并且持续地使⽤同⼀种键名格式， 以免造成混乱。 通过使⽤相同的格式去命名逻辑上相关联的键， 我们可以让程序产⽣的数据结构变得更容易被理解， 并且在有 需要的时候， 还可以根据特定的键名格式， 在数据库⾥⾯以模式匹配的⽅式查找指定的键。 2.10 STRLEN：获取字符串值的字节⻓度 通过对字符串键执⾏ STRLEN 命令， ⽤户可以取得字符串键储存的值的字节⻓度： STRLEN key 以下代码展示了如何使⽤ STRLEN （overhead）来对键进⾏维护， 所以键的数量越多， 消耗的额外资源就会越多。 2. 这种⽅法将全部⽇志分散地储存在不同的键⾥⾯， 当程序想要对特定的⽇志进⾏分析的时候， 它就需要花 费额外的时间和资源去查找指定的⽇志， 这给分析操作带来了额外的麻烦和资源消耗。 代码清单 2-5 展示了另⼀种更为⽅便和⾼效的⽇志储存⽅式， 这个程序会把同⼀天之内产⽣的所有⽇志都储存在 同⼀个字符串键⾥⾯， 从⽽使得⽤

systemctl status firewalld.service 4.2.4 检测及安装 NTP 服务 TiDB 是一套分布式数据库系统，需要节点间保证时间的同步，从而确保 ACID 模型的事务线性一致性。目前解 决授时的普遍方案是采用 NTP 服务，可以通过互联网中的 pool.ntp.org 授时服务来保证节点的时间同步，也 可以使用离线环境自己搭建的 NTP 服务来解决授时。 采用如下步骤检查是否安装 规则描述： TiDB 处理请求的延时。如果.99 的延迟大于 1 秒，则报警。 • 处理方法： 查看 TiDB 的日志，搜索 SLOW_QUERY 和 TIME_COP_PROCESS 关键字，查找慢 SQL。 7.5.1.3.3 TiDB_server_event_error • 报警规则： increase(tidb_server_event_total{type=~"server_ Query，但映射到内存表后，对应的字段叫 Query。 • Digest：表示 SQL 语句的指纹。 • Txn_start_ts：表示事务的开始时间戳，也是事务的唯一 ID，可以用这个值在 TiDB 日志中查找事务相 关的其他日志。 • Is_internal：表示是否为 TiDB 内部的 SQL 语句。true 表示 TiDB 系统内部执行的 SQL 语句，false 表示用 户执行的 SQL 语句。

TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 75 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 systemctl status firewalld.service 4.2.4 检测及安装 NTP 服务 TiDB 是一套分布式数据库系统，需要节点间保证时间的同步，从而确保 ACID 模型的事务线性一致性。目前解 决授时的普遍方案是采用 NTP 服务，可以通过互联网中的 pool.ntp.org 授时服务来保证节点的时间同步，也 可以使用离线环境自己搭建的 NTP 服务来解决授时。 采用如下步骤检查是否安装 规则描述： TiDB 处理请求的延时。如果.99 的延迟大于 1 秒，则报警。 • 处理方法： 查看 TiDB 的日志，搜索 SLOW_QUERY 和 TIME_COP_PROCESS 关键字，查找慢 SQL。 256 7.5.1.3.3 TiDB_server_event_error • 报警规则： increase(tidb_server_event_total{type=~"se

计划在后续版本重新设计执行计划绑定的自动演进，相关的变量和行为会发生变化。 2.2.4 改进提升 • TiDB – DDL 创建表语句 CREATE TABLE 执行性能加速 10 倍，并且可线性扩展 #50052 @GMHDBJD – 支持同时提交 16 个 IMPORT INTO ... FROM FILE 任务，方便批量导入数据到目标表，极大地提升 了数据文件导入的效率和性能 #49008 样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 都只允许单一数据类型的数据值。列可添 加约束来进一步限定。你还可以添加生成列用于计算。 4.5.1.4 索引 Index 索引是单个表中行的副本，按列或列集排序。TiDB 查询使用索引来更有效的查找表内的数据，同时可以给出 特定列的值。每个索引都是从属于某个表的。 索引有两种常见的类型，分别为： 245 • Primary Key: 即主键索引，即标识在主键列上的索引。 • Secondary

样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 都只允许单一数据类型的数据值。列可添 加约束来进一步限定。你还可以添加生成列用于计算。 4.5.1.4 索引 Index 索引是单个表中行的副本，按列或列集排序。TiDB 查询使用索引来更有效的查找表内的数据，同时可以给出 特定列的值。每个索引都是从属于某个表的。 索引有两种常见的类型，分别为： 230 • Primary Key: 即主键索引，即标识在主键列上的索引。 • Secondary Author 类对象当中。 287 4.7.1.3 对结果进行筛选 查询得到的结果非常多，但是并不都是你想要的？可以通过 WHERE 语句对查询的结果进行过滤，从而找到想 要查询的部分。 例如，想要查找众多作家当中找出在 1998 年出生的作家： 在 SQL 中，可以使用 WHERE 子句添加筛选的条件： SELECT * FROM authors WHERE birth_year = 1998;

0 开始，在新的分布式并行执行框架下，多个 TiDB 节点可以并行执行同一项 DDL 任务，从而更好地 利用 TiDB 集群的资源，大幅提升 DDL 的性能。此外，你还可以通过增加 TiDB 节点来线性提升 DDL 的性 能。需要注意的是，该特性是实验性特性，目前仅支持 ADD INDEX 操作。 如果要使用分布式并行执行框架，只需将tidb_enable_dist_task 的值设置为 ON： 样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 都只允许单一数据类型的数据值。列可添 加约束来进一步限定。你还可以添加生成列用于计算。 4.5.1.4 索引 Index 索引是单个表中行的副本，按列或列集排序。TiDB 查询使用索引来更有效的查找表内的数据，同时可以给出 特定列的值。每个索引都是从属于某个表的。 索引有两种常见的类型，分别为： • Primary Key: 即主键索引，即标识在主键列上的索引。 • Secondary Index:

PITR 恢复过程中 TiFlash 崩溃的问题 #52628 @RidRisR * 修复增量备份过程中扫描 DDL 作业的效率较低的问题 #54139 @3pointer * 修复断点备份过程中查找 Region leader 中断导致备份性能受影响问题 #17168 @Leavrth – TiCDC * 修复 Grafana 监控中的 Kafka Outgoing Bytes 面板显示不准确的问题 样 TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 都只允许单一数据类型的数据值。列可添 加约束来进一步限定。你还可以添加生成列用于计算。 4.5.1.4 索引 Index 索引是单个表中行的副本，按列或列集排序。TiDB 查询使用索引来更有效的查找表内的数据，同时可以给出 特定列的值。每个索引都是从属于某个表的。 索引有两种常见的类型，分别为： • Primary Key: 即主键索引，即标识在主键列上的索引。 • Secondary Index:

TiFlash 集群可实现近似线性的扩展能力。TiFlash 节点数量应根据期待的性能和响应时间调 整。 83 * 当 OLTP 数据吞吐量较高时（例如写入或更新超过千万行/小时），由于网络和物理磁盘的写入 能力有限，内部 TiKV 与 TiFlash 之间的 I/O 会成为主要瓶颈，也容易产生读写热点。此时 TiFlash 节点数与 OLAP 计算量有较复杂非线性关系，需要根据具体系统状态调整节点数量。 systemctl status firewalld.service 4.2.4 检测及安装 NTP 服务 TiDB 是一套分布式数据库系统，需要节点间保证时间的同步，从而确保 ACID 模型的事务线性一致性。目前解 决授时的普遍方案是采用 NTP 服务，可以通过互联网中的 pool.ntp.org 授时服务来保证节点的时间同步，也 可以使用离线环境自己搭建的 NTP 服务来解决授时。 采用如下步骤检查是否安装 规则描述： TiDB 处理请求的延时。如果.99 的延迟大于 1 秒，则报警。 • 处理方法： 查看 TiDB 的日志，搜索 SLOW_QUERY 和 TIME_COP_PROCESS 关键字，查找慢 SQL。 269 7.5.1.3.3 TiDB_server_event_error • 报警规则： increase(tidb_server_event_total{type=~"se