Greenplum数据引擎 全球最强大的分析数据仓库 海量并行查询 • 可以比以往更快地获取 查询结果 • 在数据增长的同时确保 高性能分析 统一的分析处理功能 • 为数据仓库、市场、 ELT、文本挖掘、统计 运算提供统一的平台 • 可以使用SQL、 MapReduce、R等在 所有层次上对任何数 据进行并行分析 19 通过经济的方案扩展 到千万亿字节规模 • 不用担心数据增长或 者开始的规模太小 处理在任何地点存储的任何类型的数 据 • 将SQL的普遍性与MapReduce的灵 活编程模式结合起来 • 针对业务关键分析功能提供企业级集 成、支持和发布 • 为新一代分析处理技术开启了大门– 其中包括文本分析、图形分析、数据 挖掘、机器学习以及更多内容 客户实例：福克斯互动媒体 （Fox Interactive Media） • 业务问题 • 改进定位广告 • 竞争对手 • Teradata 航线 分析 结算 系统 呼叫 中心 其他 航线 分析 结算 系统 呼叫 中心 BO报表响应速度 BO报表响应速度测试： 报表名 Oracle查 询时长 Greenplu m查询时 长 GP提升倍数 备注 报表一： 查询09年1月份数据 无法响应 查询 30秒 N 基于查询 语句 SQL1 报表一： 查询09年5月份数据 49秒 N 同上 报表二： 查询09年1月份数据 40秒

应用在使用连接池时，需要注意连接使用完成后归还连接，推荐应用使用对应的连接池相关监控（如 metricRegistry），通过监控能及时定位连接池问题。 4.4.4.1.2 探活配置 连接池维护客户端到 TiDB 的长连接的方式如下： • v5.4 版本前，TiDB 默认不会主动关闭客户端连接，除非出现报错情况。 • 从 v5.4 起，TiDB 默认会在连接空闲超过 28800 秒（即 8 小时）后，自动关闭客户端连接。你可以使用 Statements) 代替普通的文本执行，并复用预处理语句来直接执行，从而避免 TiDB 重复解析和生 成 SQL 执行计划的开销。 目前多数上层框架都会调用 Prepare API 进行 SQL 执行，如果直接使用 JDBC API 进行开发，注意选择使用 Prepare API。 另外需要注意 MySQL Connector/J 实现中默认只会做客户端的语句预处理，会将 ? 在客户端替换后以文本形式 发送到服务端，所以除了要使用 cachePrepStmts 虽然 useServerPrepStmts = true 能让服务端执行预处理语句，但默认情况下客户端每次执行完后会 close 预处理语句，并不会复用，这样预处理的效率甚至不如文本执行。所以建议开启 useServerPrepStmts �→ = true 后同时配置 cachePrepStmts = true，这会让客户端缓存预处理语句。 在 TiDB 监控中可以通过 Query

应用在使用连接池时，需要注意连接使用完成后归还连接，推荐应用使用对应的连接池相关监控（如 metricRegistry），通过监控能及时定位连接池问题。 4.4.4.1.2 探活配置 连接池维护客户端到 TiDB 的长连接的方式如下： • v5.4 版本前，TiDB 默认不会主动关闭客户端连接，除非出现报错情况。 • 从 v5.4 起，TiDB 默认会在连接空闲超过 28800 秒（即 8 小时）后，自动关闭客户端连接。你可以使用 Statements) 代替普通的文本执行，并复用预处理语句来直接执行，从而避免 TiDB 重复解析和生 成 SQL 执行计划的开销。 目前多数上层框架都会调用 Prepare API 进行 SQL 执行，如果直接使用 JDBC API 进行开发，注意选择使用 Prepare API。 另外需要注意 MySQL Connector/J 实现中默认只会做客户端的语句预处理，会将 ? 在客户端替换后以文本形式 发送到服务端，所以除了要使用 cachePrepStmts 虽然 useServerPrepStmts = true 能让服务端执行预处理语句，但默认情况下客户端每次执行完后会 close 预处理语句，并不会复用，这样预处理的效率甚至不如文本执行。所以建议开启 useServerPrepStmts �→ = true 后同时配置 cachePrepStmts = true，这会让客户端缓存预处理语句。 在 TiDB 监控中可以通过 Query

设置查询的最长执行时间。当查询的执行时间超过设置值时，自 动降低查询的优先级或者取消查询。你还可以设置在一段时间内通过文本或者执行计划立即匹配已经 识别出的查询，从而避免问题查询的并发度太高时，在识别阶段就造成大量资源消耗的情况。 TiDB 同时支持手动标记查询的功能。利用命令QUERY WATCH，你可以根据 SQL 的文本、SQL Digest 或执行 计划标记查询，命中的查询可以被降级或取消，达到添加 SQL 黑名单的目的。 TiDB 日志脱敏增强是通过对日志文件中的 SQL 文本信息进行标记，支持在查看日志时删除敏感数据。你 可以控制是否对日志信息进行标记，以实现在不同场景下安全使用 TiDB 日志，提升了使用日志脱敏能 力的安全性和灵活性。要使用此功能，可以将系统变量 tidb_redact_log 的值设置为 MARKER，此时 TiDB 运行日志中的 SQL 文本会被标记。还可以通过 TiDB server 的 collect-log 应用在使用连接池时，需要注意连接使用完成后归还连接，推荐应用使用对应的连接池相关监控（如 metricRegistry），通过监控能及时定位连接池问题。 4.4.4.1.2 探活配置 连接池维护客户端到 TiDB 的长连接的方式如下： 224 • v5.4 版本前，TiDB 默认不会主动关闭客户端连接，除非出现报错情况。 • 从 v5.4 起，TiDB 默认会在连接空闲超过 28800 秒（即 8 小时）后，自动关闭客户端连接。你可以使用

锁情况以及排查死锁问题等。 在 5.2 中，Lock View 新增以下特性： – 对于 Lock View 所属的各张表中的 SQL Digest 列，v5.2 额外增加了一列显示对应的归一化的 SQL 语句 文本，无需手动查询 SQL Digest 对应的语句。 – 增加了 TIDB_DECODE_SQL_DIGESTS 函数用于在集群中查询一组 SQL Digest 所对应的 SQL 语句的归一 化形式 指定的备份路径上挂载一个共享存储，例如 NFS。这样能方便收集和管理备份文件。 • 在使用共享存储时，推荐使用高吞吐的存储硬件，因为存储的吞吐会限制备份或恢复的速度。 • BR 默认会分别在备份、恢复完成后，进行一轮数据校验，将文本数据同集群数据比较，来保证正确性。 在迁移场景下，为了减少迁移耗时，推荐备份时关闭校验 (--checksum=false)，只在恢复时开启校验。 使用方式 目前支持以下几种方式来运行 BR 工具，分别是通过 limit 允许 残余 的 Raft 日志 大小， 硬限 制 raftstore.raft- entry- cache- life- time 内存 中日 志 cache 允许 的最 长残 留时 间 raftstore.raft- reject- transfer- leader- duration 控制 迁移 leader 到新 加节 点的 最小 时间 raftstore

TiDB 日志脱敏增强是通过对日志文件中的 SQL 文本信息进行标记，支持在查看时安全展示敏感数据。你 可以控制是否对日志信息进行脱敏，以实现在不同场景下安全使用 TiDB 日志，提升了使用日志脱敏能 力的安全性和灵活性。要使用此功能，可以将系统变量 tidb_redact_log 的值设置为 MARKER，此时 TiDB 的运行日志中的 SQL 文本会被标记，查看时将基于标记进行数据的安全展示，从而保护日志信息。 MB、MiB 等 存储单位。 Data Migration secret- �→ key- �→ path 新增 用于指定 加解密上 下游密码 的密钥文 件所在的 路径。该 文件内容 必须是长 度为 64 个 字符的十 六进制的 AES-256 密 钥。 TiCDC tls- �→ certificate �→ -file 新增 用于指定 Pulsar 启用 TLS 加密传 输时，客 应用在使用连接池时，需要注意连接使用完成后归还连接，推荐应用使用对应的连接池相关监控（如 metricRegistry），通过监控能及时定位连接池问题。 4.4.4.1.2 探活配置 连接池维护客户端到 TiDB 的长连接的方式如下： 239 • v5.4 版本前，TiDB 默认不会主动关闭客户端连接，除非出现报错情况。 • 从 v5.4 起，TiDB 默认会在连接空闲超过 28800 秒（即 8 小时）后，自动关闭客户端连接。你可以使用

解决了当日志体量很大时，用户搜索日志很慢或搜索不出的问题 – 解决了搜索比较久远的历史日志时，只能搜索出最近的一部分日志的问题 – 修复在打开 new collation 的情况下可能出现的结果错误 – 修复 SQL 语句中含有极长嵌套表达式时可能出现的解析错误 – 修复 Exchange 算子中可能出现的 Block schema mismatch 错误 – 修复 Decimal 类型比较时可能出现的 Can't compare 和 监听端口。 mode tcp # HAProxy 要使用第 4 层的传输层。 balance roundrobin # 连接数最少的服务器优先接收连接。`leastconn` �→ 建议用于长会话服务，例如 LDAP、SQL、TSE 等，而不是短会话协议，如 HTTP。该算法是动态的 �→ ，对于启动慢的服务器，服务器权重会在运行中作调整。 server tidb-1 10.9.18.229:4000 和 监听端口。 mode tcp # HAProxy 要使用第 4 层的传输层。 balance roundrobin # 连接数最少的服务器优先接收连接。`leastconn` �→ 建议用于长会话服务，例如 LDAP、SQL、TSE 等，而不是短会话协议，如 HTTP。该算法是动态的 �→ ，对于启动慢的服务器，服务器权重会在运行中作调整。 server tidb-1 10.9.18.229:4000

下面的例子展示如何编辑 Master 上的 pg_hba.conf 文件从而允许远程的客户 端通过加密认证的方式访问数据库。 编辑 pg_hba.conf 文件 1. 使用文本编辑器(例如 VI)打开$MASTER_DATA_DIRECTORY/pg_hba.conf 文 件，并进入编辑状态。 2. 为每类需要允许的连接添加一行记录。记录是被顺序读取的，所有记录应该被有序 可以设置 gp_resource_group_queuing_timeout 参数来指定事务排队的时 间长度，超时之后，数据库将 cancel 该事务，该参数缺省值为 0，意思是排队时间长 度没有限制，编者认为，这个参数可能一般也不会用到，因为编者想不出在生产环境中， 什么情况下，需要把排队的事务因等待时长的原因而自动 cancel 掉。 CPU 配额 通过 对聚集索引字段的单条件查询的性能会更高效。 在 GP 中使用聚集索引 对于大表来说，使用CLUSTER(该命令只可以作用于Heap表)命令来排序物理记录 以创建聚集索引可能需要耗费极长的时间。要快速达到同样的效果，可以通过创建一张 中间表的方式来手动排序数据，由于CLUSTER命令只能用于Heap表，对于AO表，要达 到聚集索引的效果，也只能通过数据排序插入的方式实现。例如：

应用在使用连接池时，需要注意连接使用完成后归还连接，推荐应用使用对应的连接池相关监控（如 metricRegistry），通过监控能及时定位连接池问题。 4.4.4.1.2 探活配置 连接池维护客户端到 TiDB 的长连接的方式如下： • v5.4 版本前，TiDB 默认不会主动关闭客户端连接，除非出现报错情况。 • 从 v5.4 起，TiDB 默认会在连接空闲超过 28800 秒（即 8 小时）后，自动关闭客户端连接。你可以使用 Statements) 代替普通的文本执行，并复用预处理语句来直接执行，从而避免 TiDB 重复解析和生 成 SQL 执行计划的开销。 目前多数上层框架都会调用 Prepare API 进行 SQL 执行，如果直接使用 JDBC API 进行开发，注意选择使用 Prepare API。 另外需要注意 MySQL Connector/J 实现中默认只会做客户端的语句预处理，会将 ? 在客户端替换后以文本形式 发送到服务端，所以除了要使用 cachePrepStmts 虽然 useServerPrepStmts = true 能让服务端执行预处理语句，但默认情况下客户端每次执行完后会 close 预处理语句，并不会复用，这样预处理的效率甚至不如文本执行。所以建议开启 useServerPrepStmts �→ = true 后同时配置 cachePrepStmts = true，这会让客户端缓存预处理语句。 在 TiDB 监控中可以通过 Query

引入了系统变量tidb_gc_max_wait_time 来控制 GC 推迟的最大等待时间，超过该参数允许的时间，GC 将会被强制执行。该参数默认为 24 小时。通过该 系统变量，用户可以有效地控制 GC 等待时长与长事务的关系，提升集群的稳定性。 用户文档 • 支持设置统计信息自动采集任务的最长执行时间 通过采集统计信息，数据库可以有效掌握数据的分布情况，从而生成合理的执行计划，提升 SQL 的执行 效率。TiDB 和 监听端口。 mode tcp # HAProxy 要使用第 4 层的传输层。 balance leastconn # 连接数最少的服务器优先接收连接。`leastconn` �→ 建议用于长会话服务，例如 LDAP、SQL、TSE 等，而不是短会话协议，如 HTTP。该算法是动态的 �→ ，对于启动慢的服务器，服务器权重会在运行中作调整。 65 server tidb-1 10.9.18 和 监听端口。 mode tcp # HAProxy 要使用第 4 层的传输层。 balance leastconn # 连接数最少的服务器优先接收连接。`leastconn` �→ 建议用于长会话服务，例如 LDAP、SQL、TSE 等，而不是短会话协议，如 HTTP。该算法是动态的 �→ ，对于启动慢的服务器，服务器权重会在运行中作调整。 server tidb-1 10.9.18.229:4000