有序集合（Sorted Set） 7. HyperLogLog 8. 位图（bitmap） 9. 地理坐标（GEO） 10. 流（Stream） 第⼆部分：附加功能 11. 数据库* 12. ⾃动过期* 13. 流⽔线与事务* 14. Lua 脚本 15. 持久化 16. 发布与订阅 17. 模块 第三部分：多机功能 18. 复制* 19. Sentinel 20. 集群 附录 附录 A ：Redis 安装⽅法* 通过这些数据结构和 特性， Redis 可以保证， ⽤户总是可以使⽤最适合的⼯具去解决⼿头上的问题。 完备的功能 在上述这些数据结构的基础上， Redis 提供了很多⾮常有⽤和实⽤的附加功能， ⽐如⾃动过期、流⽔线、 事务、数据持久化等， 这些功能能够帮助⽤户将 Redis 应⽤在更多不同的场景中， 或者给予⽤户以⽅便。 更重要的是， Redis 不仅可以单机使⽤， 还可以多机使⽤： 通过 Redis ⾃带的复制、Sentinel 附加功能部分介绍了 Redis 在数据结构的基础上， 为⽤户提供的额外功能。 其中包括管理数据结构的数据库管理 功能和⾃动过期功能， 将数据结构持久化⾄硬盘从⽽避免数据丢失的持久化功能， 提⾼多条命令执⾏效率的流⽔ 线功能， 保证命令安全性的事务和 Lua 脚本功能， 还有扩展服务器特性的模块功能等等。 这些功能在为⽤户提 供⽅便的同时， 也进⼀步扩⼤了 Redis 的适⽤范围， 读者可以通过阅读这⼀部分来学会如何将

查询缓存区的最大长度，按照当前需求，一 倍一倍增加，本选项比较重要 sort_buffer_size 512K 128M 每个线程的排序缓存大小，一般按照内存可 以设置为 2M 以上，推荐是 16M ，该选项对 排序 order by ， group by 起作用 record_buffer 128K 64M 每个进行一个顺序扫描的线程为其扫描的每 张表分配这个大小的一个缓冲区，可以设置 为 2M 以上 选项 缺省值 推荐值 说明 key_buffer_size 8M 512M 用来存放索引区块的缓存值 , 建议 128M 以上，不要大于内存的 30% read_buffer_size 128K 64M 用来做 MyISAM 表全表扫描的缓冲大 小 . 为从数据表顺序读取数据的读操 作保留的缓存区的长度 myisam_sort_buffer_size 16M 128M 设置 , 恢复 , 修改表的时候使用的缓冲 ，官方推荐是 innodb_buffer_pool_size 的 40-50%, 设置大 一点来避免在日志文件覆写上不必要的缓冲池刷新 行为 innodb_log_buffer_size 128K 64M 用来缓冲日志数据的缓冲区的大小 . 推荐是 8M ， 官方推荐该值小于 16M ，最好是 1M-8M 之间  设计合理的数据表结构：适当的数据冗余 设计合理的数据表结构：适当的数据冗余

Time Series Analysis • ARIMA Unsupervised Learning AssociaDon Rules (Apriori) Clustering (k-Means) Topic Modelling (Latent Dirichlet AllocaDon) Utility FuncJons Conjugate Gradient • Random • StraDfied Sessionize Term Frequency for Text Analysis Nearest Neighbors • k-Nearest Neighbors 成熟的数据科学学习库 2017.thegiac.com • 更好的并行度 • 算法充分利用 MPP 架构实现并行 • 更好的可扩展性 • 算法随着数据扩充而线性扩展 4 数据节点 ● 每个节点6个segment 每个定点有50个边的图 5B edges (1K) (10K) (100K) (1M) (10M) (100M) Note: log-log scale (100s) (1s) (10K s) (1M s) 可扩展性 – PageRank 性能 2017.thegiac.com MADlib

• 版本 • 端口 • 存储信息 • 配置文件 集群配置 • 副本数 • 高可用模式 K8s 调度信息 • 资源套餐 • 亲和性信息 • NodeSelector 使用 CRD 2. client-go 配套工具 apiVersion: apiextensions.k8s.io/v1beta1 kind: CustomResourceDefinition metadata: mha-mgr-3306 - mha-mgr-3420 - … … CRD mysqlcluster MHA 故障迁移 • 从库故障 • 主库故障 集群切主 pod 都正常运行？ 调度 pod k8s mha operator 重新调度 mha MHA 扩缩容 • 扩容：直接执行 • 缩容：集群 master 是谁？ 判断条件： 缩容操作且 master 为 sts 最后一个 pod … mysql Pod-T 0. 创建 CRD 3. 集群管理 2. 调度 pod Ceph MySQL-Operator 数据存储 分布式存储 • 使用 Ceph RBD，基于产品线 创建 StorageClass • 优点：可靠性高，容器漂移时 数据不变 • 缺点：读写延迟较高 本地存储 • 基于 Host Path Volumes • 优点：读写延迟低 • 缺点：单点数据，容器漂移时

数据是如何存储的 要理解 GP 是如何在不同的 Instance 之间存储数据的，可以参考下图所示的简单 逻辑关系，主键(Primary Key)被使用黑体标记，外键(Foreign Key)关系通过连 线标明。 用数据仓库的术语来说，这种数据模型称为星型模型。在这种数据库模型下，Order 表通常被称为事实表(Fact Table)，其他表(Customer、Vendor、Product)被称 配置或者 DNS 的解析，如果 hostname 解析出的 IP 地址与访问时的 IP 地址不能匹配，则访问会被拒绝。通常可能没有必要使用 hostname 来进 行配置，这个特性主要是为了 gp4k 而新增的功能。 IP-address IP-mask 通过标准子网掩码的格式作为掩码长度的可选方案。其被作为一个单独的 字段。255.0.0.0 等效于 IPv4 的 8 位掩码长度。255 CPU 和内存资源。这种资源组，使 用 cgroup 来管理外部组件的 CPU 和内存的使用总量。 注意：GP 的容器化部署，例如 Greenplum for Kubernetes(GP4K)，可能会创建 一组嵌套的 cgroup 配置来管理系统资源，这可能会影响 GP 的资源组管理 CPU 的使 用率、Core 数量和内存使用量，资源组的资源限制将受到上层资源配额的限制。 例如，GP

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 4018 16.2 TiDB 版本发布时间线 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · IMPORT INTO 任务，从而充分利用 TiDB 集群的资源，大幅提 36 升这些任务的性能。此外，你还可以通过增加 TiDB 节点并为新增的节点配置tidb_service_scope 来线 性提升 ADD INDEX 和 IMPORT INTO 任务的性能。 更多信息，请参考用户文档。 2.2.1.4 安全 • 增强 TiDB 日志脱敏成为正式功能 (GA) #52364 @xhebox 与面向实时分析场景的列存储引擎TiFlash 有一 些基本了解： • HTAP 存储引擎：行存 (Row-store) 与列存 (columnar-store) 同时存在，自动同步，保持强一致性。行存为在 线事务处理 OLTP 提供优化，列存则为在线分析处理 OLAP 提供性能优化。 • HTAP 数据一致性：作为一个分布式事务型的键值数据库，TiKV 提供了满足 ACID 约束的分布式事务接口， 并通过

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3721 16.2 TiDB 版本发布时间线 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 与面向实时分析场景的列存储引擎TiFlash 有一 些基本了解： • HTAP 存储引擎：行存 (Row-store) 与列存 (columnar-store) 同时存在，自动同步，保持强一致性。行存为在 线事务处理 OLTP 提供优化，列存则为在线分析处理 OLAP 提供性能优化。 • HTAP 数据一致性：作为一个分布式事务型的键值数据库，TiKV 提供了满足 ACID 约束的分布式事务接口， 并通过 选择主键时应遵守的规则 • 在表内定义一个主键或唯一索引。 • 尽量选择有意义的列作为主键。 • 出于为性能考虑，尽量避免存储超宽表，表字段数不建议超过 60 个，建议单行的总数据大小不要超过 64K，数据长度过大字段最好拆到另外的表。 • 不推荐使用复杂的数据类型。 • 需要 JOIN 的字段，数据类型保障绝对一致，避免隐式转换。 • 避免在单个单调数据列上定义主键。如果你使用单个单调数据列（例如：AUTO_INCREMENT

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396 xi 1 概览 星评增长时间线 贡献者增长时间线 Apache ShardingSphere 产品定位为 Database Plus，旨在构建异构数据库上层的标准和生态。它关 注如何充分合理地利用数据库的计算和存储能力，而并非实现一个 my_avg(int4) (stype = avg_state, sfunc = avg_transfn, finalfunc = avg_finalfn) CREATE TABLE agg_data_2k AS SELECT g FROM generate_series(0, 1999) g; CREATE SCHEMA alt_nsp1; ALTER AGGREGATE alt_agg3(int) my_avg(int4) (stype = avg_state, sfunc = avg_transfn, finalfunc = avg_finalfn) CREATE TABLE agg_data_2k AS SELECT g FROM generate_series(0, 1999) g; CREATE SCHEMA alt_nsp1; ALTER AGGREGATE alt_agg3(int)

稳定高效、安全可告、开放兼容 的新型数据基础设施，解放企业生产力，加速企业数字化转型升级。 由PingCAP 创立的分布式关系型数据库 TiDB，为企业关键业务打造，具备 分布式强一致性事务、在 线弹性水平扩展、故障自恢复的高可用、跨数据中心多活」 等企业级核心特性，帮助企业最大化发挥数 据价值，充分释放企业增长空间。 目前，PingCAP 已经向包括中国、美国、欧洲、日本、东南亚等国家和地区，超过 egag [sa 提一吕营 《刘引 殉支可 站 FE 儿召党 Ga 铅购 Haier 人@@Ozkista Oo 人。 妊名”encem晓 58同城 ms之 总哇 Onono 国as9 回克 团小k 圈#z* @父和及 uctoup 示月有旅游”eesc5h 。 资车之家 。 2 58到未”加 SByx和小红书 。 国委视 blued 图am 从9本”所总和和项 。 过提科技 “metux四全)搜狗 新架构使得运维管控层变薄, 大部分的运维功能下沉到 Operator 来实现, DBA 日常操作的运维工作让 RD 自助进行TiDB 集群的管理变得容易, 且自动容错能力非常强, 遇到 TiKV 或者 PD 节点宕机, K8S 集群自动 扩容出新的 Pod 来接蔡, 不需要 DBA 手动干预,节省大量运维成本。 一 PingCAPCOM 4

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3920 16.2 TiDB 版本发布时间线 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 本则会维 持原有的 配置。 TiKV gc.num- �→ threads �→ 新增 设置当 enable- �→ compaction �→ - �→ filter 为 false 时 GC 的线 程个数。 默认值为 1。 TiKV raftstore �→ . �→ periodic �→ -full- �→ compact �→ -start �→ -times 新增 设置 TiKV 与面向实时分析场景的列存储引擎TiFlash 有一 些基本了解： • HTAP 存储引擎：行存 (Row-store) 与列存 (columnar-store) 同时存在，自动同步，保持强一致性。行存为在 线事务处理 OLTP 提供优化，列存则为在线分析处理 OLAP 提供性能优化。 • HTAP 数据一致性：作为一个分布式事务型的键值数据库，TiKV 提供了满足 ACID 约束的分布式事务接口， 并通过