大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 SACC2017 简介 • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 SACC2017 概要 • 存在问题 • 分析问题 SACC2017 Pika 的出现并不是为了替代 Redis，而是 Redis 的场景补充。 Pika 力求在完全兼容 Redis 协议、继承 Redis 便 捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 Pika 定位 SACC2017 Redis 问题 • 恢复时间长 • 一主多从, 主从切换代价大 • 缓冲区写满问题 SACC2017 问题分析 • 成本问题 • 可用性问题 • 同步问题 • 易用性问题 SACC2017 问题分析 • 尽可能兼容redis 协议 • 使用基于磁盘的存储引擎rocksdb 实现多 数据接口接口 • 网络库 • 添加binlog 模块 SACC2017 Pika 整体结构 SACC2017 网络模块--Pink •

. . . . . . 39 计算节点过载保护 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 存储节点限流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 8.5.5 核心概念 . . . ShardingSphere‐JDBC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 9.1.1 YAML 配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 简介 . . . . . . . . . . 53 模式配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 数据源配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 规则配置 . . . . . .

. . . . . . 39 计算节点过载保护 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 存储节点限流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 8.5.5 核心概念 . . . ShardingSphere‐JDBC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 9.1.1 YAML 配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 简介 . . . . . . . . . . 53 模式配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 数据源配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 规则配置 . . . . . .

. . . . . . 39 计算节点过载保护 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 存储节点限流 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 8.5.5 核心概念 . . . ShardingSphere‐JDBC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 9.1.1 YAML 配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 简介 . . . . . . . . . . 54 模式配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 数据源配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 规则配置 . . . . . .

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 39 2.4.5 配置管理 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 40 2.4.7 存储 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 77 4 部署标准集群 77 4.1 TiDB 软件和硬件环境建议配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 77

..................................................................................... - 21 - 数据是如何存储的 ................................................................................................. ...................................................................................... - 31 - 第四章：配置客户端认证 ............................................................................................. .......................................................................................... - 48 - 配置与使用资源组 ............................................................................................

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 448 5 部署标准集群 464 5.1 TiDB 软件和硬件环境建议配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 464 · · · · · · · · · · 464 5.1.2 软件配置要求· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 466 5.1.3 服务器建议配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 469 5 5.2 TiDB 环境与系统配置检查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 39 2.4.5 配置管理 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 40 2.4.7 存储 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 70 4 部署标准集群 70 4.1 TiDB 软件和硬件环境建议配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 70

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 448 5 部署标准集群 464 5.1 TiDB 软件和硬件环境建议配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 464 · · · · · · · · · · 464 5.1.2 软件配置要求· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 466 5.1.3 服务器建议配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 469 5 5.2 TiDB 环境与系统配置检查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 433 5 部署标准集群 449 5.1 TiDB 软件和硬件环境建议配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 449 · · · · · · · · · · 449 5.1.2 软件配置要求· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 451 5.1.3 服务器建议配置 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 454 5 5.2 TiDB 环境与系统配置检查· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·