大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 SACC2017 简介 • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 SACC2017 概要 • 存在问题 • 分析问题 • 解决问题 • Pika vs redis SACC2017 • Pika 是DBA 和 基础架构团队一起设计开发的 大容量redis的解决方案 • 完全兼容redis 协议, 用户不需要修改任何代码 进行迁移 Introduction SACC2017 • Redis实例数量：6000+个 • 日访问量：5000+亿 • Pika数据数量：1000+个

Redis 内存数 据库 支持多种 数据结构 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点, 平均延迟在 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求 的概念是在近年来, 云计算兴起, 多站点部署的场景下, 延伸出来对于数 据共享的一个需求. 多站点部署的架构, 对于单元化部署的 应用来讲, 跨数据中心的数据访问一直 是一个最大的痛点. 目前很多用户 • 抑或是采取了同一份写入到两个站 点的数据库 • 抑或是跨站点写入数据库同时同步 回来(例如 AWS 的AURORA) 这两种方式都没有从根本上解决问题, DRC 概念的出现, 让大家对分布式存储 让大家对分布式存储 又有了新的期待 Data Replication Center 目前携程的应用也在进行单元化的部署模 式, 在实现单元化的部署过程中, 跨数据中 心的数据访问一直是一个业务的痛点. 是否我们也能够有自己的一套 DRC? 来完 成每个站点的单独写入读取, 而不用关心 底层存储的一致性和同步问题. 对此需求进行分析后, 我们决定开发一个 Redis 的 DRC 架构, 来支撑携程集群的应 用单元化部署

业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA 180 ms 业务痛点 仓位信息供应商 国内 海外 • 海外用户和国内用户查询 同一份数据 • 需要向供应商付费2次 业务痛点 仓位信息供应商 如何解决 • 新的协议支持 双向同步 • 兼容Slaveof命 令 slaveof slaveof peerof peerof Peerof 命令 • Redis提供了方 便开发的平台 • 实现一个命令 的方式 回环复制 SET KEY=VAL SET KEY=VAL SET KEY=VAL SET KEY=VAL • 网络风暴 • 数据不一致 如何解决 SET

client.lrem(self.todo_list, 0, event) def done(self, event): """ 将待办事项列表中的指定事项移动到已完成事项列表， 以此来表示该事项已完成。 """ # 从待办事项列表中移除指定事项 self.remove(event) some milk', 'have lunch', 'watch tv', 'finish homework', 'go to sleep'] 当我们完成某件事情之后， 我们可以把它从待完成事项列表移动到已完成事项列表： >>> todo.done("buy some milk") >>> todo.show_todo_list() ['have lunch', 'watch tv', 'finish 等 ⼋个元素。 图 5-1 集合示例 Redis 为集合键提供了⼀系列操作命令， 通过使⽤这些命令， ⽤户可以： 将新元素添加到集合⾥⾯，或者从集合⾥⾯移除已有的元素。 将指定的元素从⼀个集合移动到另⼀个集合。 获取集合包含的所有元素。 获取集合包含的元素数量。 检查给定元素是否存在于集合。 从集合⾥⾯随机地获取指定数量的元素。 对多个集合执⾏交集、并集、差集计算。 本章接下来将对 Redis

Postgres Conference China 2016 中国用户大会 • 实现了key相关的统计分析 • 丌同角色的用户只需要登陆一次 就会获取自己所需的跨多个Redis 实例的所有数据 • 密码隔离 • 角色隔离 • 开发只能读取实例中的数据 • 运营可以访问和修改实例的数据 • DBA需要对实例进行管理 问题分析 登陆权限隔离

支持标准版和双节点版之间的灵活变配。 智能运维 监控平台 提供 CPU 利用率、连接数、磁盘空间利用率等实例信息实时监控及报警，随时随地了解实例动态。 可视化管理平台 管理控制平台对实例克隆、备份、数据恢复等高频高危操作可便捷的进行一键式操作。 可视化 DMS 平台 专业的 DMS 数据管理平台，提供可视化的数据管理，全面提升研发、运维效率。 数据库内核版本管理

注意：因 portproxy 由微软官方提供，未开源使用，您如果配置使用过程中遇到疑问，可参看 netsh 的 portproxy 使用说明或向微软官方咨询确认。或者您也可以考虑通过其他的方案实现，比如通过 portmap 配置代理映射。 云数据库 Redis 版 快速入门 26 ECS Linux 篇 目前云数据库 Redis 版需要通过 ECS 进行内网连接访问。如果您本地需要通过公网访问云数据库 进行数据写入及查询验证。 通过上述步骤即可实现：您本地的 PC 或服务器通过公网连接 ECS Linux 6379 端口，对云数据库 Redis 进行 访问。 注意：您可以通过该方案进行测试使用，因 rinetd 为开源软件，如在使用过程中存在疑问，您可以参看 其官方文档或与 rinetd 官方进行联系确认。 云数据库 Redis 版 快速入门 28

是一个开源的引擎可以轻松地为任何应用创建一个轻量级的、可移植的、自给自足的容 器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署包括 VMs、bare metal、 OpenStack 集群和其他的基础应用平台Docker。 Docker Remote API 是一个取代远程命令行界面（rcli）的REST API。存在问题的版本分别为 1.3 和 1.6因为权限控制等问题导致可以通过 docker 用JSON作为存储格式，JavaScript作为查询语言，MapReduce和HTTP作为API的NoSQL数据库。应用 广泛，如BBC用在其动态内容展示平台，Credit Suisse用在其内部的商品部门的市场框架，Meebo，用 在其社交平台（web和应用程序）,默认会在5984端口开放Restful的API接口，如果使用SSL的话就会监 听在6984端口，用于数据库的管理功能。其HTTP