大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 SACC2017 简介 • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 SACC2017 概要 • 存在问题 • 分析问题 • 解决问题 • Pika vs redis SACC2017 • Pika 是DBA 和 基础架构团队一起设计开发的 大容量redis的解决方案 • 完全兼容redis 协议, 用户不需要修改任何代码 进行迁移 Introduction SACC2017 • Redis实例数量：6000+个 • 日访问量：5000+亿 • Pika数据数量：1000+个 Redis 问题 • 恢复时间长 • 一主多从, 主从切换代价大 • 缓冲区写满问题 • 成本问题 SACC2017 Redis 问题 • 恢复时间长 – 50G redis 回复时间70分钟 – 同时开启aof 和 rdb SACC2017 Redis 问题 • 一主多从, 主从切换代价大 – 主库挂掉后升级从库, 所有的从库全部重传数

云数据库 Redis 版（ApsaraDB for Redis）是兼容开源 Redis 协议标准的、提供持久化的内存数据库服务，基 于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 云数据库 Redis 版支持字符串（String）、链表（List）、集合（Set）、有序集合（SortedSet）、哈希表 （Hash）等多种数据类型，及事务（Trans 云数据库 Redis 版支持灵活的部署架构：单副本、双副本、集群版，能够满足不同的业务场景。 单节点架构： 适用于纯缓存场景，支持单节点集群弹性变配，满足高 QPS 场景，提供超高性价比。 双机热备架构：系统工作时主节点（Master）和备节点（Slave）数据实时同步，主节点故障时系统 自动秒级切换，备节点接管业务，全程自动且对业务无影响，主备架构保障系统服务具有高可用性。 。 集群架构：集群（cluster）实例采用分布式架构，每个节点都采用一主一从的高可用架构，自动容灾 切换，故障迁移，多种集群规格可适配不同的业务压力，无线扩展数据库性能。 云数据库 Redis 版作为云计算服务，其硬件和数据部署在云端，有完善的基础设施规划、网络安全保障、系统 维护服务，确保用户专心致力于业务创新。 混合存储公测开通须知 Redis

Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 式转变为多数据中心, 甚 至是跨区域的部署模式 多区域部署 Serverless 分布式存储 Redis 内存数 据库 支持多种 数据结构 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点 比较方便. 同时由于供应商是在全球分布的特性, 就更需要一个能够多点写入的 Redis 集 群, 支持海外站点和国内站点同时进行读写; 并解决因此可能出现的数据一致性问题. 需求的产生 DRC 的概念是在近年来, 云计算兴起, 多站点部署的场景下, 延伸出来对于数 据共享的一个需求. 多站点部署的架构, 对于单元化部署的 应用来讲, 跨数据中心的数据访问一直 是一个最大的痛点. 目前很多用户 •

职务：平安科技数据库技术部数据库架构师 邮箱：gaojinfang498@pingan,.com.cn 个人简介： 高金芳，中国平安集团旗下平安科技数据库技术部数据库架构师，从事数据库相关工作9年。 2007年毕业，从事oracle ERP开发，数据仓库和数据挖掘相关工作。 2011年加入平安科技，从事过数据库的开发、架构设计、新数据库产品引入、Oracle的架构优化等工作， Oracle的架构优化等工作， 幵负责部门的Redis产品相关工作。近期致力亍PostgreSQL源码研究。 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 What is Redis 01 Dilemma 02 Why PostgreSQL 03 Redis + 04 Postgres Conference China 2016 中国用户大会 What is Redis？ Redis 是一个开源的、使用C语言编写的Key-Value数据库 Redis是一个支持网络交换的Key-Value数据库 Redis是一个基亍内存的Key-Value数据库 Redis是一个可持久化的Key-Value数据库 Redis是一个有丰富数据类型的Key-Value数据库

数限制 每个实例支持 256 个 DB。 Redis 命令支持 详情请参见文档。 监控报警 云数据库 Redis 版未提供容量告警，需要用户到云 监控中进行配置。配置方法请参见文档。 建议设置好以下监控的报警：实例故障、实例主备 切换、已使用连接百分比、操作失败数、已用容量 云数据库 Redis 版 快速入门 6 云数据库 Redis 版兼容 Redis 3.0 版本，支持 Redis Redis 3.0 的 Geo 命令。目前还有小部分暂未开放的命令和受限 制的命令。 支持的命令操作 百分比、写入带宽使用率、读取带宽使用率。 数据过期删除策略 - 主动过期，系统后台会周期性的检测，发现已过 期的key时，会将其删除。 - 被动过期，当用户访问某个key时，如果该key已 经过期，则将其删除。 空闲连接回收机制 服务端不主动回收 Redis 空闲连接，由用户管理。 CLIENT LIST CLIENT GETNAM E CLIENT SETNAME CONFIG GET 云数据库 Redis 版 快速入门 8 暂未开放的命令 集群实例不支持的命令 MONITO R SLOWLO G Keys（键） Server（服务器） MIGRATE BGREWRITEAOF BGSAVE CONFIG REWRITE CONFIG

org/svn/scripts/mongodb-info.nse -为MongoDB添加认证：MongoDB启动时添加--auth参数、为MongoDB添加用户 -MongoDB 自身带有一个HTTP服务和并支持REST接口。在2.6以后这些接口默认是关闭的。mongoDB 默认会使用默认端口监听web服务，一般不需要通过web方式进行远程管理，建议禁用。修改配置文件 或在启动的时候选择 –nohttpinterface 未授权访问漏洞 漏洞简介以及危害 JBoss是一个基于J2EE的开放源代码应用服务器，代码遵循LGPL许可，可以在任何商业应用中免费 使用；JBoss也是一个管理EJB的容器和服务器，支持EJB 1.1、EJB 2.0和EJB3规范。,默认情况下访问 ht tp://ip:8080/jmx-console 就可以浏览 JBoss 的部署管理的信息不需要输入用户名和密码可以直接部署 curl http://localhost:9200/_nodes #查看节点数据 更多利用可以自行搜索一下 漏洞简介以及危害 Hadoop是一个由Apache基金会所开发的分布式系统基础架构，由于服务器直接在开放了 Hadoop 机器 HDFS 的 50070 web 端口及部分默认服务端口，黑客可以通过命令行操作多个目录下的数据，如 进行删除，下载，目录浏览甚至命令执行等操作，产生极大的危害。

携程 Redis 多数据中心 双向同步实践 祝辰 祝辰 目前任职携程框架架构部门资深 研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA 1. peerof 2. Sync data • 新的命令“peerof” • 同步数据 • 继续保持Master的 角色 如何解决 • 新的协议支持 双向同步 • 兼容Slaveof命 令 slaveof slaveof peerof peerof Peerof 命令 • Redis提供了方 便开发的平台 • 实现一个命令

10. 流（Stream） 第⼆部分：附加功能 11. 数据库* 12. ⾃动过期* 13. 流⽔线与事务* 14. Lua 脚本 15. 持久化 16. 发布与订阅 17. 模块 第三部分：多机功能 18. 复制* 19. Sentinel 20. 集群 附录 附录 A ：Redis 安装⽅法* 附录 B ：redis-py 安装⽅法* 前⾔ 时光荏苒， 距离我的第⼀本书《Red 提供了很多⾮常有⽤和实⽤的附加功能， ⽐如⾃动过期、流⽔线、 事务、数据持久化等， 这些功能能够帮助⽤户将 Redis 应⽤在更多不同的场景中， 或者给予⽤户以⽅便。 更重要的是， Redis 不仅可以单机使⽤， 还可以多机使⽤： 通过 Redis ⾃带的复制、Sentinel 和集群功 能， ⽤户可以将⾃⼰的数据库扩展⾄任意⼤⼩。 ⽆论你运营的是⼀个⼩型的个⼈⽹站， 还是⼀个为上千万 消费者服务的热⻔站点， 你都可以在 Redis 的服务， 如果你不打算⾃⼰搭建 Redis 服务器， 那么上述的这些提供商可能 是⼀个不错的选择。 图 1-1 Redis 特⾊⼀览 1.2 内容编排 本书由数据结构与应⽤、附加功能和多机功能三个部分共⼆⼗章组成。 在数据结构与应⽤部分， 书本介绍了 Redis 核⼼的九种数据结构， 列举了操作这些数据结构的众多命令及其详细 信息， 并在其中穿插介绍了多个使⽤ Redis 命令构建应⽤程序的示例。