Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 SACC2017 概要 • 存在问题 • 分析问题 • 解决问题 • Pika vs redis SACC2017 • Pika 是DBA 和 基础架构团队一起设计开发的 大容量redis的解决方案 • 完全兼容redis 协议 捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 Pika 定位 SACC2017 Redis 问题 • 恢复时间长 • 一主多从, 主从切换代价大 • 缓冲区写满问题 • 成本问题 SACC2017 Redis 问题 • 恢复时间长 – 50G redis 回复时间70分钟 – 同时开启aof SACC2017 Redis 问题 • 一主多从, 主从切换代价大 – 主库挂掉后升级从库, 所有的从库全部重传数 据 SACC2017 Redis 问题 • 缓冲区写满问题 – 内存是昂贵资源, 缓冲区一般设置2G – 网络原因很容易将数据堵死, 那么就会发生大 量数据重传 SACC2017 Redis 问题 • 内存太贵 – 线上使用的redis

在性能和功能上拥 有了近乎⽆限的扩展能⼒。 综上所述， 我们可以说现在的 Redis 跟五年前⽐起来已经完全不⼀样了， ⽽如何向读者讲述新版 Redis ⽅⽅⾯ ⾯的变化， 则是每⼀本 Redis 书都必须回答的问题。 本书以服务 Redis 初学者和使⽤者为⽬标， 介绍了 Redis ⽇常使⽤中最常⽤到的部分， 并以“命令描述+代码示例”的模式详细列举了各个 Redis 命令的⽤法和⽤例。 我相 信⽆论是刚开始学习 Log、位图、流、地理坐标等⼀系列 丰富的数据结构， 每种数据结构都适⽤于解决特定的问题。 在有需要的时候， ⽤户还可以通过事务、Lua 脚本、模块等特性， 扩展已有数据结构的功能， 甚⾄从零实现⾃⼰专属的数据结构。 通过这些数据结构和 特性， Redis 可以保证， ⽤户总是可以使⽤最适合的⼯具去解决⼿头上的问题。 完备的功能 在上述这些数据结构的基础上， Redis 提供了很多⾮常有⽤和实⽤的附加功能， ⼏个参数就可以完成⽤户指定的操作。 更棒的是， Redis 在官⽅⽹站（redis.io）上为每个 API 以及相关特 性都提供了详尽的⽂档， 并且客户端本身也可以在线查询这些⽂档。 当你遇到⽂档⽆法解决的问题时， 还 可 以 在 Redis 项 ⽬ 的 GitHub ⻚ ⾯ （ github.com/antirez/redis ） 、 Google Group（groups.google

高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th, 1841 President William Henry Harrison died of pneumonia 支持多种 数据结构 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点, 平均延迟在 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的多种数据结构类型对于储存这种数据 比较方便. 同时由于供应商是在全球分布的特性, 就更需要一个能够多点写入的 Redis 集 群, 支持海外站点和国内站点同时进行读写; 并解决因此可能出现的数据一致性问题. 需求的产生 DRC 的概念是在近年来, 云计算兴起, 多站点部署的场景下, 延伸出来对于数 据共享的一个需求. 多站点部署的架构, 对于单元化部署的 应用来讲, 跨数据中心的数据访问一直 是一个最大的痛点

newkey，这也会引发 上面提到的删除大 key 问题。如果想让 redis 在这种场景下也使用 lazyfree 的方式来删除，您可以在控制台上 打开如下配置： 说明：该参数配置在控制台中暂未开放，后续我们会尽快发布。 淘汰或者逐出数据 有些用户对数据设置过期时间，依赖 Redis 的淘汰机制去删除已经过期的数据，这同样也存在上面提到的问题 ：淘汰某个大 key 会导致进程 CPU 云数据库 Redis 版 产品简介 4 SAMPLES 来控制采样数量。 memory stats memory doctor 主要用于给一些诊断建议，提前发现潜在问题。 27.0.0.1:6379> memory stats 1) "peak.allocated" // redis从启动到现在，历史最多使用过多少内存 2) (integer) 423995952 系统会自动进 行主备切换，保证业务平稳运行。 数据可靠 默认开启数据持久化功能，数据全部落盘。支持数据备份功能，用户可以针对备份集回滚实 例或者克隆实例，有效的解决数据误操作等问题。 兼容性 云数据库 Redis 版 产品简介 12 云数据库 Redis 标准版在 Redis 2.8基础上进行开发，100%兼容 Redis 协议命令。自建的 Redis 数

OpenStack 集群和其他的基础应用平台Docker。 Docker Remote API 是一个取代远程命令行界面（rcli）的REST API。存在问题的版本分别为 1.3 和 1.6因为权限控制等问题导致可以通过 docker client 或者 http 直接请求就可以访问这个 API，通过 这个接口，我们可以新建 container，删除已有 container，甚至是获取宿主机的 致，攻击者可以拥有Elasticsearch的所有权限。可以对数据进行任意操作。业务系统将面临敏感数据泄 露、数据丢失、数据遭到破坏甚至遭到攻击者的勒索。 Elasticsearch服务普遍存在一个未授权访问的问题，攻击者通常可以请求一个开放9200或9300的 服务器进行恶意攻击。 #依次执行如下命令 curl -X PUT 'http://192.168.18.129:5984/_config/query_servers/cmd'

海外用户和国内用户查询 同一份数据 • 需要向供应商付费2次 业务痛点 仓位信息供应商 国内 海外 单向同步 • 单向同步可以解决 海外重复收费的问 题 • 无法解决上海重复 收费的问题 业务痛点 仓位信息供应商 国内 海外 双向同步 • 我们希望可以通过 Redis的双向同步 解决重复收费的问 题 双向同步 Redis双向同步 双向同步 Redis Master

就会获取自己所需的跨多个Redis 实例的所有数据 • 密码隔离 • 角色隔离 • 开发只能读取实例中的数据 • 运营可以访问和修改实例的数据 • DBA需要对实例进行管理 问题分析 登陆权限隔离 统一管理 KEY权限隔离 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会

例的子节 点的内存进行监控，告警设置如下： 、连接断开等异常引起的操作异常的数目。 对于部分旧版本的 Redis，该值为一个历史值，对 于这种情况如果 FaileCount 没有增加则没有问题 。对于新版本，该值为每秒的一个统计均值。后续 会都升级成每秒的统计均值。 TotalQps 当前 Redis 的每秒操作次数。 CpuUsage 当前 Redis 后端的 CPU 使用率。 云数据库