大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 SACC2017 简介 • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 SACC2017 概要 • 存在问题 • 分析问题 SACC2017 Pika 的出现并不是为了替代 Redis，而是 Redis 的场景补充。 Pika 力求在完全兼容 Redis 协议、继承 Redis 便 捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 Pika 定位 SACC2017 Redis 问题 • 恢复时间长 • 一主多从, 主从切换代价大 • 缓冲区写满问题 SACC2017 问题分析 • 成本问题 • 可用性问题 • 同步问题 • 易用性问题 SACC2017 问题分析 • 尽可能兼容redis 协议 • 使用基于磁盘的存储引擎rocksdb 实现多 数据接口接口 • 网络库 • 添加binlog 模块 SACC2017 Pika 整体结构 SACC2017 网络模块--Pink •

）、集合（Set）、有序集合（SortedSet）、哈希表 （Hash）等多种数据类型，及事务（Transactions）、消息订阅与发布（Pub/Sub）等高级功能。 通过“内存+硬盘”的存储方式，云数据库 Redis 版在提供高速数据读写能力的同时满足数据持久化需求。 云数据库 Redis 版支持灵活的部署架构：单副本、双副本、集群版，能够满足不同的业务场景。 单节点架构： 集群架构：集群（cluster）实例采用分布式架构，每个节点都采用一主一从的高可用架构，自动容灾 切换，故障迁移，多种集群规格可适配不同的业务压力，无线扩展数据库性能。 云数据库 Redis 版作为云计算服务，其硬件和数据部署在云端，有完善的基础设施规划、网络安全保障、系统 维护服务，确保用户专心致力于业务创新。 混合存储公测开通须知 Redis混合存储系列将于2018年3月2 9日至2018年5月30日期间，进行公测。公测期间，将给部分适用于 Redis混合存储系列场景的用户提供购买资格。 在公测期间创建Redis混合存储系列的实例有如下事项需要您注意。 云数据库 Redis 版 产品简介 1 - - 公测开通对象 对Redis混合存储实例有很强的需求，且适合企业的应用场景，企业有丰富的Redis使用经验。 公测开通地域 公测申

多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th, 1841 President 被全世界共享起来 互联网的规模也从单独 一个数据中心的部署方 式转变为多数据中心, 甚 至是跨区域的部署模式 多区域部署 Serverless 分布式存储 Redis 内存数 据库 支持多种 数据结构 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点, 平均延迟在 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的数 据存储有着强依赖. 机票的业务需要从 上游供应商处收集舱位信息, Redis 方便 的多种数据结构类型对于储存这种数据 比较方便. 同时由于供应商是在全球分布的特性, 就更需要一个能够多点写入的 Redis

-添加认证，设置强密码复杂度及账号锁定。 -禁止把Jenkins直接暴露在公网。 Memcached 未授权访问漏洞 漏洞简介以及危害 Memcached 是一套常用的 key-value 分布式高速缓存系统，由于 Memcached 的安全设计缺陷没 有权限控制模块，所以对公网开放的Memcache服务很容易被攻击者扫描发现，攻击者无需认证通过命 令交互可直接读取 Memcached中的敏感信息。 首先发送它的证书，如果证书是由daemon信任的CA所签名的，才可以继续执行。 ZooKeeper 未授权访问漏洞 漏洞简介以及危害 zookeeper是分布式协同管理工具，常用来管理系统配置信息，提供分布式协同服务。Zookeeper 的默认开放端口是2181。Zookeeper安装部署之后默认情况下不需要任何身份验证，造成攻击者可以远 程利用Zookeeper，通过服务器 0以上)。 CouchDB 未授权访问漏洞 漏洞简介以及危害 Apache CouchDB是一个开源数据库，专注于易用性和成为"完全拥抱web的数据库"。它是一个使 用JSON作为存储格式，JavaScript作为查询语言，MapReduce和HTTP作为API的NoSQL数据库。应用 广泛，如BBC用在其动态内容展示平台，Credit Suisse用在其内部的商品部门的市场框架，Meebo，用

据的合并功能，因此需要用 hash tag 的方式确保要操作的 key 均分布在一个 hash slot 中。 比如有 key1，aakey，abkey3，那么我们在存储的时候需要用 {key}1，aa{key}，ab{key}3 的方式 存储，这样调用受限命令时才能生效。具体关于 hash tag 的用法请参见 Redis 官方文档： http://redis.io/topics/cluster-spec。 控制台即可看见刚才购买的实例。 说明：云数据库 Redis 版在产品行为上与 Redis 一致，当新建一个实例后它会自动生成一些数 据库元信息，因此在 Redis 控制台上会看到该实例已经有少量的存储空间被占用，这是正常现 象。 对于主从版和单节点实例，占用空间约为 32 MB。 对于集群版实例，占用空间约为：节点数目*32 MB。 连接实例 DMS 是一款访问管理云端数据的 Web 服务，支持 Redis、 MySQL、SQL Server、PostgreSQL 和 MongoDB 等数据源。DMS 提供了数据管理、对象管理、数据流转和实例管理四部分功能。您可以通过以下 两种方式登录 DMS。 通过 Redis 管理控制台，选择要登录的实例，单击右上角的登录数据库打开 DMS。通过该种方式打 开 DMS，系统

2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 系统权限 PostgreSQL的权限分类 对象权限 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Role Object id 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 通过FDW可以访问任何一种存储 FDW接口 存储类型 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 可以读取数据库以外的文件，比如

简洁⾼效、安全稳定的印象已经深⼊⼈⼼。 ⽆论是国内还是国外， 从财富五百强到⼩ 型初创公司都在使⽤ Redis ， 很多云服务提供商还以 Redis 为基础构建了相应的缓存服务、消息队列服务以及内 存存储服务 —— 当你使⽤这些服务时， 你实际上就是在使⽤ Redis 。 除了变得越来越受欢迎之外， Redis 在过去数年的另⼀个变化就是更新速度越来越快， 功能也变得越来越多、越 来越强⼤： ⽐如说， 并知悉本书使⽤的 Redis 版本以及本书配套的读者服务 ⽹站。 1.1 Redis 简介 Redis 是⼀个主要由 Salvatore Sanfilippo （antirez）开发的开源的内存数据结构存储器， 它经常被⽤作数据 库、缓存以及消息代理等⽤途。 Redis 因为它丰富的数据结构、极快的速度、⻬全的功能⽽为⼈所知， 它是⽬前内存数据库⽅⾯的事实标准， 在 互联⽹上有⾮常⼴泛的应⽤， 包括 返回列表⽬前包含的分⻚元素数量。 """ return self.client.llen(self.key) 作为例⼦， 我们可以通过执⾏以下代码， 载⼊并创建出⼀个针对⽤户帖⼦的分⻚对象： >>> from redis import Redis >>> from paging import Paging >>> client = Redis(decode_responses=True)