Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 的时间 21 世纪的通讯 同样的一张地图 在今天, 仅仅需要毫秒级 别的时间, 一条消息可以 被全世界共享起来 互联网的规模也从单独 一个数据中心的部署方 式转变为多数据中心, 甚 至是跨区域的部署模式 多区域部署 Serverless 分布式存储 Redis 内存数 据库 支持多种 数据结构 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点, 平均延迟在 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的数 据存储有着强依赖. 机票的业务需要从 上游供应商处收集舱位信息, Redis 方便 的多种数据结构类型对于储存这种数据 比较方便. 同时由于供应商是在全球分布的特性, 就更需要一个能够多点写入的 Redis

大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 SACC2017 简介 • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 SACC2017 概要 • 存在问题 • 分析问题 SACC2017 Pika 的出现并不是为了替代 Redis，而是 Redis 的场景补充。 Pika 力求在完全兼容 Redis 协议、继承 Redis 便 捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 Pika 定位 SACC2017 Redis 问题 • 恢复时间长 • 一主多从, 主从切换代价大 • 缓冲区写满问题 SACC2017 问题分析 • 成本问题 • 可用性问题 • 同步问题 • 易用性问题 SACC2017 问题分析 • 尽可能兼容redis 协议 • 使用基于磁盘的存储引擎rocksdb 实现多 数据接口接口 • 网络库 • 添加binlog 模块 SACC2017 Pika 整体结构 SACC2017 网络模块--Pink •

携程 Redis 多数据中心 双向同步实践 祝辰 祝辰 目前任职携程框架架构部门资深 研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA Sequential Specifications for Replicated Datatypes • Thanks For Watching 本PPT来自2019携程技术峰会 更多信息请关注“携程技术中心”微信公众号~

版 产品简介 产品简介 什么是云数据库 Redis 版 云数据库 Redis 版（ApsaraDB for Redis）是兼容开源 Redis 协议标准的、提供持久化的内存数据库服务，基 于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 云数据库 Redis 版支持字符串（String）、链表（List）、集合（S tedSet）、哈希表 （Hash）等多种数据类型，及事务（Transactions）、消息订阅与发布（Pub/Sub）等高级功能。 通过“内存+硬盘”的存储方式，云数据库 Redis 版在提供高速数据读写能力的同时满足数据持久化需求。 云数据库 Redis 版支持灵活的部署架构：单副本、双副本、集群版，能够满足不同的业务场景。 单节点架构： 适用于纯缓存场景，支持单节点集群弹性变配，满足高 混合存储公测开通须知 Redis混合存储系列将于2018年3月29日至2018年5月30日期间，进行公测。公测期间，将给部分适用于 Redis混合存储系列场景的用户提供购买资格。 在公测期间创建Redis混合存储系列的实例有如下事项需要您注意。 云数据库 Redis 版 产品简介 1 - - 公测开通对象 对Redis混合存储实例有很强的需求，

位图（bitmap） 9. 地理坐标（GEO） 10. 流（Stream） 第⼆部分：附加功能 11. 数据库* 12. ⾃动过期* 13. 流⽔线与事务* 14. Lua 脚本 15. 持久化 16. 发布与订阅 17. 模块 第三部分：多机功能 18. 复制* 19. Sentinel 20. 集群 附录 附录 A ：Redis 安装⽅法* 附录 B ：redis-py 安装⽅法* Redis 为基础构建了相应的缓存服务、消息队列服务以及内 存存储服务 —— 当你使⽤这些服务时， 你实际上就是在使⽤ Redis 。 除了变得越来越受欢迎之外， Redis 在过去数年的另⼀个变化就是更新速度越来越快， 功能也变得越来越多、越 来越强⼤： ⽐如说， Redis 的数据结构数量已经从过去的五种增加到了九种， RDB-AOF 混合持久化模式的引⼊ 使得⽤户不必再陷⼊“⻥和熊掌不可兼得”的难题中， 并知悉本书使⽤的 Redis 版本以及本书配套的读者服务 ⽹站。 1.1 Redis 简介 Redis 是⼀个主要由 Salvatore Sanfilippo （antirez）开发的开源的内存数据结构存储器， 它经常被⽤作数据 库、缓存以及消息代理等⽤途。 Redis 因为它丰富的数据结构、极快的速度、⻬全的功能⽽为⼈所知， 它是⽬前内存数据库⽅⾯的事实标准， 在 互联⽹上有⾮常⼴泛的应⽤， 包括

主动过期，系统后台会周期性的检测，发现已过 期的key时，会将其删除。 - 被动过期，当用户访问某个key时，如果该key已 经过期，则将其删除。 空闲连接回收机制 服务端不主动回收 Redis 空闲连接，由用户管理。 数据持久化策略 采用 AOF_FSYNC_EVERYSEC 方式，每秒 fysnc。 Keys（键） String（字符 串） Hash（哈希 表） List（列表） Set（集合） SortedSet（ 有序集合） 据的合并功能，因此需要用 hash tag 的方式确保要操作的 key 均分布在一个 hash slot 中。 比如有 key1，aakey，abkey3，那么我们在存储的时候需要用 {key}1，aa{key}，ab{key}3 的方式 存储，这样调用受限命令时才能生效。具体关于 hash tag 的用法请参见 Redis 官方文档： http://redis.io/topics/cluster-spec。 后，单击去支付进行付款。 云数据库 Redis 版 快速入门 11 进入支付页面，选择支付方式，单击确认支付按钮。支付成功后会提示支付成功。等1-5分钟后进入 控制台即可看见刚才购买的实例。 说明：云数据库 Redis 版在产品行为上与 Redis 一致，当新建一个实例后它会自动生成一些数 据库元信息，因此在 Redis 控制台上会看到该实例已经有少量的存储空间被占用，这是正常现

是一个开源的、使用C语言编写的Key-Value数据库 Redis是一个支持网络交换的Key-Value数据库 Redis是一个基亍内存的Key-Value数据库 Redis是一个可持久化的Key-Value数据库 Redis是一个有丰富数据类型的Key-Value数据库 2016Postgres中国用户大会 Postgres Conference 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 性能极高，OPS超过100K 支持丰富的数据类型 数据可持久化 Redis 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 What is Redis id 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 通过FDW可以访问任何一种存储 FDW接口 存储类型 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 可以读取数据库以外的文件，比如

服务的11211端口 nmap检测 防御手段 -设置Memchached只允许本地访问。 -禁止外网访问Memcached 11211端口。 -配置访问控制策略。 -最小化权限运行。 -修改默认端口等。 JBOSS 未授权访问漏洞 漏洞简介以及危害 JBoss是一个基于J2EE的开放源代码应用服务器，代码遵循LGPL许可，可以在任何商业应用中免费 '/tmp/etc', 'mode': 'rw'}}) https://github.com/Tycx2ry/docker_api_vul 环境搭建 未授权访问测试 利用zookeeper可视化管理工具进行连接 下载地址：https://issues.apache.org/jira/secure/attachment/12436620/ZooInspector.zip 目标靶机：Centos 0以上)。 CouchDB 未授权访问漏洞 漏洞简介以及危害 Apache CouchDB是一个开源数据库，专注于易用性和成为"完全拥抱web的数据库"。它是一个使 用JSON作为存储格式，JavaScript作为查询语言，MapReduce和HTTP作为API的NoSQL数据库。应用 广泛，如BBC用在其动态内容展示平台，Credit Suisse用在其内部的商品部门的市场框架，Meebo，用

99.1.51:6379> 10.99.1.51:6379> get keyxx #查看指定key对应的值 "valuexx" ★可视化客户端工具 官网： h�ps://redis.com/redis-enterprise/redis-insight/ 下 载 链 接 ： h�ps://download.redisinsight.redis