Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th • 棕色的区域需要 40 天以上 的时间 21 世纪的通讯 同样的一张地图 在今天, 仅仅需要毫秒级 别的时间, 一条消息可以 被全世界共享起来 互联网的规模也从单独 一个数据中心的部署方 式转变为多数据中心, 甚 至是跨区域的部署模式 多区域部署 Serverless 分布式存储 Redis 内存数 据库 支持多种 数据结构 支持主 从架构 缓存服务 分布式锁 消息队列 对于单元化部署的 应用来讲, 跨数据中心的数据访问一直 是一个最大的痛点. 目前很多用户 • 抑或是采取了同一份写入到两个站 点的数据库 • 抑或是跨站点写入数据库同时同步 回来(例如 AWS 的AURORA) 这两种方式都没有从根本上解决问题, DRC 概念的出现, 让大家对分布式存储 又有了新的期待 Data Replication Center 目前携程的应用也在进行单元化的部署模

携程 Redis 多数据中心 双向同步实践 祝辰 祝辰 目前任职携程框架架构部门资深 研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA Sequential Specifications for Replicated Datatypes • Thanks For Watching 本PPT来自2019携程技术峰会 更多信息请关注“携程技术中心”微信公众号~

位图（bitmap） 9. 地理坐标（GEO） 10. 流（Stream） 第⼆部分：附加功能 11. 数据库* 12. ⾃动过期* 13. 流⽔线与事务* 14. Lua 脚本 15. 持久化 16. 发布与订阅 17. 模块 第三部分：多机功能 18. 复制* 19. Sentinel 20. 集群 附录 附录 A ：Redis 安装⽅法* 附录 B ：redis-py 安装⽅法* 除了变得越来越受欢迎之外， Redis 在过去数年的另⼀个变化就是更新速度越来越快， 功能也变得越来越多、越 来越强⼤： ⽐如说， Redis 的数据结构数量已经从过去的五种增加到了九种， RDB-AOF 混合持久化模式的引⼊ 使得⽤户不必再陷⼊“⻥和熊掌不可兼得”的难题中， ⽽集群功能和模块机制的引⼊则让 Redis 在性能和功能上拥 有了近乎⽆限的扩展能⼒。 综上所述， 我们可以说现在的 Redis 跟五年前⽐起来已经完全不⼀样了， 扩展已有数据结构的功能， 甚⾄从零实现⾃⼰专属的数据结构。 通过这些数据结构和 特性， Redis 可以保证， ⽤户总是可以使⽤最适合的⼯具去解决⼿头上的问题。 完备的功能 在上述这些数据结构的基础上， Redis 提供了很多⾮常有⽤和实⽤的附加功能， ⽐如⾃动过期、流⽔线、 事务、数据持久化等， 这些功能能够帮助⽤户将 Redis 应⽤在更多不同的场景中， 或者给予⽤户以⽅便。 更重要的是， Redis 不仅可以单机使⽤，

版 产品简介 产品简介 什么是云数据库 Redis 版 云数据库 Redis 版（ApsaraDB for Redis）是兼容开源 Redis 协议标准的、提供持久化的内存数据库服务，基 于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 云数据库 Redis 版支持字符串（String）、链表（List）、集合（S （Hash）等多种数据类型，及事务（Transactions）、消息订阅与发布（Pub/Sub）等高级功能。 通过“内存+硬盘”的存储方式，云数据库 Redis 版在提供高速数据读写能力的同时满足数据持久化需求。 云数据库 Redis 版支持灵活的部署架构：单副本、双副本、集群版，能够满足不同的业务场景。 单节点架构： 适用于纯缓存场景，支持单节点集群弹性变配，满足高 QPS 场景，提供超高性价比。 的方式来删除，您可以在控制台上 打开如下配置： 说明：该参数配置在控制台中暂未开放，后续我们会尽快发布。 淘汰或者逐出数据 有些用户对数据设置过期时间，依赖 Redis 的淘汰机制去删除已经过期的数据，这同样也存在上面提到的问题 ：淘汰某个大 key 会导致进程 CPU 出现抖动。Redis 4.0 提供了两个配置，可以让 Redis 在淘汰或者逐出数据 时也使用 lazyfree

主动过期，系统后台会周期性的检测，发现已过 期的key时，会将其删除。 - 被动过期，当用户访问某个key时，如果该key已 经过期，则将其删除。 空闲连接回收机制 服务端不主动回收 Redis 空闲连接，由用户管理。 数据持久化策略 采用 AOF_FSYNC_EVERYSEC 方式，每秒 fysnc。 Keys（键） String（字符 串） Hash（哈希 表） List（列表） Set（集合） SortedSet（ 有序集合） （不分可用区）都可以进行内 网访问。建议和 ECS 选择在同一地域同一可用区。 单击立即购买，进入订单确认页面。阅读接受《云数据库 Redis 版服务条款》并确认订单信息无误 后，单击去支付进行付款。 云数据库 Redis 版 快速入门 11 进入支付页面，选择支付方式，单击确认支付按钮。支付成功后会提示支付成功。等1-5分钟后进入 控制台即可看见刚才购买的实例。 添加引用。 using StackExchange.Redis; 初始化 ConnectionMultiplexer。 ConnectionMultiplexer 是 StackExchange.Redis 的核心，它被整个应用程序共享和重用，应该设 置为单例，它的初始化如下： ConfigurationOptions 包含很多选项，例如 keepAl

是一个开源的、使用C语言编写的Key-Value数据库 Redis是一个支持网络交换的Key-Value数据库 Redis是一个基亍内存的Key-Value数据库 Redis是一个可持久化的Key-Value数据库 Redis是一个有丰富数据类型的Key-Value数据库 2016Postgres中国用户大会 Postgres Conference 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 性能极高，OPS超过100K 支持丰富的数据类型 数据可持久化 Redis 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 What is Redis

服务的11211端口 nmap检测 防御手段 -设置Memchached只允许本地访问。 -禁止外网访问Memcached 11211端口。 -配置访问控制策略。 -最小化权限运行。 -修改默认端口等。 JBOSS 未授权访问漏洞 漏洞简介以及危害 JBoss是一个基于J2EE的开放源代码应用服务器，代码遵循LGPL许可，可以在任何商业应用中免费 '/tmp/etc', 'mode': 'rw'}}) https://github.com/Tycx2ry/docker_api_vul 环境搭建 未授权访问测试 利用zookeeper可视化管理工具进行连接 下载地址：https://issues.apache.org/jira/secure/attachment/12436620/ZooInspector.zip 目标靶机：Centos

99.1.51:6379> 10.99.1.51:6379> get keyxx #查看指定key对应的值 "valuexx" ★可视化客户端工具 官网： h�ps://redis.com/redis-enterprise/redis-insight/ 下 载 链 接 ： h�ps://download.redisinsight.redis

SACC2017 Pika 的出现并不是为了替代 Redis，而是 Redis 的场景补充。 Pika 力求在完全兼容 Redis 协议、继承 Redis 便 捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 Pika 定位 SACC2017 Redis 问题 • 恢复时间长 • 一主多从, 主从切换代价大 • 缓冲区写满问题