Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点, 平均延迟在 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的数 据存储有着强依赖. 机票的业务需要从 上游供应商处收集舱位信息, Redis 方便 的多种数据结构类型对于储存这种数据 比较方便. 同时由于供应商是在全球分布的特性, 就更需要一个能够多点写入的 概念的出现, 让大家对分布式存储 又有了新的期待 Data Replication Center 目前携程的应用也在进行单元化的部署模 式, 在实现单元化的部署过程中, 跨数据中 心的数据访问一直是一个业务的痛点. 是否我们也能够有自己的一套 DRC? 来完 成每个站点的单独写入读取, 而不用关心 底层存储的一致性和同步问题. 对此需求进行分析后, 我们决定开发一个 Redis 的 DRC 架构,

Redis 版（ApsaraDB for Redis）是兼容开源 Redis 协议标准的、提供持久化的内存数据库服务，基 于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 云数据库 Redis 版支持字符串（String）、链表（List）、集合（Set）、有序集合（SortedSet）、哈希表 （Hash）等多种数据类型，及事务（Transactio 版支持灵活的部署架构：单副本、双副本、集群版，能够满足不同的业务场景。 单节点架构： 适用于纯缓存场景，支持单节点集群弹性变配，满足高 QPS 场景，提供超高性价比。 双机热备架构：系统工作时主节点（Master）和备节点（Slave）数据实时同步，主节点故障时系统 自动秒级切换，备节点接管业务，全程自动且对业务无影响，主备架构保障系统服务具有高可用性。 集群架构：集群（cl 集群架构：集群（cluster）实例采用分布式架构，每个节点都采用一主一从的高可用架构，自动容灾 切换，故障迁移，多种集群规格可适配不同的业务压力，无线扩展数据库性能。 云数据库 Redis 版作为云计算服务，其硬件和数据部署在云端，有完善的基础设施规划、网络安全保障、系统 维护服务，确保用户专心致力于业务创新。 混合存储公测开通须知 Redis混合存储系列将于2018年3月29日至2018

conf文件中添加以下内容：bind_ip = 127.0.0.1 Jenkins 未授权访问漏洞 漏洞简介以及危害 默认情况下 Jenkins面板中用户可以选择执行脚本界面来操作一些系统层命令，攻击者可通过未授 权访问漏洞或者暴力破解用户密码等进入后台管理服务，通过脚本执行界面从而获取服务器权限。 漏洞利用 环境介绍 环境搭建 下载地址：http://mirrors 制可以直接访问 Jenkins未授权访问写shell 浏览器访问http://192.168.18.129:8080/ 如下图所示说明环境搭建成功 点击“脚本命令执行” 执行系统命令 网站路径：/var/www/html （需要具备一定的权限） 利用“脚本命令行”写webshell，点击运行没有报错,写入成功 println "whoami".execute() Memcached 是一套常用的 key-value 分布式高速缓存系统，由于 Memcached 的安全设计缺陷没 有权限控制模块，所以对公网开放的Memcache服务很容易被攻击者扫描发现，攻击者无需认证通过命 令交互可直接读取 Memcached中的敏感信息。 漏洞利用 环境介绍 环境搭建 64位系统 1.4.4版本：http://static.runoob.com/

注意：已用内存及配额信息是由底层系统根据采集信息进行的一个离线汇总，所以有一个时间延时，这个 延时会在10分钟左右。如果需要查看实时信息，建议登录 DMS 进行查看，详细步骤请参见DMS 登录云 数据库。 可运维时间段 您可以在实例信息页面对可运维时间进行修改，阿里云会在可运维时间对实例进行生产维护，维护期间可能会 发生闪断，建议您尽量选择业务低峰期为运维时间段。 版本，支持 Redis 3.0 的 Geo 命令。目前还有小部分暂未开放的命令和受限 制的命令。 支持的命令操作 百分比、写入带宽使用率、读取带宽使用率。 数据过期删除策略 - 主动过期，系统后台会周期性的检测，发现已过 期的key时，会将其删除。 - 被动过期，当用户访问某个key时，如果该key已 经过期，则将其删除。 空闲连接回收机制 服务端不主动回收 Redis 空闲连接，由用户管理。 提供了数据管理、对象管理、数据流转和实例管理四部分功能。您可以通过以下 两种方式登录 DMS。 通过 Redis 管理控制台，选择要登录的实例，单击右上角的登录数据库打开 DMS。通过该种方式打 开 DMS，系统会自动填写登录页面中的数据库连接地址，您只要输入密码即可。 打开 DMS，手工输入要登录的数据库连接地址和密码，如下图所示。 注意： 连接信息可以在 Redis

目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA 180 ms 业务痛点 仓位信息供应商 国内 海外 • 海外用户和国内用户查询 同一份数据 • 需要向供应商付费2次 业务痛点 仓位信息供应商 仓位信息供应商 国内 海外 单向同步 • 单向同步可以解决 海外重复收费的问 题 • 无法解决上海重复 收费的问题 业务痛点 仓位信息供应商 国内 海外 双向同步 • 我们希望可以通过 Redis的双向同步 解决重复收费的问 题 双向同步 Redis双向同步 双向同步 Redis Master Redis Master Redis双向同步 1. slaveof

Introduction SACC2017 • Redis实例数量：6000+个 • 日访问量：5000+亿 • Pika数据数量：1000+个 • 日访问量：1000+亿 • 覆盖率：80%以上业务线 • 单份数据体积：6.8T Pika User SACC2017 SACC2017 Pika 的出现并不是为了替代 Redis，而是 Redis 的场景补充。 Pika 迁移工具 – Redis_to_pika • 将redis数据迁移到pika，基于aof，能全量+增量方式同步数 据（Note关闭aof重写） – Pika_to_redis • 业务增长过快，pika逐渐难以支持性能，将pika迁回redis， 支持增量数据同步 – Ssdb_to_pika • 将ssdb数据迁移到pika，目前不支持增量同步 SACC2017 5套30G左右的redis主从，占用300G内存 • 迁移后： • 1套50G左右的pika主从，占用100多G磁盘 SACC2017 Pika 运维 – 案例二 数据分析业务redis迁移到pika 迁移前： 业务数据量增长迅速，上线不到1周数据量增长 到40G 迁移后： 1套100G+ Pika主从 SACC2017 Pika 开发现状 • Pika团

并藉此提升整个 Redis 系统的读性能以及容灾能⼒。 ⾄于 Sentinel 则在复制的基础上， 为 Redis 系统提供了⾃动的故障转移功能， 从⽽使得整个系统可以更健壮地运⾏。 最后， 通过使⽤ Redis 集群， ⽤户可以在线扩展 Redis 系统的读写能⼒。 读者可以通过阅读这⼀部分来获得扩展 Redis 读写性能的相关知识， 并根据⾃⼰的情况为 Redis 系统选择合适的扩展⽅式。 1 中展示的锁实现了基本的获取和释放功能， 但它并不完美： 1. 因为这个锁的释放操作⽆法验证进程的身份， 所以⽆论执⾏释放操作的进程是否就是锁的持有者， 锁都会 被释放。 如果锁被持有者以外的其他进程释放了的话， 那么系统中可能就会同时出现多个锁， 导致锁的唯 ⼀性被破坏。 2. 这个锁的获取操作不能设置最⼤加锁时间， 它⽆法让锁在超过给定的时限之后⾃动释放。 因此， 如果持有 锁的进程因为故障或者编程错误⽽没有在退出之前主动释放锁， ⼀种是能够使⽤ C 语⾔的 long long int 类型储存的整数， 在⼤多数系统中， 这种类型储存的都是 64 位 ⻓度的有符号整数， 取值范围介于 -9223372036854775808 和 9223372036854775807 之间； 第⼆种是能够使⽤ C 语⾔的 long double 类型储存的浮点数， 在⼤多数系统中， 这种类型储存的都是 128 位⻓度的有符号浮点数， 取值范围介于 3

01、开源数据库 02、丰富的数据类型 03、丰富的接口 04、支持丰富的语言 PostgreSQL 是全功能的开源数据库，是唯一支持事务、子 查询、多版本幵行控制系统、数据完整性检查等特性的一种 自由软件的数据库管理系统 PostgreSQL 的特性覆盖了 SQL-2/SQL-92 和 SQL-3/SQL- 99，是目前世界上支持最丰富的数据类型的数据库 PostgreSQL PostgreSQL Advantages 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 系统权限 PostgreSQL的权限分类 对象权限 2016Postgres中国用户大会 Postgres Conference China

Centos123 # /usr/local/bin/redis-server /root/redis-6.2.13/redis.conf #启动服务（后台运 行） ★做成系统服务 # ps -ef | grep redis root 14989 1 0 13:46 ? 00:00:00 redis-server 0.0.0.0:6379