中国用户大会 高金芳 平安科技（深圳）有限公司 PostgreSQL“反向代理”Redis 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 职务：平安科技数据库技术部数据库架构师 邮箱：gaojinfang498@pingan,.com.cn 个人简介： 高金芳， 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 高性能 稳定性 安全性 轻量级 高可用 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 性能极高，OPS超过100K 支持丰富的数据类型 China 2016 中国用户大会 Redis Security--others Redis丌支持数据加密 Redis丌支持字符转义 Redis通常丌存在Nosql注入 Redis在高版本中还增加了保护模式 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Redis无法做到key隔离

Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 底层存储的一致性和同步问题. 对此需求进行分析后, 我们决定开发一个 Redis 的 DRC 架构, 来支撑携程集群的应 用单元化部署, 而不仅仅是限制于Redis 数 据的双向同步. Redis For DRC 高可用性 一致性 分区容忍性 传统关系型数据库为代表的 CA 新兴的NO-SQL为代表的 CP 分布式数据库则更多的关心AP Availability Strong Eventually replicas, and where it is always mathematically possible to resolve inconsistencies which might result. 并发冲突 举个栗子: LWW(Last Writer Wins)-Register: 适用于 K/V 类型的存储 解决数据冲突的方式是通过使用 unix timestamp 或类似自然时间的计数

什么是云数据库 Redis 版 云数据库 Redis 版（ApsaraDB for Redis）是兼容开源 Redis 协议标准的、提供持久化的内存数据库服务，基 于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 云数据库 Redis 版支持字符串（String）、链表（List）、集合（Set）、有序集合（SortedSet）、哈希表 适用于纯缓存场景，支持单节点集群弹性变配，满足高 QPS 场景，提供超高性价比。 双机热备架构：系统工作时主节点（Master）和备节点（Slave）数据实时同步，主节点故障时系统 自动秒级切换，备节点接管业务，全程自动且对业务无影响，主备架构保障系统服务具有高可用性。 集群架构：集群（cluster）实例采用分布式架构，每个节点都采用一主一从的高可用架构，自动容灾 切换，故障迁移， Redis 标准版-单副本架构采用单节点部署。阿里云自研的 HA 高可用系统时时探测节点的服务情况 ，如果发现业务不可用，HA 系统会在30秒内重新拉起一个 Redis 进程继续为用户提供 Redis 服务 ，服务可用性相比双副本模式并未下降。同时，通过减少一个数据库节点，可以大幅节省用户成本 ，售价约为双副本高可用版的一半。 高性能 由于标准版-双副本架构的备库仅用

并根据消息内容进⾏相应的处理⼯作。 下⾯的这段代码展示了⼀个简单的消息接收者， 在没有消息的时候， 这个程序将阻塞在 mq.get_message() 调⽤上 ⾯； 当有消息（邮件地址）出现时， 程序就会打印出该消息并发送邮件： >>> from redis import Redis >>> from message_queue import MessageQueue >>> client = Redis(decode_responses=True) .. email_address = mq.get_message() # 阻塞直到消息出现 ... send_email(email_address) # 打印出邮件地址并发送邮件 ... peter@exampl.com jack@spam.com tom@blahblah.com ⽽以下代码则展示了消息发送者是如何将消息推⼊到队列⾥⾯的： >>> from redis 但是在作⽤上却并不相同： 流⽔线的作⽤是将多个命令打 包然后⼀并发送⾄服务器， ⽽事务的作⽤则是将多个命令打包然后让服务器⼀并执⾏它们。 因为 Redis 的事务在 EXEC 命令执⾏之前并不会产⽣实际效果， 所以很多 Redis 客户端都会使⽤流⽔线去包裹事 务命令， 并将⼊队的命令缓存在本地， 等到⽤户键⼊ EXEC 命令之后， 再将所有事务命令通过流⽔线⼀并发送⾄ 服务器， 这样客户端在执⾏事务时就可以达到“打包发送，打包执⾏”的最优效果。

Redis 多数据中心 双向同步实践 祝辰 祝辰 目前任职携程框架架构部门资深 研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA 180 ms Clock （1,0） 什么是 CRDT State-based Replication • 交换律 • 结合律 • 幂等性 Op-based Replication • 交换律 • 结合律 高可用 全量同步 • Redis生成内存 快照 • 发送给下游 Redis同步 • 期间，下游 Redis不可用 Fork Redis客户端 CRDT的优势 • Redis生成内存

redis • 劣势 – 由于Pika是基于内存和文件来存放数据, 所以性能肯定比Redis 低一些 • 优势 – 容量大 – 加载db速度快 – 备份速度快 – 对网络容忍度高 – 性价比高 SACC2017 Pika vs redis - CPU: 24 Cores, Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz