中国用户大会 高金芳 平安科技（深圳）有限公司 PostgreSQL“反向代理”Redis 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 职务：平安科技数据库技术部数据库架构师 邮箱：gaojinfang498@pingan,.com.cn 个人简介： 高金芳， 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 高性能 稳定性 安全性 轻量级 高可用 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 性能极高，OPS超过100K 支持丰富的数据类型 China 2016 中国用户大会 Redis Security--others Redis丌支持数据加密 Redis丌支持字符转义 Redis通常丌存在Nosql注入 Redis在高版本中还增加了保护模式 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Redis无法做到key隔离

什么是云数据库 Redis 版 云数据库 Redis 版（ApsaraDB for Redis）是兼容开源 Redis 协议标准的、提供持久化的内存数据库服务，基 于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 云数据库 Redis 版支持字符串（String）、链表（List）、集合（Set）、有序集合（SortedSet）、哈希表 版支持灵活的部署架构：单副本、双副本、集群版，能够满足不同的业务场景。 单节点架构： 适用于纯缓存场景，支持单节点集群弹性变配，满足高 QPS 场景，提供超高性价比。 双机热备架构：系统工作时主节点（Master）和备节点（Slave）数据实时同步，主节点故障时系统 自动秒级切换，备节点接管业务，全程自动且对业务无影响，主备架构保障系统服务具有高可用性。 集群架构：集群（cluster 集群架构：集群（cluster）实例采用分布式架构，每个节点都采用一主一从的高可用架构，自动容灾 切换，故障迁移，多种集群规格可适配不同的业务压力，无线扩展数据库性能。 云数据库 Redis 版作为云计算服务，其硬件和数据部署在云端，有完善的基础设施规划、网络安全保障、系统 维护服务，确保用户专心致力于业务创新。 混合存储公测开通须知 Redis混合存储系列将于2018年3月29日至201

Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 成每个站点的单独写入读取, 而不用关心 底层存储的一致性和同步问题. 对此需求进行分析后, 我们决定开发一个 Redis 的 DRC 架构, 来支撑携程集群的应 用单元化部署, 而不仅仅是限制于Redis 数 据的双向同步. Redis For DRC 高可用性 一致性 分区容忍性 传统关系型数据库为代表的 CA 新兴的NO-SQL为代表的 CP 分布式数据库则更多的关心AP Availability Availability Strong Eventually Consistency Partition 技 术 选 型 首先,P(网络分区)是首 要考虑因素 其次, 跨区域部署就是 为了提高可用性 最后,我们使用"最终一 致性"来解决数据冲突 双向回 环 环形复 制 数据一 致性 网络模 型的选 择 双向/多向同步有哪些共同的问题 网络通讯的 模型选择 Redis A:

所有类型的实例而言，控制台首页的界面信息都是相同的。 登录 Redis 管理控制台，进入实例列表页面，如下图所示（仅为示例，请以实际界面为准）。 实例列表页面中会展示实例 ID、状态、已用内存及配额、可用区、创建时间、付费方式、网络类型等信息。 注意：已用内存及配额信息是由底层系统根据采集信息进行的一个离线汇总，所以有一个时间延时，这个 延时会在10分钟左右。如果需要查看实时信息，建议登录 key 的个数。 注意：如果发生主备切换，该值会以新的主库为准 。 UsedMemory 当前内存的使用值。 由于新建实例时会产生一定的元信息，所以对于主 从实例这个值最小是 30 MB，对于集群实例这个 数据的初始值为 30 MB乘以节点数，最小为 200 MB。 InFlow 后端 Redis 入口当前每秒的流量值，单位为 KBytes/s。 OutFlow 后端 Redis 出口当前每秒的流量值，单位为 出口当前每秒的流量值，单位为 KBytes/s。 ConnCount 当前 Redis 的客户端连接个数。 FailedCount 对于主从版本，目前这个值没有意义，因为客户端 直接连接到后端 DB。对于集群版实例，该统计项 标识 Proxy 到 Redis 的操作失败数目，包括超时 云数据库 Redis 版 快速入门 3 说明：您可以单击自定义监控项添加不同操作命令的访问次数的监控，比如查看

Redis 多数据中心 双向同步实践 祝辰 祝辰 目前任职携程框架架构部门资深 研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA 180 ms Op-based Replication • 交换律 • 结合律 高可用 全量同步 • Redis生成内存 快照 • 发送给下游 Redis同步 • 期间，下游 Redis不可用 Fork Redis客户端 CRDT的优势 • Redis生成内存 快照 • 使用OP-LOG的 形式发送 • 期间，下游 Redis可用 Fork Redis客户端 • CRDT⼊门 •

实例. 特别的浪费资 源 SACC2017 Redis 问题 90/GB VS 2.6/GB 30倍的差距 SACC2017 问题分析 • 成本问题 • 可用性问题 • 同步问题 • 易用性问题 SACC2017 问题分析 • 尽可能兼容redis 协议 • 使用基于磁盘的存储引擎rocksdb 实现多 数据接口接口 • redis • 劣势 – 由于Pika是基于内存和文件来存放数据, 所以性能肯定比Redis 低一些 • 优势 – 容量大 – 加载db速度快 – 备份速度快 – 对网络容忍度高 – 性价比高 SACC2017 Pika vs redis - CPU: 24 Cores, Intel(R) Xeon(R) CPU E5-2630 v2 @ 2.60GHz

是一个开源的引擎可以轻松地为任何应用创建一个轻量级的、可移植的、自给自足的容 器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署包括 VMs、bare metal、 OpenStack 集群和其他的基础应用平台Docker。 Docker Remote API 是一个取代远程命令行界面（rcli）的REST API。存在问题的版本分别为 1.3 和 1.6因为权限控制等问题导致可以通过 ookeeper 的默认开放端口是2181。Zookeeper安装部署之后默认情况下不需要任何身份验证，造成攻击者可以远 程利用Zookeeper，通过服务器收集敏感信息或者在Zookeeper集群内进行破坏（比如：kill命令）。攻 击者能够执行所有只允许由管理员运行的命令。 漏洞利用 环境介绍 import docker client = docker.DockerCli tlassian Crowd是一套基于Web的单点登录系统。该系统为多用户、网络应用程序和目录服务器提供验证、授权 等功能。Atlassian Crowd Data Center是Crowd的集群部署版。Atlassian Crowd和Crowd Data Center在其某些发行版本中错误地启用了pdkinstall开发插件，使其存在安全漏洞。攻击者利用该漏洞 可在未授权访问的情况下对Atlassian

数据库* 12. ⾃动过期* 13. 流⽔线与事务* 14. Lua 脚本 15. 持久化 16. 发布与订阅 17. 模块 第三部分：多机功能 18. 复制* 19. Sentinel 20. 集群 附录 附录 A ：Redis 安装⽅法* 附录 B ：redis-py 安装⽅法* 前⾔ 时光荏苒， 距离我的第⼀本书《Redis设计与实现》出版已经过去了整整五年。 在这五年间， Redis ， 功能也变得越来越多、越 来越强⼤： ⽐如说， Redis 的数据结构数量已经从过去的五种增加到了九种， RDB-AOF 混合持久化模式的引⼊ 使得⽤户不必再陷⼊“⻥和熊掌不可兼得”的难题中， ⽽集群功能和模块机制的引⼊则让 Redis 在性能和功能上拥 有了近乎⽆限的扩展能⼒。 综上所述， 我们可以说现在的 Redis 跟五年前⽐起来已经完全不⼀样了， ⽽如何向读者讲述新版 Redis ⽅⽅⾯ 这些功能能够帮助⽤户将 Redis 应⽤在更多不同的场景中， 或者给予⽤户以⽅便。 更重要的是， Redis 不仅可以单机使⽤， 还可以多机使⽤： 通过 Redis ⾃带的复制、Sentinel 和集群功 能， ⽤户可以将⾃⼰的数据库扩展⾄任意⼤⼩。 ⽆论你运营的是⼀个⼩型的个⼈⽹站， 还是⼀个为上千万 消费者服务的热⻔站点， 你都可以在 Redis 找到你想要的功能， 并将其部署到你的服务器⾥⾯。