大容量redis存储方案--Pika 陈宗志 360基础架构组技术经理 SACC2017 简介 • 13年入职360 基础架构组 – Bada – Pika – Zeppelin – Mario, Pink, slash, floyd • https://github.com/Qihoo360 SACC2017 概要 • 存在问题 • 分析问题 SACC2017 Pika 的出现并不是为了替代 Redis，而是 Redis 的场景补充。 Pika 力求在完全兼容 Redis 协议、继承 Redis 便 捷运维设计的前提下通过持久化存储的方式解决 Redis 在大容量场景下的问题 Pika 定位 SACC2017 Redis 问题 • 恢复时间长 • 一主多从, 主从切换代价大 • 缓冲区写满问题 – 50G redis 回复时间70分钟 – 同时开启aof 和 rdb SACC2017 Redis 问题 • 一主多从, 主从切换代价大 – 主库挂掉后升级从库, 所有的从库全部重传数 据 SACC2017 Redis 问题 • 缓冲区写满问题 – 内存是昂贵资源, 缓冲区一般设置2G – 网络原因很容易将数据堵死, 那么就会发生大 量数据重传

云数据库 Redis 版 快速入门 快速入门 文档目的 快速入门旨在介绍如何创建 Redis 实例以及连接实例数据库，使用户能够了解从购买 Redis 实例到开始使用实 例的流程。 目标读者 首次购买 Redis 实例的用户 想要了解如何连接 Redis 实例的用户 快速入门流程图 若您初次使用云数据库 Redis 版，请先了解使用限制以及关于 应用程序，您可以通过该控制台上直观的用户界面进行实例 创建、网络设置、实例管理、密码设置等操作。 Redis 管理控制台是阿里云管理控制台的一部分，关于控制台的通用设置和基本操作请参见使用阿里云管理控 云数据库 Redis 版 快速入门 1 制台。本文将介绍 Redis 控制台的通用界面，若有差异，请以控制台实际界面为准。 前提条件 使用阿里云账号登录 Redis 管理控制台。若没有阿里云账号，请单击注册。 进行查看，详细步骤请参见DMS 登录云 数据库。 可运维时间段 您可以在实例信息页面对可运维时间进行修改，阿里云会在可运维时间对实例进行生产维护，维护期间可能会 发生闪断，建议您尽量选择业务低峰期为运维时间段。 性能监控 单击实例 ID 即可进入实例信息页面，在左侧导航栏中选择性能监控查看 Redis 的历史性能数据，可以查看到 云数据库 Redis 版 快速入门 2

云数据库 Redis 版 产品简介 产品简介 什么是云数据库 Redis 版 云数据库 Redis 版（ApsaraDB for Redis）是兼容开源 Redis 协议标准的、提供持久化的内存数据库服务，基 于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 云数据库 Redis 版支持字符串（String）、链 ）、哈希表 （Hash）等多种数据类型，及事务（Transactions）、消息订阅与发布（Pub/Sub）等高级功能。 通过“内存+硬盘”的存储方式，云数据库 Redis 版在提供高速数据读写能力的同时满足数据持久化需求。 云数据库 Redis 版支持灵活的部署架构：单副本、双副本、集群版，能够满足不同的业务场景。 单节点架构： 适用于纯缓存场景，支持单节点集群弹性变配，满足高 切换，故障迁移，多种集群规格可适配不同的业务压力，无线扩展数据库性能。 云数据库 Redis 版作为云计算服务，其硬件和数据部署在云端，有完善的基础设施规划、网络安全保障、系统 维护服务，确保用户专心致力于业务创新。 混合存储公测开通须知 Redis混合存储系列将于2018年3月29日至2018年5月30日期间，进行公测。公测期间，将给部分适用于 Redis混合存储系列场景的用户提供购买资格。

Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 别的时间, 一条消息可以 被全世界共享起来 互联网的规模也从单独 一个数据中心的部署方 式转变为多数据中心, 甚 至是跨区域的部署模式 多区域部署 Serverless 分布式存储 Redis 内存数 据库 支持多种 数据结构 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点, 平均延迟在 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的数 据存储有着强依赖. 机票的业务需要从 上游供应商处收集舱位信息, Redis 方便 的多种数据结构类型对于储存这种数据 比较方便. 同时由于供应商是在全球分布的特性, 就更需要一个能够多点写入的 Redis

职务：平安科技数据库技术部数据库架构师 邮箱：gaojinfang498@pingan,.com.cn 个人简介： 高金芳，中国平安集团旗下平安科技数据库技术部数据库架构师，从事数据库相关工作9年。 2007年毕业，从事oracle ERP开发，数据仓库和数据挖掘相关工作。 2011年加入平安科技，从事过数据库的开发、架构设计、新数据库产品引入、Oracle的架构优化等工作， Postgres Conference China 2016 中国用户大会  Oracle  PostgreSQL  Mysql 关系型数据库 Nosql数据库  Redis , Memcache  Hbase , Cassandra  Neo4j  Mongodb 2016Postgres中国用户大会 Redis？ Redis 是一个开源的、使用C语言编写的Key-Value数据库 Redis是一个支持网络交换的Key-Value数据库 Redis是一个基亍内存的Key-Value数据库 Redis是一个可持久化的Key-Value数据库 Redis是一个有丰富数据类型的Key-Value数据库 2016Postgres中国用户大会 Postgres

开启MongoDB服务时不添加任何参数时,默认是没有权限验证的,登录的用户可以通过默认端口无需 密码对数据库任意操作（增、删、改、查高危动作）而且可以远程访问数据库。 造成未授权访问的根本原因就在于启动 Mongodb 的时候未设置 --auth 也很少会有人会给数据库 添加上账号密码（默认空口令），使用默认空口令这将导致恶意攻击者无需进行账号认证就可以登陆到 数据服务器。 CouchDB 未授权访问漏洞 漏洞简介以及危害 Apache CouchDB是一个开源数据库，专注于易用性和成为"完全拥抱web的数据库"。它是一个使 用JSON作为存储格式，JavaScript作为查询语言，MapReduce和HTTP作为API的NoSQL数据库。应用 广泛，如BBC用在其动态内容展示平台，Credit Suisse用在其内部的商品部门的市场框架，Meebo，用 bo，用 在其社交平台（web和应用程序）,默认会在5984端口开放Restful的API接口，如果使用SSL的话就会监 听在6984端口，用于数据库的管理功能。其HTTP Server默认开启时没有进行验证，而且绑定在 0.0.0.0，所有用户均可通过API访问导致未授权访问。 在官方配置文档中对HTTP Server的配置有WWW-Authenticate：Set this

集合（Set）* 6. 有序集合（Sorted Set） 7. HyperLogLog 8. 位图（bitmap） 9. 地理坐标（GEO） 10. 流（Stream） 第⼆部分：附加功能 11. 数据库* 12. ⾃动过期* 13. 流⽔线与事务* 14. Lua 脚本 15. 持久化 16. 发布与订阅 17. 模块 第三部分：多机功能 18. 复制* 19. Sentinel 20. 集群 ：redis-py 安装⽅法* 前⾔ 时光荏苒， 距离我的第⼀本书《Redis设计与实现》出版已经过去了整整五年。 在这五年间， Redis 从⼀个不为 ⼈熟知、只有少量应⽤的崭新数据库， 逐渐变成了内存数据库领域的事实标准。 五年之前， 当⼈们提到 Redis 的时候， 语⽓通常都充满了怀疑： “Redis 我还是第⼀次听说，它好⽤吗？” “Redis ⽐起 Memcached 有什么优势？” 简洁⾼效、安全稳定的印象已经深⼊⼈⼼。 ⽆论是国内还是国外， 从财富五百强到⼩ 型初创公司都在使⽤ Redis ， 很多云服务提供商还以 Redis 为基础构建了相应的缓存服务、消息队列服务以及内 存存储服务 —— 当你使⽤这些服务时， 你实际上就是在使⽤ Redis 。 除了变得越来越受欢迎之外， Redis 在过去数年的另⼀个变化就是更新速度越来越快， 功能也变得越来越多、越 来越强⼤： ⽐如说，