分布式KV存储Cellar演进之路 美团点评·基础架构 齐泽斌 美团点评基础架构部，存储研发团队负责人 • Cellar：分布式KV存储服务 • Databus：数据库变更实时传输服务 • Venus：图片服务 11年毕业于天津大学 11 年到 14 年任职于百度，负责分布式文件系统和 KV 存储系统研发 有多年分布式存储研发经验 个人简介 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 Cellar，英文原意是酒窖，项目取名Cellar，一方面借用其储藏 之意，同时，也希望使用Cellar的用户，可以像用酒窖藏酒一样，越 存越香。 Cellar起源 • 14年初 美团引入阿里Tair作为NoSQL存储 16年初 基于开源版本研发新一代KV存储系统Cellar • Now Cellar日请求量达万亿级，美团点评最大NoSQL存储 Cellar起源 Cellar起源—Tair架构 路由表 Cellar起源—Tair架构 HASH Key 桶号 存储节点 固定HASH算 法 固定数目 数据分片 桶->存储节点 对照表 Cellar起源—Tair架构 服务层 请求 mdb

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 2.5.15. Apache Karaf SSH Console . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 11.1.5. Deploying into an existing Karaf server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 11 https://unomi.apache.org/download.html 6) Start it using : ./bin/karaf 7) Start the Apache Unomi packages using unomi:start in the Apache Karaf Shell 8) Wait for startup to complete 9) Try accessing htt

in Apache Unomi 1.x: curl --location --request POST 'http://localhost:8181/cxs/scopes' \ -u 'karaf:karaf' \ --header 'Content-Type: application/json' \ --data-raw '{ "itemId": "apache", "itemType": "scope" startup to complete. Try accessing https://localhost:9443/cxs/cluster with username/password: karaf/karaf . You might get a certificate warning in your browser, just accept it despite the warning it is https://unomi.apache.org/download.html 6) Start it using : ./bin/karaf 7) Start the Apache Unomi packages using unomi:start in the Apache Karaf Shell 8) Wait for startup to complete 9) Try accessing ht

on a mac ./Cellar/fmt/10.1.1/lib/cmake/fmt/fmt-targets-release.cmake ./Cellar/fmt/10.1.1/lib/cmake/fmt/fmt-config.cmake ./Cellar/fmt/10.1.1/lib/cmake/fmt/fmt-config-version.cmake ./Cellar/fmt/10.1.1/ gets.cmake ./Cellar/fmt/9.1.0/lib/cmake/fmt/fmt-targets-release.cmake ./Cellar/fmt/9.1.0/lib/cmake/fmt/fmt-config.cmake ./Cellar/fmt/9.1.0/lib/cmake/fmt/fmt-config-version.cmake ./Cellar/fmt/9.1.0/lib 0/lib/cmake/fmt/fmt-targets.cmake ./Cellar/spdlog/1.12.0/lib/cmake/spdlog/spdlogConfig.cmake ./Cellar/spdlog/1.12.0/lib/cmake/spdlog/spdlogConfigTargets-release.cmake ./Cellar/spdlog/1.12.0/lib/cmake/spdlog

clang-1000.11.45.2)) configuration: --prefix configuration: --prefix==/usr/local/Cellar/ffmpeg/4.0.2 -- /usr/local/Cellar/ffmpeg/4.0.2 -- libavutil 56. 14.100 / 56. 14.100 libavutil 56. 14 clang-900.0.39.2)) configuration: --prefix configuration: --prefix==/usr/local/Cellar/ffmpeg/3.4.2 -- /usr/local/Cellar/ffmpeg/3.4.2 -- libavutil 55. 78.100 / 55. 78.100 libavutil 55. 78 clang-900.0.39.2)) configuration: --prefix configuration: --prefix==/usr/local/Cellar/ffmpeg/3.4.2 -- /usr/local/Cellar/ffmpeg/3.4.2 -- libavutil 55. 78.100 / 55. 78.100 libavutil 55. 78

2)) configuration: -- configuration: -- prefix prefix==/usr/local/Cellar/ffmpeg/4.0.2 --enable-shared /usr/local/Cellar/ffmpeg/4.0.2 --enable-shared --enable-pthreads --enable-version3 --enable- 2)) configuration: -- configuration: -- prefix prefix==/usr/local/Cellar/ffmpeg/3.4.2 --enable-shared /usr/local/Cellar/ffmpeg/3.4.2 --enable-shared --enable-pthreads --enable-version3 --enable- 2)) configuration: -- configuration: -- prefix prefix==/usr/local/Cellar/ffmpeg/3.4.2 --enable-shared /usr/local/Cellar/ffmpeg/3.4.2 --enable-shared --enable-pthreads --enable-version3 --enable-

built with Apple LLVM version 10.0.0 (clang-1000.11.45.2) configuration: --prefix=/usr/local/Cellar/ffmpeg/4.0.2 --enable-shared --enable- pthreads --enable-version3 --enable-hardcoded-tables --enable-avresample developers built with Apple LLVM version 9.0.0 (clang-900.0.39.2) configuration: --prefix=/usr/local/Cellar/ffmpeg/3.4.2 --enable-shared --enable- pthreads --enable-version3 --enable-hardcoded-tables --enable-avresample developers built with Apple LLVM version 9.0.0 (clang-900.0.39.2) configuration: --prefix=/usr/local/Cellar/ffmpeg/3.4.2 --enable-shared --enable- pthreads --enable-version3 --enable-hardcoded-tables --enable-avresample

S中，这里 我们无需全量导入，只要抽样导入即可，这样在满足我们的查询要求的同时也能提高我们的查询效 率。 2. 在导入到一些其他存储介质中，传输的效率有时候会成为我们的瓶颈，比如我们导入到Cellar中，数 据量大，写入效率也不高，针对这种情况，我们会采用增量导入的方式，每次导入的数据都是有发生 变化的，这样我们的导入数据量会减少，从而减小我们的传输耗时。 实时处理 实时处理 实时处 ，使用公司的存储中间件Squirrel和Cellar，其 中Cellar是基于淘宝开源的Tair进行开发的，而Squirrel是基于Redis-cluster进行开发的，两者的差异就 不在此赘述，简单讲一下我们的使用场景： 1. 对于冷热比较分明，单个数据不是很大（小于20KB，过大会影响查询效率），并且value不是复杂的，我们会使用 Cellar，比如一些低频次的用户行为数据。 2. 另外对非关键路径上的服务故障做了降级。例如账号的一个查询服务依赖Redis，当Redis抖动的时候服 务的可用性也随之降低，我们通过公司内部另外一套缓存中间件Cellar来做Redis的备用存储，当检测到 Redis已经非常不可用时就切到Cellar上。通过开源组件Hystrix或者我们公司自研的中间件Rhino就能非 常方便地解决这类问题，其原理是根据最近一个时间窗口内的失败率来预测下一个请求需不需要快速失

3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11- 10T16:41:47+00:00) Maven home: /usr/local/Cellar/maven/3.3.9/libexec Java version: 1.8.0_102, vendor: Oracle Corporation Note This sample needs activemq-jms-pool 5.15.0 org.apache.activemq activemq-kahadb-store 5.15.0 org.apache.activemq activemq-karaf 5.15.0 org.apache.activemq activemq-leveldb-store 5.15.0 org.apache.activemq activemq-log4j-appender

3.9 (bb52d8502b132ec0a5a3f4c09453c07478323dc5; 2015-11- 10T16:41:47+00:00) Maven home: /usr/local/Cellar/maven/3.3.9/libexec Java version: 1.8.0_102, vendor: Oracle Corporation Note This sample needs activemq-jms-pool 5.15.0 org.apache.activemq activemq-kahadb-store 5.15.0 org.apache.activemq activemq-karaf 5.15.0 org.apache.activemq activemq-leveldb-store 5.15.0 org.apache.activemq activemq-log4j-appender