构建强⼀一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ⾃自我介绍 ⾃自我介绍 • 沈泰宁 • R&D Engineer @ PingCAP • Maintainer • rust-prometheus • grpc-rs • … ⽬目录 • What is TiDB? • How to test? What is TiDB? Single

⾼性能⾼可⽤机票实时搜索系统 去哪⼉⺴ 梁启康 议题 系统诉求 海海量量数据 设计思路路 搜索框架 报价引擎 待解问题 系统诉求 • 全⽹网价最低 • 航线报价最全 • 实时性最好 • 产品最丰富 • 预定最流畅 ⾯面临问题 航班舱位时刻变动 供应商规则调整密集 航司政策各有不不同 供应商的office权限不不⼀一致 运价规则变化繁多 GDS数据成本不不菲 报价数量量多，内存问题 • 报价源多，不不稳定 • 响应时间要求苛刻 • 搜索条件有热点 • 缓存报价不不准 • 尽量量⽤用原⽣生数据类型，编码 • 回数⽐比例例，异步搜索更更新 • 分批回数 • ⼀一致性哈希，负载均衡 • 供应商粒度，主动更更新 报价引擎 供应商规则 航司运价 航班舱位状态 套餐搭售 + + 低价特惠 商旅优选 头等舱 。。。 报价引擎—供应商规则 报价引擎 • 计算量量巨⼤大 报价引擎 索引 搜索引擎核⼼心 • 规则库 => 索引库 • 规则库写⼊入量量⼤大，集群峰值达20K TPS • 要求同步延迟很低，不不超过60s • 保持顺序⼀一致性，如果先删后插变成 先插后删，数据会不不⼀一致 • 数据最终⼀一致 • 系统⾼高可⽤用 报价引擎 — 组织索引 北北 京 | 上 海海 成 都 | 杭 州 ⼴广 州 | 郑 州 南

有状态分布式系统的高可用问题 一致性 可用性 分区容错性 Paxos Raft 2PC Gossip Ø 处理请求需要特定节点 Ø 必须要考虑数据备份和同步 的问题 Ø 容量扩展和高可用需要不同 解决方案 Ø 服务节点不能随便迁移 CAP Is Not Simply 2 out of 3 Ø 没有分区时，可用性和一致 性要兼得 Ø 经常要考虑的是可用性和一 致性各有一部分 Ø 根据不同设计应用需求有不 根据不同设计应用需求有不 同的组合 Ø 重要的是系统如何恢复到 “最佳状态” 分区容错性 可 用 性 一 致 性 系 统 服 务 等 级 分区容错性 可 用 性 一 致 性 系 统 自 愈 程 度 Look Distributed System in another Way Safety •Something bad will never happen •e.g. received 控制器执行动作协调到Desired State u 创建1个新的Pod Ø Controller观察特定领域的 系统状态 Ø 协调Desired State跟 Realized State之间的差 距，维持最终一致性 Ø 定期处理集群中的事件 Ø 系统必须是幂等的 控制器的设计理念 控制逻辑应该只依赖于当前状态 假设任何错误的可能，并做容错处理 尽量避免复杂状态机，逻辑不要依赖无法监控的内部状 态 每个模块都可以在必要时优雅地降级服务

KV 存储系统研发 有多年分布式存储研发经验 个人简介 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 Cellar，英文原意是酒窖，项目取名Cellar，一方面借用其储藏 之意，同时，也希望使用Cellar的用户，可以像用酒窖藏酒一样，越 • 可用性问题 • 性能问题 • 运维问题 Cellar起源—Tair问题 Cellar起源 架构升级 性能优化 可用性优 化 可运维性 Cellar 开源 Tair • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划 目录 Cellar—中心节点架构演进 • 性能问题 客户端集中获取路由表 • 隔离性问题 中心节点暴露给客户端 可线性扩展 • 隔离性： 客户端与中心节点 完全隔离 Cellar—中心节点架构演进 一致性 • 主备脑裂 • observer与config • Zookeeper选主 • 元数据Zookeeper存储 Cellar—中心节点架构演进 一致性： • 主备强一致 • observer同步强一致 • Cellar起源 • 中心节点架构演进 • 节点高可用和异地容灾 • 服务可用性提升 • Cellar规划

⽀支付通知 交易易中台 ⽀支付时限任务 出票处理理 队列列故障 已⽀支付订单被取消 ⽀支付超时 订单取消 缺乏降级设计 稳定性之路路到底有多远 如何设计⾯面向容错的系统，如何提升系统的可⽤用性 强弱依赖 • 弱依赖 - 熔断限流，有损服务 • 强依赖 - 备选服务，降级实现 什什么是强弱依赖，如何确定强弱依赖 • ⽤用户是否强烈烈感知 • 核⼼心业务是否有损 service 降级服务统⼀一注册管理理，通过降 级服务质量量数据从整体反映各应 ⽤用的降级点和可⽤用性保障措施 • 降级策略略集中管理理，通过参数 化、配置化、脚本化⽅方式实现线 上策略略的灵活调整 • 依据服务重要程度，从全局制定 分级预案，对降级点进⾏行行预案编 排，并跟踪监控降级链路路的执⾏行行 • 发现潜在故障，多维度验证预案 有效性，评估系统可靠性，提供 降级策略略、参数调整的优化依据 整体架构 Agent 使⽤用ETCD实现注册中⼼心 • 简单 - Go语⾔言编写部署维护简单，定义良好的API • 安全 - SSL认证机制 • 快速 - ⽀支持上万次写⼊入操作 • 可信 - Raft算法保证强⼀一致性，Proxy反向代理理模式⽀支持 • 服务数据存储 • 应⽤用、服务元数据、状态数据，etcd、mysql双份存储 • 后台实时监控应⽤用、服务，实时变更更降级策略略 proxy 服务质量量数据采集

System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 分区故障容忍 • 数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • … 数据与计算的分片 • 哈希分片 - 简单、均衡 - 扩容复杂、易用性差 - 一致性哈希、虚拟节点 • 按范围、数据量分 - 使用简单 - 需要管理元数据 - 中心化与去中心化 元数据管理 • 去中心化 影响可用性 • 可以读从节点 - 刚写入的读不到 - 不一致 • 只允许读主节点 - 扩展性受限 数据处理模块 数据接收模块 存储 主 从 从 1. 写入 2. 通知 3. 读取 CAP理论 • 简要历史 - Eric Brewer 1998年提出 - 2002年证明 • CAP三选二 - Consistency 一致性 - Availability 可用性 - Partition Write 写成功W副本 - Read 读R副本 - W+R>N，就不会丢失更新 • 一致性协议 - Paxos - Raft CAP到CAD的演变 • 必须容忍网络隔离 - CAP->CA • 跨地域的延迟 - CA->CAD/CAL • 多数情况下我们更重视可用性 - CAD->CD • 一致性与延迟的折衷 - 要求强一致的, 容忍延迟 - 要求低延迟的, 选择最终一致 提升系统扩展性

⾼高可⽤用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ⾃自我介绍 ⾃自我介绍 李李玥 京东集团 技术架构部 架构师 负责主导设计新⼀一代京东消息中间件系统，专注于流数据的⼀一致性分发和可靠存储、分布式实时计算和⾼高可⽤用分 布式系统架构等技术领域。 从事互联⽹网研发、架构10余年年，曾在浪潮集团、当当⽹网等公司从事架构相关⼯工作。2017年年加⼊入京东，期间提升京 东商城相关系统的性能和吞吐量量数倍。 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage Data 有序 Append only：尾部写入，不变 顺序读取 分布式 高性能 可靠性 顺序一致性 （近乎）无限容量 我们需要什什么样的存储？ WHAT Pub/Sub Powered by United Stream Store Streaming Connector Distributed 线程模型 集群 · 架构 没有最好的架构，只有最合适的架构 取 · 舍 学会 ⽅得始终 取 舍 从实用角度出发，如何取舍？ Consistency ⼀一致性 Availability 可⽤用性 Performance 性能 例⼦ ⽤用Redis给MySQL做缓存 ⼤大促限流 Complexity 复杂度 Apache ZooKeeper “程序

用户和业务持续上量，业务快速发展 扩张阶段 业务和团队规模增长迅速，多元化发展，对效率和质量提出更高要求 没有一种� 架构能� 包打天下 DB Server PC WEB 容错性、稳定性差 技术债迅速积累 代码安全带来挑战 初始，� 效率优先 成长,移动后台旁路追赶 DB主 Server PC WEB AND/IOS/H5/Open 静态站 网贷服务 -------Joe Armstrong 关键点 分而治之，缩小竞争面 加速资源交换，更快响应 共享资源串行操作 数据一致性(脏读,丢失更新等) 业务纵向拆分，化整为零 资源拆分，横向扩展 cache，index，partition parallel non-blocking sync、lock，cas stock=(incrby stock –X)� if (stock<0){incrby stock X;}� else { //submit}� 数据竞争� [NoSql方案示例2] 存储+运算，一致性保证 高可用措施保障 兜底策略 Redis+(lua/module)方案： local stock = redis.call("GET","STOCK")