万 APP 198 亿 移动终端 10.4 亿 月独立 活跃设备 90 % 覆盖率 亿级长连接用户 SDK多版本并存 消息实时性 触达率要求 移动网络环境复杂性 海量用户数据存储 消息推送系统面临的挑战 极光推送服务架构 系统通道 API 用户筛选 用户分发 推送通道 极光通道 共享通道 短信通道 极光推送后台系统架构 iOS SDK Android 功能按照业务拆分解耦 • 数据和业务分离 • 快速迭代 • 模块间通过MQ/RPC交互 极光推送后台系统架构 01 Segment Conn StatCenter OnlineMsg 异步化 • 充分利用资源，减少请求等待时间，提升系统吞吐量 • 消息化请求 • MQ - RabbitMQ, RocketMQ • 模块间解耦 • IDC数据同步 • 异步RPC • ICE ICE - 负载均衡，AMI，AMD，多线程 极光推送后台系统架构 02 并行化 • 横向扩展处理能力 • 数据分片存储 • 多节点+分片+多副本架构 • 数据读写动态路由 • 请求并行处理 • 模块级别并行 • 代码级别并行 极光推送后台系统架构 03 MQ Segment OnlineMsg OnlineMsg OnlineMsg Data0-0 Data0-1

⾼高可⽤用分布式流数据存储设计 李玥 京东集团 技术架构部 架构师 ⾃自我介绍 ⾃自我介绍 李李玥 京东集团 技术架构部 架构师 负责主导设计新⼀一代京东消息中间件系统，专注于流数据的⼀一致性分发和可靠存储、分布式实时计算和⾼高可⽤用分 布式系统架构等技术领域。 从事互联⽹网研发、架构10余年年，曾在浪潮集团、当当⽹网等公司从事架构相关⼯工作。2017年年加⼊入京东，期间提升京 如何定位？如何融入生态系统？ How 如何实现？如何优化？ WHY 为什什么需要流数据存储？ 单体应⽤用 烟筒式 SOA 微服务 那些年年的服务 MySQL ES HDFS KV HBase Hive 这些年年的数据 Services Data MySQL ES HDFS KV HBase Hive 统⼀一的流数据存储平台 我们的愿景 Services Streaming Storage PLRU淘汰策略略 ⾼高并发 ≠ ⾼高性能 减少等待 异步: Future, Callback, React框架 流程拆分 减少锁：CAS原语 减少锁等待: 读写锁, 细粒度锁 写⼊入数据流程 IOThreads 接收请求 Requests Queue WriteThread 处理理 FlushThread 刷盘 ReplicationThread 发送复制请求 IOThreads

构建强⼀一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ⾃自我介绍 ⾃自我介绍 • 沈泰宁 • R&D Engineer @ PingCAP • Maintainer • rust-prometheus • grpc-rs • … ⽬目录 • What is TiDB? • How to test? What is TiDB? Single

•负责酒旅搜索排序推荐 •负责酒旅数据仓库和数据产品建设 •2014年之前 美团网技术部数据组 •参与数据平台搭建 •负责全平台数据仓库和数据产品建设 •2011年 百度电子商务事业部 •有啊商城的开发 •2010年毕业于中科院计算所 Outline •美团点评酒旅业务简介 •基于用户画像的召回策略演进 •基于L2R的排序策略优化 •从海量大数据的离线计算到高并发在线服务的推荐引擎架构设计 周边游频道内推荐 2016Q1 搜索少/无结果推荐 2016Q2 详情页推荐 2016Q3 酒旅交叉推荐 2016Q4 点评旅游推荐 酒店住宿 境内度假 境外度假 大交通 搜索/推荐 数据产品 酒旅数据仓库 数据挖掘 集团数据平台 旅游推荐产品形态 旅游场景下用户兴趣点不明 确，频道内超过50%订单来 自推荐 需求个性化 推荐形式多样 本异地差异大 季节性明显 旅游推荐面临的问题 本异地差异大 常驻城市!=浏览城市 (重庆人浏览北京) 异地用户购买的热销POI (所有非北京人购买的热 销POI) 销量按时间衰减 热销策略 •精确统计POI销量 •Deal -> POI •POI售卖数据不准 •客户端埋点 POI详情页 F_poiid DEAL详情页 F_poiid 下单页 F_poiid 用户画像 常驻 •模型 •LR：预测常驻城市与某维度城市相等的概率 •样本

美团配送系统架构演进实践 阴永俊 美团点评资深技术专家、美团配送业务系统团队负责人 2010年大连理工大学毕业，曾先后任职于Hikvision、人人网，从事过视频 监控、广告、IM、DevOps、中间件、数据仓库等技术方向 2015年加入美团·大众点评，负责配送业务系统建设，重点负责系统质量 保证、运营体系建设、核心系统架构升级等方向，支持美团配送业务发展 美团配送业务介绍 01 Agenda 同城即时配送快送发展 Uber Eats Instacart Swiggy go-jek Doordash 美团外卖 饿了么 点我达 闪送 UU跑腿 海内外掀起一波创业浪潮 美团配送系统：机器与海量骑手协作，服务于全国商家与用户 履约能力 实现平台对运单调度的实时把控，对运单与运力的供需匹配 运营效率 加强对配送骑手的管控能力 提升配送全业务的运营效率，降低成本 履约流程：下单 -> 促使即时配送全面信息化 人工智能 大数据 GPS+GIS 移动互联网 智能手机/APP • 预测供需结构，智能派单调度 • 评估难度、ETA、骑手能力等数据 • 定位越来越精准，地图与导航逐渐成熟 • 实时移动的信息传递通路 • 线下配送的全过程纳入信息环境 1.基础设施不断完善 配送业务全面信息化是必然趋势 2.用户消费升级 数据来源：智研咨询 美团配送系统的技术挑战

缺乏UI、没有灵活的参数、策略略配置，没有预案制定管理理能⼒力力 业务保障平台建设之路路 业务保障平台建设之路路 服务管理理 策略略管理理 预案制定 线上演练 • 降级服务统⼀一注册管理理，通过降 级服务质量量数据从整体反映各应 ⽤用的降级点和可⽤用性保障措施 • 降级策略略集中管理理，通过参数 化、配置化、脚本化⽅方式实现线 上策略略的灵活调整 • 依据服务重要程度，从全局制定 分级预案，对降级点进⾏行行预案编 发现潜在故障，多维度验证预案 有效性，评估系统可靠性，提供 降级策略略、参数调整的优化依据 整体架构 Agent 服务降级注册 降级熔断通知 元数据存储 控制 中⼼心 ETCD ETCD ETCD ETCD 服务注册监听 降级控制中⼼心 元数据 TurboMQ 熔断降级监听 Application Application Application SDK 熔断降级接⼊入 熔断 降级 流控 隔离 实时策略略推送 数据采集 应⽤用管理理 策略略管理理 流控管理理 预案管理理 指标管理理 监控告警 数据⼤大盘 脚本开发 ETCD管理理 故障演练 业务保障管理理后台 应⽤用JVM进程 故障动态注⼊入 Attach 故障注⼊入 指标聚合查询 熔断降级计算（Flink） ⽇日志中⼼心 KAFKA 数据采集、计算、存储 指标（HBase） 指标明细（ES）

多团队协同的分布式环境下，不仅环境“重”，而且外部的服务是别的团队开发 的，你很难得到一个稳定、快速的外部服务提供环境，在此背景下进行功能/接口 调测存在如下困难： 开发依赖重 联调成本高 变动把控困难 拆 应用拆分 数据拆分 团队拆分 分布式服务 API Gateway 分布式文件 分布式缓存 分布式消息 DB Cluster 连接 序列化 路由 负载均衡 … 问题示例 1. 我依赖一个 依赖的远程服务逻辑发生变化了，但负责它的团队没有通知到 我，结果上线后直接导致生产事故。 5. 我和其他团队共用一套分布式缓存服务，为了防止数据覆盖， 我只能和别人轮流排队上线调试，我等了一天，结果只能用一 个小时。 6. 我写了个消息Consumer，布到线上准备测测，结果，别人的消 息先到了，一下把我的预置数据全搞乱了… 7. 我的开发机性能还行，我想自己装一套依赖环境提高开发调测 效率，结果消息服务、缓存服务、服务框架装完一启动，80% mock能力启用时，服务容器初始化期间将加载mock数据文件到内存中，每个服务请求将和mock数据的入参定 义进行比对，满足（静态匹配 或动态匹配）规范的请求，直接用mock数据的出参定义作为服务调用的结果。 应用无感知 无需修改应用代码，单元测试代码中也无需添加任何的mock语句。 服务 调用 Invoker … Remote Call 负载均衡 策略 Runtime Mock数据文件 远程服务 Mock配置

健康 水站 盛丰 物流 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 背景－海尔大数据总体规划 实时计算平台框架 存 储 服 务 实时数据采集框架 实时计算框架 离线计算框架 数据可视化框架 数据产品1 数据产品2 数据产品N 可选的开源技术 Fluentd Flume Apollo Chukwa Sqoop DataX MySQLStreamer Flink Ganglia Sqoop zeppelin Saiku Caravel CBoard Nagios 实时数据采集技术选型要求 • 完整 • 低延时 • 不影响业务系统性能 代码埋点： • 优点：采集能力强 • 缺点：时间、人力成本大 实时数据采集－数据如何获取？ 可视化埋点： • 优点：成本低，速度快 • 缺点：行为记录信息少，支持的分析方式少 • Flume 接收的event数 • Channel : Channel中拥堵的event数 • Sink : 已经处理的event数 Flume监控 日志数据获取实践 入库 解析 收集 采集 插码 实时数据采集新要求 业务系统无法配合修改，怎么办？ CDC的几种方法： • 触发器 • 时间戳 • 全表比对 • 日志对比 Change Data Capture（CDC）

拆成微服务 微服务架构的九⼤大特征 •通过服务进⾏行行组件化 •围绕业务能⼒力力组织 •做产品⽽而不不是做项⽬目 •智能端点与傻⽠瓜管道 •去中⼼心化地治理理技术 •去中⼼心化地管理理数据 •基础设施⾃自动化 •容错设计 •演进式设计 可视化能帮我们什什么 掌握系统业务 明确系统边界 ⼩小步改造系统 可视化的认识遗留留系统 C4模型、⽤用户画像、⽤用户旅程 C4模型系统架构可视化 明确服务的范围 明确核⼼心模型 明确服务包含的数据表 可视化的拆解遗留留系统 微服务架构、绞杀模式、代码依赖分析、数据库依赖分析、 遗留留系统拆解评分表、降⻰龙⼋八步 庖丁解⽜牛拆解的最⾼高境界 了了解⽜牛的⽣生理理构造 避开筋腱⻣骨节交错的组织 从⻣骨节的缝隙下⼿手 ⼗十九年年⼑刀依然锋利利 再看⼀一眼微服务架构 我们要做应⽤用代码拆分 我们要做数据库拆分 绞杀者模式 ‣“绞杀者模 与Intellij或Eclipse相 结合，实时查看依赖， 指导拆解过程 已可视化 数据库依赖模式 模块A Data Mapper /ORM 相关联但不不属于 模块A的表 模块A Data Mapper /ORM 属于模块A的表 以模块(java包)为基本单位，从数据库依赖的⻆角度看，有两种模式： 属于模块A 的表 扫描数据库依赖 UserMapper.java UserMapper

海海量量数据 设计思路路 搜索框架 报价引擎 待解问题 系统诉求 • 全⽹网价最低 • 航线报价最全 • 实时性最好 • 产品最丰富 • 预定最流畅 ⾯面临问题 航班舱位时刻变动 供应商规则调整密集 航司政策各有不不同 供应商的office权限不不⼀一致 运价规则变化繁多 GDS数据成本不不菲 低价缺失 报价不不全 变价 海海量量数据 • 规则量量 App WWW Touch 分销 Cache Redis MQ MQ 航班数据 运价数据 应⽤用层 聚合层 报价源 基础数据 搜索框架 遇到问题 解决⽅方案 • 报价数量量多，内存问题 • 报价源多，不不稳定 • 响应时间要求苛刻 • 搜索条件有热点 • 缓存报价不不准 • 尽量量⽤用原⽣生数据类型，编码 • 回数⽐比例例，异步搜索更更新 • 分批回数 • ⼀一致性哈希，负载均衡 • 保持顺序⼀一致性，如果先删后插变成 先插后删，数据会不不⼀一致 • 数据最终⼀一致 • 系统⾼高可⽤用 报价引擎 — 组织索引 北北 京 | 上 海海 成 都 | 杭 州 ⼴广 州 | 郑 州 南 宁 | 天 津 … 索引库 DB Sync 规则库 供应商 A 供应商 B 供应商 M … 报价引擎 — 数据同步 Pipeline Canal 解析 拆分