⾼性能⾼可⽤机票实时搜索系统 去哪⼉⺴ 梁启康 议题 系统诉求 海海量量数据 设计思路路 搜索框架 报价引擎 待解问题 系统诉求 • 全⽹网价最低 • 航线报价最全 • 实时性最好 • 产品最丰富 • 预定最流畅 ⾯面临问题 航班舱位时刻变动 供应商规则调整密集 航司政策各有不不同 供应商的office权限不不⼀一致 运价规则变化繁多 GDS数据成本不不菲 • 航线搜索+航班搜索：3k+qps • 每秒计算产品数：搜索qps * 航班数 * 供应商个数 * 产品个数 = 1500万 + 设计思路路 • 最理理想的⽅方式 • 所有的报价都实时计算，填充好 • ⼀一个巨⼤大的哈希表 • 响应所有渠道价格变动进⾏行行计算 • 快 • 0 变价 设计思路路 CAP BASE 理理论 按需计算 消息驱动 异步 分布式 分级缓存 • 缩短对象驻留留内存时间，减少gc次数，优化单机吞吐 • 数据交换采⽤用protobuf + gzip处理理 • jit、预热 回顾 • ⽔水平分层，纵向分渠道，良好的扩展性 • 实时计算 + 阶梯式缓存，成本与报价新鲜度的权衡 • 闭环系统 • 索引库数据同步 • 本地缓存的设计，更更新策略略 • 缩减对象内存 • ⼀一致性哈希负载均衡 ⼼心得 • 不不同的业务场景，不不同的特征

海尔实时计算平台技术选型与实践 海尔电器－肖云 个人介绍 • 方正电子新媒体开发总监 • 中投视讯研发总监 • 海尔电器资深架构师 公司介绍 海尔 电器 日日顺 物流 贝业 物流 快递柜 。。。 跨境 电商 健康 水站 盛丰 物流 概要 • 实时计算平台背景 • 开源技术选型与实践 • 开源技术改造经验 背景－海尔大数据总体规划 实时计算平台框架 存 储 服 服 务 实时数据采集框架 实时计算框架 离线计算框架 数据可视化框架 数据产品1 数据产品2 数据产品N 可选的开源技术 Fluentd Flume Apollo Chukwa Sqoop DataX MySQLStreamer Canal Scribe ZeroMQ ActiveMQ Logstash RabbitMQ Jafka RabbitMQ Storm zeppelin Saiku Caravel CBoard Nagios 实时数据采集技术选型要求 • 完整 • 低延时 • 不影响业务系统性能 代码埋点： • 优点：采集能力强 • 缺点：时间、人力成本大 实时数据采集－数据如何获取？ 可视化埋点： • 优点：成本低，速度快 • 缺点：行为记录信息少，支持的分析方式少 • Flume 日志收集可选技术 • Fluentd •

美团配送系统：机器与海量骑手协作，服务于全国商家与用户 履约能力 实现平台对运单调度的实时把控，对运单与运力的供需匹配 运营效率 加强对配送骑手的管控能力 提升配送全业务的运营效率，降低成本 履约流程：下单 -> 派单 -> 接单 -> 取货 -> 送达… 业务团队：招聘、采购、物料、培训、薪酬、保险.... 运营团队：运力结构、经营分析、绩效考核.... 客服团队：问题跟进、定责… 基础设施不断升级 促使即时配送全面信息化 人工智能 大数据 GPS+GIS 移动互联网 智能手机/APP • 预测供需结构，智能派单调度 • 评估难度、ETA、骑手能力等数据 • 定位越来越精准，地图与导航逐渐成熟 • 实时移动的信息传递通路 • 线下配送的全过程纳入信息环境 1.基础设施不断完善 配送业务全面信息化是必然趋势 2.用户消费升级 数据来源：智研咨询 美团配送系统的技术挑战 用户 商家 骑手 订单中心 （送什么） 品类 重量 支付状态 运单中心 （配送任务） 运单归属 配送状态 调度中心 （工程框架） 需求池 运力池 计算平台 策略平台 （算法策略） 算法框架 分析平台 经营规划 （目标） 盈亏 绩效 奖惩 业务管理 （过程） 运营工具 任务系统 骑手运营 （人） 任务 活动 等级 结算平台 （钱） 清算 结算 对账 接单网关

代付工资 对外付款 企业理财 企业报销 资金划拨 供应链 … 其他 贷款 理财 供应链 征信 … 数据分析 … 运营后台 用户系统 商户后台 官网 企业网银 个人网银 解决方案 实时监控 业务属性 BUSINESS ATTRIBUTES 实时性、一致性 安全性、中间账户 聚合的复杂性、第三方依赖性 金融系统 The complexity of aggregation LVS-slave Nginx-1 Nginx-2 C2 C3 C4 实时 oltp2 SSS-1 C5 C6 非实时 oltp4 SSS-2 00_Group C7 oltp5 Nginx-3 Nginx-4 C8 C9 C10 实时 oltp6 SSS-3 C11 oltp7 C12 非实时 oltp8 SSS-4 01_Group 应用服务区 CP oltp3 RabbitMq-2 PAIN POINTS 业务3.0痛点 BUSINESS 3.0 PAIN POINTS 业务3.0远景 BUSINESS 3.0 VISION 实时交易环境 非实时交易环境 通 道 A 通 道 B 通 道 C 通 道 D … 通 道 A 通 道 B 通 道 C 通 道 D … 单 笔 代 收 单 笔 代 付 快 捷 鉴 权

命令⻛风暴暴 寻找聚合 什什么是聚合？ 如何寻找聚合？ 聚合是⼀一组相关领域模型的集合 ， 是⽤用来封装业务的不不变性。确保 关联关系紧密的领域模型能够内 聚在⼀一起。 1. 按照事件顺序依次通过提问来分析： • 这个事件会改变的领域模型是什什么？明确 领域模型（简单理理解就是事件中的涉及的 业务名词） • 这个领域模型是否可以独⽴立访问？如果是 就是聚合 • 如果不不能独⽴立访问应该需要通过哪个领域 商户履履⾏行行订单 订单 商品 1. 订单 2. 商品 3. *** 明确服务的范围 明确核⼼心模型 明确服务包含的数据表 可视化的拆解遗留留系统 微服务架构、绞杀模式、代码依赖分析、数据库依赖分析、 遗留留系统拆解评分表、降⻰龙⼋八步 庖丁解⽜牛拆解的最⾼高境界 了了解⽜牛的⽣生理理构造 避开筋腱⻣骨节交错的组织 从⻣骨节的缝隙下⼿手 ⼗十九年年⼑刀依然锋利利 再看⼀一眼微服务架构 Structure101代码依赖分析 可视化代码地图 ⾃自动分析每⼀一层级 包/类之间的依赖⽣生 成可视化表格 Structure101代码依赖分析 具体依赖细节 Structure101代码依赖分析 可以将包/类进⾏行行 ⾃自由组合，形成 容器器，查看容器器 之间的依赖 服务A 服务B 具体依赖细节 已可视化 Structure101代码依赖分析 与Intellij或Eclipse相

•浏览城市 •消费城市：团购、电影、外卖 •接受短信手机号 用户历史行为强相关策略 •热销策略能区分本异地用户差异 •不能对具体用户个性化推荐 •用户一个月内浏览、收藏的 POI/Deal •越实时权重越高 POI/Deal View POI/Deal Collect Kafka POI/Deal View/Collect Bolt Redis Online Service Location-Based策略 •5KM范围内的热销POI •区域购买热门POI •5KM范围内的用户购买的POI •回龙观附近没有POI 协同过滤 •Item CF •基于POI浏览行为 •POI相似度每天离线更新，User浏览POI行为实时更新 •相似度改进：时间序列衰减 •基于用户搜索行为 •基于搜索后浏览POI行为构造矩阵，计算 POI相似度 •User CF •loglikelihood ratio Encoding？周几/小时/city id •Normalize? •召回策略特征化 •销量拆分本异地 •User-POI行为：实时/长期 •GeoHash热销 •POI CF •特征选择 •特征在每棵树每个节点的信息增益之和 特征工程 •特征分析 •分本异地统计转化率、销量 •天气 •特征监控 •覆盖率 •值域范围 •分布异常 特征 coverRatio numValid

公众号采用H5技术，用户办理过程因加载时间长，导致用户体验不 佳。 3、移动政务应用痛点 VS 核心功能 3 少填少报、少跑快办 1 一次认证、全网通办 2 原生体验、 风格一致 4 实时运营、 即时反馈 目录 一、移动政务应用服务现状与痛点 二、一个特殊的移动政务应用项目 三、政务服务小程序平台研发过程 四、政务服务小程序平台架构演化 五、政务服务系统架构小结与思考 势。 6、探索需求 -- 分析可行性，选取合适的需求场景 什么需求适合进入第1版本？ 1.服务对接方式：提供API接口，而非H5页面 2.认证方式：基于后台API方式，而非要求用户再次输入 3.服务类型：属于查询、办理类，而非资讯信息、办事指南 4.服务具有便民、高频特征 帅选出第1版本要接入的百项高频便民事项 典型需求梳理场景 - 残疾人服务事项分析 7、产品设计—淬取政务服务信息要素、以用户为中心的展示 应用平台 小程序 端 APP端 运营数 据分析 一体机 端 1.项目建设，考虑的维度有：需求-产品-前后端开发-测试-上线… 2.产品研发，需考虑的维度：产品可扩展，如多端支持（小程序端、APP端、一体机端）； 功能可扩展，如支持个人中心、证照、办事、资讯、特色专区等;可移植、易安装等； 及衍生的支撑工具系统，如运营数据分析； 产品视角 目录 一、移动政务应用服务现状与痛点

存储系统自带同步 不成熟； 自研组件之间同步 数据同步 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 （单点写，多点读） 用户个性化数据同步、账号等 读写均衡 多主模式 （多点读写） Service Service Service 专线/公网 专线/公网 尽可能减少数据同步 控制同步的大小 专线与公网互相容灾 环形同步路径容灾 Push无状态数据 CRSync异步同步 Service实时同步 北京IDC 合肥IDC 广州IDC 最终一致性 MQ 消息接口 消息状态库 定时补偿 MQ 监控 sdk Service 消息状态上报 调用重试/查询接口 同步消息管理服务

Application Application Application SDK Application Application Application SDK 熔断 降级 流控 隔离 实时策略略推送 数据采集 应⽤用管理理 策略略管理理 流控管理理 预案管理理 指标管理理 监控告警 数据⼤大盘 脚本开发 ETCD管理理 故障演练 业务保障管理理后台 应⽤用JVM进程 故障动态注⼊入 ⽀支持上万次写⼊入操作 • 可信 - Raft算法保证强⼀一致性，Proxy反向代理理模式⽀支持 • 服务数据存储 • 应⽤用、服务元数据、状态数据，etcd、mysql双份存储 • 后台实时监控应⽤用、服务，实时变更更降级策略略 proxy 服务质量量数据采集 业务数据采集 ⽇日志 ⽂文件 应⽤用数据采集 应⽤用数据 ⽅方法数据 执⾏行行结果 执⾏行行耗时 异常数据 … JVM内存 业务数据 SDK数据 ⾃自定义数据 系统数据采集 容器器数据 CPU数据 内存数据 磁盘数据 … ⽹网络数据 采集 Agen t ⽇日志中⼼心 KAFKA 数据处理理 通过本地⽇日志⽂文件，实时采集降级服务质量量数据 ⽇日志 ⽂文件 系统数据采集 容器器数据 CPU数据 内存数据 磁盘数据 … ⽹网络数据 采集 Agen t ⽇日志中⼼心 KAFKA 数据处理理 应⽤用数据采集

百度 搜索基础架构 从百度文件系统 看大型分布式系统设计 自我介绍 • 颜世光, 专注于大规模分布式系统 • 代表作品 - 百度第三代Spider系统 - 百度文件系统BFS - 万亿量级实时数据库Tera - 集群调度系统Galaxy • 个人主页&Blog - https://github.com/bluebore - http://bluebore.cn 提纲 • 百度文件系统简介 • 分布式系统设计实践 • 总结与致谢 百度的集群环境 • 单个集群通常几千台机器 • 百度文件系统(BFS)、集群调度系统（Galaxy）、分布式协 调服务（Nexus）是核心服务 • 实时任务与批量任务混合部署 Galaxy master BFS master Nexus lock service 分布式软件栈中的BFS The Baidu Stack 网络通信框架Sofa-pbrpc