数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • … 数据与计算的分片 • 哈希分片 - 简单、均衡 - 扩容复杂、易用性差 - 一致性哈希、虚拟节点 • 按范围、数据量分 - 使用简单 - 需要管理元数据 - 中心化与去中心化 元数据管理 • 去中心化 - P2P技术 - 潜在的一致性问题 - 能管理的元数据有限 • 中心化 - 设计实现简单 - Master节点易成为瓶颈 NameServer Cluster 故障容忍 • 设备都是会坏的 - 假设的服务器MTBF是30年 - 搭建一个1万台服务器的系统 - 每一两天就坏一个 • 典型数据中心 - 过热：5分钟内数千台机器宕机 - 供电异常： 500~1000台机器突然消失 - 机架晃动： 几十台机器出现50%丢包 - 交换机故障： 几十台机器突然消失 - 磁盘、单机故障 • 通过冗余应对故障 一个典型的数据处理场景 最底层的仲裁者 - 不能依赖ZooKeeper等系统选主 - 分布式的双主问题只从存储系统解决 这些设计给BFS带来哪些优势? HDFS BFS 名字节点 扩展方式 联邦式 分裂的目录树 分布式 统一的目录树 宕机恢复时间 分钟级 秒级 外部依赖 ZooKeeper & QJM 无 开发语言 Java C++ Q&A • 欢迎参与BFS的开发 • https://github.com/baidu/bfs

•Normalize? •召回策略特征化 •销量拆分本异地 •User-POI行为：实时/长期 •GeoHash热销 •POI CF •特征选择 •特征在每棵树每个节点的信息增益之和 特征工程 •特征分析 •分本异地统计转化率、销量 •天气 •特征监控 •覆盖率 •值域范围 •分布异常 特征 coverRatio numValid 参考值 监控值 波动率 参考值 监控值 033357 0.948812 13447 662 0.950770 模型训练 •模型训练 •单机VS分布式 •目标函数：binary:logistic •过拟合VS欠拟合 •样本大小&树的棵数 •样本和特征随机采样 •模型复杂度：max_depth，min_child_weight •通用离线训练工具 •流程抽象化、组件化 •提供公共组件，支持定制组件 效果评估&线上迭代

如何区分应⽤用服务和领域服务 应⽤用服务（很薄，没有业务逻辑） 领域聚合A 领域聚合B 领域聚合C 领域服务 领域服务 领域服务 X 领域服务之间最好不不要相互直接调⽤用 使⽤用什什么架构 六边形架构为什什么是六条边 领域故事中的对象怎么对应到架构上 命名 OrderController CreateOrderCommand CreateOrderApplication QueryStockService Then：订单⽆无法成功提交，提示⽓气泡“库存数量量不不够，仅剩X件” 需要拆分时 坚持使⽤用事件进⾏行行服务间交互 Mediator拓拓扑架构 Broker拓拓扑架构 打开冰箱，塞进⼤大象，关上冰箱 04 把⼤大象塞进冰箱分⼏几步 把需求落地需要⼏几步 把领域故事转换成代码 转码 ⽤用事件⻛风暴暴划分业务边界 划界 ⽤用实现细节编写领域故事 透视 创建订单服务收到命令后，会把创建订单命令 转换成订单，然后调⽤用订单仓库进⾏行行保存，保

按照行业钢筋平法规则，基于构件剖面描述钢筋布筋的模型  基于业务用例识别业务对象 • 截面多边形 • 箍筋 • 纵筋 • 弯钩 • 端头 基于业务对象的钢筋模型 • 不同构件归纳抽象 • 分析业务对象及其关系 • 识别聚合、实体、值对象 柱截面钢筋模型 压顶截面钢筋模型 人防截面钢筋模型 截面钢筋 截面多边形 点筋 截面钢筋 规格 端头 弯钩 规格 线筋 位置 位置 标高 标注 标注 …... 重新定义边界后的截面钢筋模型 • 检视模型中聚合、实体、值对象的关系 • 检视模型边界 柱截面钢筋模型 压顶截面钢筋模型 人防截面钢筋模型 截面钢筋 截面多边形 点筋 截面钢筋 规格 端头 弯钩 规格 线筋 位置 位置 标高 标注 …... 提炼规则后的钢筋模型 • 显式业务规则：保护层厚度=截面边线到钢筋的距离 • 隐含业务规则：箍筋与纵筋位置始终相切

04 DDD与RUP 4+1视图 领域的边界 整洁架构 六边形架构 微服务架构 领域驱动架构的演进 经典的DDD分层架构 经典的DDD分层架构 经典的三层架构 避免贫⾎血模型 与基础设施的解耦 与基础设施的解耦 前后端的解耦 引⼊入应⽤用层 基础设施层的本质 DDD与C4模型 C4模型 分层架构 六边形架构 DDD与RUP 4+1视图 RUP 4+1 视图 RUP

存储节点Failover，越快越好？ • 数据补全对业务影响 • 机器宕机五分钟，数据补全两小时 节点升级，先切走流量再操作？ • 节点流量只能切到有其他副本的节点 • 升级后的节点缺少升级期间的写入 Cellar—节点高可用 Cellar—节点高可用 • 秒级容灾 无数据迁移 • 节点静默升级 中心节点 A节点 1分片主 2分片备 B节点 1分片备 2分片主 分片1复制 回写增量log 分片2复制

流量应对策略 04 关于监控 第一部分 宜人贷发展历程 宜人贷发展历程 2011.12 宜人贷成立 2012.3 网站上线 2013.9 移动APP上线 2015.12 纽交所上市 2017 财富管理平台 网贷平台 YEP 业务� 多元化发展� [部分] 网贷平台 财富管理平台 YEP 第二部分 移动后台架构演进 初创阶段 监控 配置 报警 金融产品 Yiri 财富圈 首页 feed 活动中心 微信 WAP 4G 积分商城 ... ... 账户中心 迅速响应业务变化 before after 第三部分 流量应对策略 流量≈并发 更强的machine 更多machine(cap) 限流降级 Concurrency is about dealing with lots of things 抓大不能放小[细节决定成败] 线程阻塞>300 中间件内存管理、线程状态，连接状况 db的io，慢sql，索引，join等 代码review，数据结构，日志 GC TCP连接 第四部分 关于监控 如果没有监控… 盲 人 骑 瞎 马 ， 夜 半 临 深 池 监控体系 } zabbix，datagod, prometheus… apm工具，商业产品 期望更轻量、无侵入性的业务监控

— 数据同步 Pipeline Canal 解析 拆分 分配 ⼊入队 CAN-NNG … … … PEK-SHA DataSync Diff ZK 按 供 应 商 分 表 按 航 线 分 表 报价引擎 — 同步系统⾼高可⽤用 DB主 DB备 Canal 主 Canal 备 DataSync DataSync DataSync DataSync DB主 剪枝 • 空间换时间 • 缩短对象驻留留内存时间，减少gc次数，优化单机吞吐 • 数据交换采⽤用protobuf + gzip处理理 • jit、预热 回顾 • ⽔水平分层，纵向分渠道，良好的扩展性 • 实时计算 + 阶梯式缓存，成本与报价新鲜度的权衡 • 闭环系统 • 索引库数据同步 • 本地缓存的设计，更更新策略略 • 缩减对象内存 • ⼀一致性哈希负载均衡

比对结果 CI构建流程 response request 应用服务综合mock能力 在实际应用场景中，应用所依赖的服务往往很分散： 一部分依赖服务从本机的Runtime环境即可获取， 一部分需要从协同团队的远程开发机上临时获取（联调模式）， 一部分服务可能还未完成开发并发布，需要通过mock机制进行模拟。 我们需要综合利用前面所介绍的各种调测机制来保障日常开发中对应用服务的正常调测：

吃得了苦 卖得了萌 受得了委屈 个人的几点有效实践 锻炼身体，保持良好的体力和心态 每天写管理日志，如实记录，定期反思 保持学习，每天至少预留30分钟时间思考,30分钟时间学习 定期的一对一会谈 心态、视野、行动 不同公司不同阶段有不 同的关注点和解决方法 ，没有标准答案，思考 并实践，找到最合适自 己的路 文化 管理 组织