发明专利，并多次受邀出席技术会议，做技术专题分享。 目录 Ø 分布式系统面临的高可用问题 Ø 设计和验证高可用分布式系统的工具与方法 Ø 设计和验证高可用分布式系统的案例分享 Ø 高可用系统的最佳实践总结 无状态分布式系统的高可用问题 处理消息的服务节点可以随机选择 不必处理数据复制和同步的问题 系统容量和高可用能力可以同步提升 服务节点可以随意迁移，不必固定 IP 和存储 有状态分布式系统的高可用问题 •Something good will eventually happen •e.g. is able to receive message 目录 Ø 分布式系统面临的高可用问题 Ø 设计和验证高可用分布式系统的工具与方法 Ø 设计和验证高可用分布式系统的案例分享 Ø 高可用系统的最佳实践总结 依据声明式自愈的理念设计系统 有一个统一的状 态持久化接口， 所有有状态模块 通过统一的接口 对应统一的对象 定义变量 2. 定义所有可能的初始状态 3. 定义在特定状态下可能有哪些状 态转换 计算 100/x 的程序： x = 100 / x; TLA+的应用场景——验证系统设计的正确性 TLA+工具会遍历所有可能的状态验证系统的正确性 分布式系统中有哪些异常情况需要模拟？ 运行时可能出现的异常 Applications Runtimes Middleware OS Virtualization

落地优秀实践，守护架构，降低微服务 研发学习成本 企业研发⼯工具链⽣生态 敏敏捷协作平台 部署发布 平台 持续交付流⽔水线平台 ⾃自动测试 平台 微服务系统设计，研发与运维管理理 微服务 /API设 计 代码 ⽣生成 契约 服务 架构 演进 微服务 运维治 理理 部署架 构 设计 统⼀一协作平台 研发⼯工具连 为某企业做的微服务平台规划 部署架构设计 服务 更更历史 ⽣生产环境 部署架构设计 测试环境 部署架构设计 绘制部署架构，组合服务和 部署元素 部署架构变更更历史 推荐部署架构（远期规划） 微服务开发框架定制 代码架构⻛风格选择 资源配置 数据库版本管理理 是否⾃自动⽣生成API/ Dockerfile/流⽔水线 ⽣生成 代码 到GIT 仓库 架构分析- 从契约反向识别实现与模型差异 架构分析- 架构Fitness

Encoding？周几/小时/city id •Normalize? •召回策略特征化 •销量拆分本异地 •User-POI行为：实时/长期 •GeoHash热销 •POI CF •特征选择 •特征在每棵树每个节点的信息增益之和 特征工程 •特征分析 •分本异地统计转化率、销量 •天气 •特征监控 •覆盖率 •值域范围 •分布异常 特征 coverRatio numValid •目标函数：binary:logistic •过拟合VS欠拟合 •样本大小&树的棵数 •样本和特征随机采样 •模型复杂度：max_depth，min_child_weight •通用离线训练工具 •流程抽象化、组件化 •提供公共组件，支持定制组件 效果评估&线上迭代 •离线评估 •AUC •logloss •在线评估 •ABTest：按UUID分流 •线上迭代 •模型更新 训练集表现 测试集表现 问题 <期望目标值 <期望目标值 Underfiting >期望目标值 接近或略逊于训练集 合适 >期望目标值 远差于训练集 Overfiting 模型调试 模型Debug工具 从海量大数据的离线计算到高并 发在线服务的推荐引擎架构设计 猜你喜欢 筛选扩大召回 详情页推荐 搜索少/无结果推荐 …. 应用 场景 层 推荐 服务 层 召回 过滤 排序 POST Rerank

先⾯面向应⽤用级升级
 * 应⽤用实施升级
 * 聚焦性能做 case
 * 补⻬齐设施能⼒力力
 * 积累业务升级改造经验
 2. 架构级升级
 * 规模化后，架构级别收益会显现 业务架构升级case 的选择策略略 1. 集群/流量量⼤大/核⼼心有认知
 * ⽅方便便看升级改造效果 2. 瓶颈 match 升级
 (如 CPU 压不不满、IO较多、⾼高Load)
 * 可以确定获得⼤大⽐比例例收益 4. 业务压⼒力力不不⼤大
 * 有业务升级改造资源投⼊入 实施难点和策略略 • 团队 • 缺乏技能 • 缺乏意识 • 业务 • 缺乏动⼒力力 • 技术 • 缺乏⼯工具 • ⾃自上⽽而下 • 组织保障 • 全员宣导 �� Masters Masters ������ ��� �� �� Masters �� �� Masters Masters

getUse rById USER N/A ⽤用户服 务 com.xx x.User Mappe r getUse rProdu cts User Product 数据库依赖统计表 使⽤用⼯工具 扫描 UserMapper.xml 已可视化 拆解该从那个服务开始？ 业务 复杂度 需求变 化频率 使⽤用 频度 系统集 成关系 数据迁 移量量 代码改 动量量 拆解后 遗留留系统中还会包含前端代码和存储过程，也需要通过代码依 赖分析和数据库依赖分析进⾏行行拆解 4. 服务间依赖不不⼀一定只有REST API，可以通过异步消息、数据 冗余等⽅方式，根据实际情况进⾏行行选择 5. 部署新微服务后，推荐让新⽼老老系统并⾏行行⼀一段时间，通过分流让 少部分流量量进⼊入新微服务，确保改造更更加安全 总结 C4模型 领域驱动设计 事件⻛风暴暴⼯工作坊 Structure

多业务线的共性与差异：专送、代理、众包⋯ • 运营复杂度高：定义科学的订单供给与运力结构，并精准调控 • 安全管理：用户安全、商家安全、骑手安全 履约SLA要求高，重线下业务运营 配送系统的技术定位与思路 初期造工具，解决能不能 长期造壁垒，实现降维打击能力 从支撑业务到驱动业务 美团配送业务介绍 01 Agenda 02 MVP阶段 03 规模化阶段 04 精细化阶段 MVP阶段 业务从零到一 快速迭代、业务试错 配送状态 调度中心 （工程框架） 需求池 运力池 计算平台 策略平台 （算法策略） 算法框架 分析平台 经营规划 （目标） 盈亏 绩效 奖惩 业务管理 （过程） 运营工具 任务系统 骑手运营 （人） 任务 活动 等级 结算平台 （钱） 清算 结算 对账 接单网关 标准API 容灾 容灾 API管理 标准API APP运维 多链路 配送状态 调度中心 （工程框架） 需求池 运力池 并行计算 策略平台 （算法策略） 算法框架 分析平台 经营规划 （目标） 盈亏 绩效 奖惩 业务管理 （过程） 运营工具 任务系统 骑手运营 （人） 任务 活动 等级 结算平台 （钱） 清算 结算 对账 接单网关 标准API 容灾 容灾 API管理 标准API APP运维 多链路

人脸识别登录为主 • 依托公安部门互联网可信身份认证体系 • 用户登录后，业务系统不再要求用户登录 9、前端开发 -- 封装公共组件 ，磨刀不误砍柴工 1、封装DGD-SDK公共组件 2、合包工具 3、Taro框架预研 10、API网关 – 限流保护已有系统、提升访问安全性 • 1.业务应用A 向网关申请接入，网关分配paasid、token给业务应用； • 2.业务应用A 使用pa -测试-上线… 2.产品研发，需考虑的维度：产品可扩展，如多端支持（小程序端、APP端、一体机端）； 功能可扩展，如支持个人中心、证照、办事、资讯、特色专区等;可移植、易安装等； 及衍生的支撑工具系统，如运营数据分析； 产品视角 目录 一、移动政务应用服务现状与痛点 二、一个特殊的移动政务应用项目 三、政务服务小程序平台研发过程 四、政务服务小程序平台架构演化 五、政务服务系统架构小结与思考 18、小结要点2– 前后端分离、尽早确定开发规范 19、小结要点3– 云开发、事半功倍 20、小结要点4 – 重视安全、从设计开始考虑系统安全 21、小结要点5 – 敏捷研发工具TAPD 1.TAPD是一个SAAS化的敏捷管理工具，本项目、及合作商项目的开发管理, 均使用TAPD( www.tapd.cn) 2.使用功能包括：需求管理、文档管理、缺陷管理、Wiki、Gitlab源码、企业微信集成等

大规模数据的传输和收集 Kafka web管理界面： •Kafka Web Console •Kafka Manager •KafkaOffsetMonitor •Uber开源Kafka监控工具--Chaperone Kafka web监控管理界面 流式计算可选方案 仅流处理框架: • Storm • JStorm • Samza • Heron 混合框架: • Spark 海尔实时计算平台技术选型与实践 平台监控 • Ganglia • Nagios 海尔实时计算平台技术选型与实践 开源技术改造经验－数据可视化 数据可视化目标 目标：为公司所有数据分析类项目，提供数据洞察和展示工具。 数据可视化可选方案 • Caravel • Saiku • Zeppelin Zeppelin主要特性 主要特性： • 数据提取 • 数据发现 • 数据分析 • 数据可视化和协作

TCP连接 第四部分 关于监控 如果没有监控… 盲 人 骑 瞎 马 ， 夜 半 临 深 池 监控体系 } zabbix，datagod, prometheus… apm工具，商业产品 期望更轻量、无侵入性的业务监控 cat，elk，zipkin等 趋于个性 具有共性 中间件/缓存/数据库/代理/MQ... OS/网络/存储/防火墙... 应用/框架/业务逻辑/系统间调用 轻量、高效、稳定，0侵入 日志监控平台 微信 微信/邮件/短信 高可靠,高响应 高性能 灵活配置 谈点感想 感想 01 微服务≠spring cloud≠容器化≠RPC 工具/框架是手段而不是目的 02 优秀的系统=� 适应性架构设计(指导)+超强工程能力(落地) 03 04 技术要紧贴业务，接地气 技术是手段而不是目的，生产力适应生产关系，技术业务相互促进共同发展