QCon北京2018-《美团配送系统架构演进实践》-阴永俊单接口、核心依赖降级 • 业务大盘、Trace • 容灾预案集成到系统 核心依赖 端到端 服务SLA分级 与 场景化 核心依赖 -> 端到端 -> 场景化 的监控与容灾预案 规模化阶段:容灾能力 快速起量,系统质量、研发效率问题凸显 规模化阶段:系统容量 静态评估 工具辅助评估 场景压测 全链路压测 垂直拆分 水平拆分 自动归档 冗余备份 容量评估由人到系统 容量提升分阶段实施 容量提升分阶段实施 快速起量,系统质量、研发效率问题凸显 规模化阶段:并行计算能力 计算能力是智能调度的关键! • 外卖场景下的配送计算能力要求 快速起量,系统质量、研发效率问题凸显 规模化阶段:提升各类运营系统迭代效率 元数据 管理 表单 管理 样式 管理 规则 引擎 动态表单 流程平台 �������� ������ ������ lu�K����/��� g��K����� 打磨各类位置与导航策略场景 导航 算法特征 效果验证 产品技术创新驱动业务发展 精细化阶段:仿真平台 目标:构建线下模拟沙盘 思路:基于线上真实数据对配送全流程构建模拟场景,并对事件、数据模拟 仿真报告可视化 产品技术创新驱动业务发展 精细化阶段:特征平台 版本管理:缩短实验周期,灵活配置实验规则 实时特征:特征准实时加工、离线特征实时转化 离线特征:特征快速开发、验证、上线能力 场景 产品技术创新驱动业务发展0 码力 | 31 页 | 15.26 MB | 1 年前3
美团点评旅游推荐系统的演进详情页推荐 2016Q3 酒旅交叉推荐 2016Q4 点评旅游推荐 酒店住宿 境内度假 境外度假 大交通 搜索/推荐 数据产品 酒旅数据仓库 数据挖掘 集团数据平台 旅游推荐产品形态 旅游场景下用户兴趣点不明 确,频道内超过50%订单来 自推荐 需求个性化 推荐形式多样 本异地差异大 季节性明显 旅游推荐面临的问题 本异地差异大 超过30%订单来自异地请求 常驻城市!=浏览城市 跟团游、景酒套餐关联多个景点 ,不适合按POI样式展现 季节性明显 冬季温泉订单占比超过20%, 而夏季不到7% 需求个性化 用户人群 时间地域场景 内容形态 基于用户画像的召回策略演进 热销策略 基于Deal所在城市统计分城市热销 分类 场景 召回策略 本地需求 常驻城市=浏览城市 (北京人浏览北京) 当地用户购买的热销POI 异地需求 常驻城市!=浏览城市 (重庆人浏览北京) 异地用户购买的热销POI 从海量大数据的离线计算到高并 发在线服务的推荐引擎架构设计 猜你喜欢 筛选扩大召回 详情页推荐 搜索少/无结果推荐 …. 应用 场景 层 推荐 服务 层 召回 过滤 排序 POST Rerank 分流 日志收集 Thrift 接口 核心 数据 层 城市热销 路由调用 后台管理 场景配 置 AB配置 Diff 数据维 护 Query CF 用户行为 Location- Based Item0 码力 | 49 页 | 5.97 MB | 1 年前3
微服务和Service Mesh 在多个行业落地实践账户 审计 CICD (开发流程管理) 代 码 检 出 代 码 编 译 镜 像 构 建 集 成 测 试 自 动 部 署 流水线管理 测试平台 (集成,场景测试) 单接口 用例 场景 用例 执行 集 定时 执行 接口 Mock 覆盖 率 生产镜像仓库 测试镜像 仓库 历史 管理 批量 导入 接口 监控 www.163yun 部署 测试平台 (集成,场景测试) 单接口 用例 场景 用例 执行 集 定时 执行 接口 Mock 覆盖 率 生产镜像 仓库 测试镜像 仓库 历史 管理 批量 导入 接口 监控 生产集群 镜像 同步 镜像拉取 自 动 部 署 手 动 触 发 代码到线上全流程管理 互联网化接口测试,场景测试 灵活执行集:冒烟,日常,回归0 码力 | 39 页 | 3.06 MB | 1 年前3
领域驱动设计&中台/可视化的遗留系统微服务改造C4模型系统架构可视化 系统上 下⽂文图 容器器图 代码图 组件图 已可视化 ⽤用户画像和旅程系统功能⽤用户可视化 ⽤用户画像 ⽤用户旅程 已可视化 突出⽤用户信息,诉求和价值体现 还原业务场景 可视化的划分遗留留系统 领域驱动设计、事件⻛风暴暴⼯工作坊、服务画布 好的设计 低耦合 如果做到了了服务之间的松耦 合,那么修改⼀一个服务就不不 需要修改另⼀一个服务。⼀一个 松耦合的服务应该尽可能少 为什什么⽤用事件? 如何进⾏行行事件⻛风暴暴? 事件:领域专家关⼼心的,在业务上真实 发⽣生的事 例例1: 客户订单已提交 例例2: 对账已完成,每⽉月末夜间触发 1. 确定要进⾏行行事件⻛风暴暴的业务场景,场景需要单 ⼀一⽽而且清晰; 2. ⽤用“XXX已XXX”的格式在橙⾊色便便利利贴上写下事 件,⼯工作坊参与者需要对事件定义达成⼀一致; 3. 根据时间顺序把事件便便利利贴贴到⽩白板上; 4. bug,所以需要通过限界上下⽂文来明 确定义领域模型的范围和职责。 为什什么使⽤用限界上下⽂文? 限界上下⽂文可以分为限界和上下⽂文两个词 来理理解,限界:指⼀一个界限,具体的某⼀一 个范围; 上下⽂文:场景、环境;所以限界上下⽂文是 在某个场景或环境下的业务边界。该边界 就是业务上的职责。 1. 基于前⾯面输出的聚合和领域模型, 判断这些领域模型要解决的业务问题, 这些问题是否为同⼀一个问题,如果是 则放到⼀一个限界上下⽂文中(⼀一个问题0 码力 | 54 页 | 3.85 MB | 1 年前3
分布式异地多活架构实践之路数据同步 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法异地多活解决方案 • 实际应用效果 • 未来规划 业务特点分析 业务分类 业务举例 业务特点 场景归类 核心业务 皮肤、表情、资源、广告、应用墙译等 读多写少 主从模式 (单点写,多点读) 用户个性化数据同步、账号等 读写均衡 多主模式 (多点读写) 分布式日志收集等 写多读少 汇聚模式 理平台、官网、论坛等 N/A 本地模式 (单点读写) 设计思路 核心业务异地多活 精准流量调度 数据同步 多元化 最终一致性 依赖关系优化 配套系统支撑 主 从 多 主 汇 聚 混 合 场景区分 封装屏蔽细节 容量合理规划 当前总体架构 合肥 北京 广州 HTTPDNS 智能DNS GSLB GSLB Servers Servers Servers MS MS GSLB kafka Web Web 专线/公网 容量合理规划 客户端 北京 50% 合肥 50% 广州 50% 1 1 2 冗余机器与其他系统复用,弹性伸缩 配套系统支撑 测试场景覆盖 灰度发布上线 机房流量调度 监控覆盖 故障模拟演练 数据恢复 配置平台 服务化平台 日常运维 大纲 • 产品发展中遇到的问题 • 异地多活存在哪些技术挑战 • 讯飞输入法解决方案0 码力 | 36 页 | 1.66 MB | 1 年前3
海尔实时计算平台技术选型与实践Kafka • Jafka • RocketMQ • RabbitMQ • ActiveMQ • Apollo 消息队列使用场景及选型 事务可靠性场景(ActiveMQ/RabbitMQ/RocketMQ): • 重要业务数据的异步处理 吞吐量优先场景(Kafka/RocketMQ): • 大规模数据的传输和收集 Kafka web管理界面: •Kafka Web Console0 码力 | 41 页 | 3.21 MB | 1 年前3
刘道平-从0到1,移动政务应用小程序系统架构演化更新麻烦,审核周期长 服务触达 利用微信载体,消息通知更简单 APP消息,打扰多,用户遗漏概率大 拓展性 程序包小,可以关联调转 无大小限制,调转较难 智能化服务能力 微信自带组件,对接更容易 需根据场景单独对接,如人脸识别、支付等 产品自主性 需依托微信平台 完全自主可控 数据安全性 微信前端数据通过HTTPS传输 全业务流程数据传输监控 使用路径 微信端二级应用 一级入口 从技术的角度来 势。 6、探索需求 -- 分析可行性,选取合适的需求场景 什么需求适合进入第1版本? 1.服务对接方式:提供API接口,而非H5页面 2.认证方式:基于后台API方式,而非要求用户再次输入 3.服务类型:属于查询、办理类,而非资讯信息、办事指南 4.服务具有便民、高频特征 帅选出第1版本要接入的百项高频便民事项 典型需求梳理场景 - 残疾人服务事项分析 7、产品设计—淬取政务服务信息要素、以用户为中心的展示0 码力 | 35 页 | 15.60 MB | 1 年前3
付钱拉金融云系统架构演进和最佳实践状态类(响应码、交易状态、退款状态、商户状态) 耗时类(交易总时长、分段时长、SQL耗时、代码耗时) 统计类(订单量异常预警、非法IP预警、交易额过大) 网络异常(单通道和多通道、不同的分布场景) 撒网与实时监控 REAL-TIME MONITORING 可视化运营 VISUAL OPERATION 优先恢复 蓝绿部署 提前准备 服务降级 kill 慢SQL、摘节点、线 程栈和内存堆现场保留 SQL优化目标必须满足range、ref或者consts,不可以是all类型,避免慢SQL 导致连接数耗尽影响业务功能 7.代码书写中考虑MySQL中共享锁和排它锁场景,预防产生死锁 8.代码中不建议使用@Transactional,因为一般业务场景中用不到,它影响数 据库性能并且多个操作可能在并发下导致数据库死锁 9.数据库单表达到一定数据量级需要做分库分表或者冷热数据隔离,避免业 务增加带来的性能问题0 码力 | 35 页 | 6.05 MB | 1 年前3
ServiceComb 开源微服务框架技术演进之路 巨震myns sidecar-injector=enabled 用户案例 原则 • 架构稳定,有可持续发展、演进能力 • 支持多语言、传统微服务和新兴ServiceMesh微服务 架构混合场景部署 • 有大型成功商用案例 • 无商业强绑定,高自由度,企业自主可控 • 完整的生态栈,涵盖开源主流微服务运维和安全领域 • 低学习成本,有编程语言基础即可快速上手 华为开源 Java微服务应用 ServiceComb 统一服务治理中心 ServiceComb SDK Java应用 PHP应用 0侵入改造 支持多种开发语言 解决Java和PHP共存场景 传统与新兴微服务化方式共存 混合部署、协同治理 丰富的监控运维 细化到业务层面的微服务监控运维 遗留应用0改造 支持0侵入业务代码,使用成本低,对0 码力 | 20 页 | 861.58 KB | 1 年前3
异构系统链路追踪——滴滴 trace 实践日志数据处理 日志应用 Trace机制 —传递trace context Trace落地—结合滴滴情况落地 Trace应用 —调用链路跟踪 Trace应用 —调用链路跟踪 Trace应用 —场景还原 ③ 时间顺序还原操作序列 ① 业务id和traceid关联 ② 根span具有业务代表性 ④ 可下钻到具体trace 透传通路 存储检索优化 能力建设 规划 Thanks0 码力 | 19 页 | 3.00 MB | 1 年前3
共 22 条
- 1
- 2
- 3













