通道 交易拆分 业务2.0痛点 BUSINESS 2.0 PAIN POINTS 业务野蛮发展 交易量高速增加 并发请求增加 交易响应速度过慢 数据库单表 数据量剧增 模块耦合度高 开发效率低下 … 思考 THINKING 解耦 异步化 扩容 排队 队列 缓存 冷热数据隔离 读写分离 分库分表 容灾 限制 池化 ACK ... 变化 VARIETY THAN THE USER 03 最佳实践-如何早于用户发现问题 如何 早于用户 发现问题 如何让开发人员 对自己的代码 更加有安全感 ？ 这些困惑的体现是什么呢？ 开发人员如何提高代码质量，减少频繁迭代产生的bug？ 线上环境突发事故，第一时间如何决策减少事故影响范围？ 开发人员排查问题速度过慢？ 随着业务的增长，问题越来越多，第一优先级需要解决什么？ 系统突然CPU、内存利用率暴增，如何定位代码？ CONFUSION 需求设计阶段- 首次拦截 开发实现阶段-尽可能避免故障 系统运行阶段-及时发现故障 系统运行阶段-出现故障快速解决故障 思路 THINKING 预见运行期、所想即所得、限制和保护 设计可容错的系统（快速失败、超时、自动重路由） 设计具备自我保护的系统（拆分、限制、优雅停止） 制定合适的开发规范 撒网 实时监控（傻瓜式、开发不用查日志） 可视化运营 网络监控 主机监控

大规模分布式系统架构下调测能力构建之道 李鑫 大纲 分布式环境下开发的调测效率问题 应对之道 远程应用服务 契约测试 分布式消息服务 分布式缓存 分布式服务的“租户”隔离策略 总体调测框架实践 分布式环境下调测方法论 单体应用 服务化 微服务 小中型规模应用+小型团队 中大型规模应用+多团队协同 Cache DB NFS Load Balancer server (超)大型规模应用+契约协同 应用的发展演变历史 服务化后的问题 多团队协同的分布式环境下，不仅环境“重”，而且外部的服务是别的团队开发 的，你很难得到一个稳定、快速的外部服务提供环境，在此背景下进行功能/接口 调测存在如下困难： 开发依赖重 联调成本高 变动把控困难 拆 应用拆分 数据拆分 团队拆分 分布式服务 API Gateway 分布式文件 分布式缓存 头到尾梳理代码，再写一堆的mock语句把他们全mock掉了。 每当业务逻辑变化了，代码中要增减相应的mock语句；每当依 赖服务上线后，要把测试用例中对应的mock语句去掉。对测试 用例的修改工作贯穿于整个开发工作之中。 3. 我和某同事通过服务框架进行调用联调，结果另一同事也把同 名服务挂了上来，不幸的是，他的服务版本和我们的不一样， 结果，一系列的灵异状况发生了… 4. 依赖的远程服务逻辑发生变化了，但负责它的团队没有通知到

• 核⼼心开发 - 建设⽤用户增⻓长设施与平台建设 • 负责过分布式调⽤用链跟踪框架 & 系统 • 核⼼心开发 - 分布式数据库同步系统 • Github ：https://github.com/zavakid • 开源项⽬目： • otter 核⼼心开发者： https://github.com/alibaba/otter • canal 核⼼心开发者：https://github • 业务涉及的⼤大量量/强⼤大操作 • 流程编排、全异步化 规范（⾯面向系统底层） • 核⼼心：4个接⼝口 + 7个⽅方法 • 远程化、业务框架对接规范 • 业务开发底层规范 理理念（⾯面向系统架构） • 系统应有的能⼒力力 • 架构上思路路 • 技术上的⼿手段 理理念 Reactive 规范 Reactive Stream 业务编程框架 Rx* / / Reactor / … 为什什么现在可以做升级 语⾔言的⽀支持： Java 8 普及 * lambda ⽀支持 * 业务开发⼈人员对 lambda 的接受度⼤大⼤大提⾼高 Reactive 业务框架成熟 * Github 上 RxJava Star 36k+， Java 语⾔言 Star No.2 项⽬目 业界拥抱 Reactive 理理念 * Reactive

微服务和Service Mesh 在多个行业落地实践 www.163yun.com 阶段一：单体架构群，多个开发组，统一运维组 www.163yun.com 阶段二：组织服务化，架构SOA化，基础设施云化 www.163yun.com 阶段三：组织DevOps化，架构微服务化，基础设施容器化 www.163yun.com Hailo Amazon Netflix 拓扑 性能 监控 服务 筛选 调用 链 调用 栈 JVM 监控 数据库 监控 性能 告警 自定义 数据 服务 告警 监控 大屏 账户 审计 CICD (开发流程管理) 代 码 检 出 代 码 编 译 镜 像 构 建 集 成 测 试 自 动 部 署 流水线管理 测试平台 (集成，场景测试) 单接口 用例 场景 用例 163yun.com ZIP源码包 持续集成 重新开发 迭代修改 个性开发 统一模版 接口统一 利于复用 文档一致 减少沟通 某视频监控企业：IT资产沉淀与IT能力复用 持续集成 容器化 注册发现 服务管理 www.163yun.com 开发集群 测试集群 CICD (开发流程管理) 流水线管理 代码 检出 代码 编译

1、功能单一 大多政务服务APP功能单一，仍以政务信息发布为主，缺乏实用的网上办事和便民服务。 仅有15%的政务APP提供办事服务，存在“信息有余、服务不足”的问题。 2、下载APP成为负担 政务APP盲目开发泛滥，用户为了办事需要下载多个APP，成为一种负担。 3、优化不足体验差 政务APP接入政务服务，没有结合移动端的访问特性进行移动化改造，用户体验差。 4、缺少持续运营： 政务APP运营维护乏力，版本迭代缓慢，存在大量僵尸应用。 政务APP 统一身份认证 无需注册直接登录，提供活体检测、人脸核身 需要注册，使用密码和手机盾认证 推广传播 下载成本低、通过微信裂变传播 下载成本高、推广难、占流量、占内存 开发成本 只需开发一套，组件丰富 每个端都得开发，标准化组件少 版本更新 无感知，轻量级更新 更新麻烦，审核周期长 服务触达 利用微信载体，消息通知更简单 APP消息，打扰多，用户遗漏概率大 拓展性 程序包小，可以关联调转 无需注册（无需用户再记住一个新账号、密码) • 依托微信的账号体系，便捷登录，以授权登录、 人脸识别登录为主 • 依托公安部门互联网可信身份认证体系 • 用户登录后，业务系统不再要求用户登录 9、前端开发 -- 封装公共组件 ，磨刀不误砍柴工 1、封装DGD-SDK公共组件 2、合包工具 3、Taro框架预研 10、API网关 – 限流保护已有系统、提升访问安全性 • 1.业务应用A 向网

运营侧应用 • 提供搜索、权限、审批解决方案，保证扩展性 规模化阶段：可用性建设 研发高压线、月度Case复盘、CaseStudy 故障演练 规避能力 解决能力 线上故障处理SOP 上线规范、扩容流程、重构流程、CR流程 周巡检/日巡检制度 诊断能力 预防能力 流程建设 系统建设 故障管理平台 应急管理平台 四层监控体系、业务大盘、APP大盘 Cat监控平台、MTrace、端到端日志分析 并对事件、数据模拟 仿真报告可视化 产品技术创新驱动业务发展 精细化阶段：特征平台 版本管理：缩短实验周期，灵活配置实验规则 实时特征：特征准实时加工、离线特征实时转化 离线特征：特征快速开发、验证、上线能力 场景 产品技术创新驱动业务发展 精细化阶段：LBS平台 深耕LBS平台，丰富、打磨各类算法策略场景 线 骑行导航 步行导航 车行导航 配送 范围 规划 定价 ETA

服务�A� 1� 服务�B� 2� 移动服务C 接入层 服务A 服务B 1 2 移动服务 接入层 v2 v3 v1 重要原则 幂等、接口可重入 接口规范化(命名、类型、长度等) 分布式事务，补偿、撤销机制 接口缓存，热数据尽可能前置 DB跟随服务 代码、逻辑、结构等都要适时重构 最终架构[简版] OS/网络/存储/防火墙... 应用/框架/业务逻辑/系统间调用 自研日志监控[轻量无侵入] Kafka Kafka Spout 策略 Cache 系统配置 预处理bolts Data Filter 规范化 校验 监控核心流水线bolts RBAC User Role 策略发生器 异 步 线 程 分 发 分布式队列(报警系统) 合并降级 报警队列 活动监控 活动队列 报警策略 系统异常

异构系统链路追踪 ——滴滴trace实践 背景 诉求 挑战—在滴滴落地面临的挑战 方案 日志规范和组件 日志数据处理 日志应用 Trace机制 —传递trace context Trace落地—结合滴滴情况落地 Trace应用 —调用链路跟踪 Trace应用 —调用链路跟踪 Trace应用 —场景还原 ③ 时间顺序还原操作序列 ① 业务id和traceid关联 ② 根span具有业务代表性

• 汇总类实现Tips （1）agent快速部署 （2）agent从中央获取配置 （3）快速的本地检测 58集团技术专场 2. 监控平台-日志 ERROR日志监控Tips （1）路径规范 （2）日志分级 （3）日志切分 （4）易扩展的配置 日志关键字监控Tips （1）异常关键字 （2）正常关键字 （3）易扩展的配置 58集团技术专场 2. 监控平台-接口 Keepalive统一监控

业务演化的趋势 限界上下文解耦-统一接口设计 统一 接口 模型检查 上下文 CAD翻模 上下文 钢筋计算 上下文 截面钢筋模 型上下文 Facade模式 解决： 接口不规范，多套接口 外部接口深入到上游的业务逻辑 限界上下文解耦-发布订阅机制 钢筋模型 上下文 建模模型 上下文 调度中心 平法模型 上下文 发布 解决： 上游模型变化，下游模型联动