微服务环境下的系统治理与容错 王新栋 • 《架构修炼之道》作者，《决战618：探秘京东技术取胜之道》联合作者； • 对分布式、微服务系统有多年实战经验，所设计和研发的系统经历了多次百亿流量的验证； • 热爱分享，维护技术公众号 [程序架道]，对高并发、高可用系统有持续不懈的追求； 个人微信号 技术公众号 • 微服务架构 • 容错 • 总结 • 治理 微服务架构 架构 架构

能 力 异 常 摘 除 能 力 dmx dns-f app nacos M S write read DNS-F在数据库场景的落地 背景 在数据库服务切换时效率低，依赖 业务方修改配置，时效不确定，通 常需要10分钟以上； 目标 数据库切换秒级生效； 技术特点-DNS-F M S S S M1.mysql S1.mysql S2.mysql S3.mysql if 负载均衡变更需要更新配置发布后 才能生效，节点扩缩容，屏蔽操作 需要人工参与，流量接入接出时间 长 目标 流量接入接出时长低于30秒 负载均衡配置下发无状态改造 虎牙负载均衡部署的机器数百，配置下发的可靠性保障，一致性保障要求特别严格， 如果出现配置下发不及时，或下发配置失败，极大可能出现故障，同时负载均衡服 务弹性能力的要求较高，在业务高峰如果不能快速扩容，容易出现全网故障 传统配置下发方式 负载均衡配置固话在配置文件中， 负载均衡配置固话在配置文件中， 节点操作需要人工上系统操作增减 节点 配置中心监听方式 客户端主动监听配置更新，配置秒 级生效，新扩容服务主动拉取全量 配置，流量接入时长缩短3分钟+ 配置名字服务 配置IP方式 服务端下发文件更新配置，更新配 置生效时间长，由于需要预先知道 负责均衡集群的机器信息，扩缩容 需要等元信息同步以后才能接入流 量，扩容流量接入时间长 负载均衡节点对接名字服务

• 每个服务运⾏行行在其独⽴立的进程中，服务间采⽤用轻量量级的通信机制协作（通常是基于RESTful API） • 每个服务都围绕着具体业务进⾏行行构建，并且能够被独⽴立的部署到⽣生产环境、类⽣生产环境等 Microservices – the new architectural style. Martin Fowler,Mar 2014 ...... Micro (u)Services Architecture Conference 2017.4 https://www.continuousdelivery.com/ • 缩短交付周期 • 降低发布⻛风险 • 质量量内嵌 组织协同 环境管理理 数据管理理 松耦合架构 反馈验证 持续集成/部署 内建质量量 微服务架构是松耦合架构机制的⼀一种实现 为什什么基于DevOps？ ● Communication ● Automation IaaS 微 服 务 开 发 框 架 ⼯工 程 实 践 与 规 范 持 续 交 付 流 ⽔水 线 端 到 端 的 ⼯工 具 链 注册发现 监控 调⽤用链 路路由 授权认证 ⽇日志聚合 容错 集中配置 基础设施 业务层 - 聚合服务 - 基础服务 接⼊入层 • 流量量限制 • 调⽤用统计 • 安全认证 • 提供统⼀一接⼝口，封装内部变化 • 协议转换 API⽹网关

APM等有深⼊的研究和实践经验。 负责华为公司微服务框架的设计，开发和落地，微服务引擎云服务商⽤ 上线公有云，开发国内首个Go语言微服务框架与Service mesh商用方案， 并助力企业在生产环境中使用。 现任公有云PaaS服务ServiceStage首席工程师 3 github.com/apache?q=servicecomb servicecomb.apache.org 1 2 3 方法追踪 事务洞察 微服务治理 负载均衡 限流/降级 熔断/容错 错误注入 黑白名单 微服务管理 注册中心 配置中心 治理中心 全局事务 契约管理 监控大屏 智能分析 环境管理 开发环境 测试环境 预验证环境 灰度环境 生产环境 商业生态(aPaaS/SaaS) 行业 （政府、教育、医疗、零售、……） 伙伴 （软通、中软、幸宜、博思、医 信、……） 完善的自动化促使组织能够管理大规模，快速的部署应用实例，应对业务流量，需求的变化 源码 软件中心 流水线 构建 归档 部署 配置中心 java python go nodejs php war jar 压缩包 二进制 Docker镜像 调整线上应用配置 x86 ARM CCI 虚机 CCE servicecomb.apache.org github.com/apache

微服务契约开发工具：https://github.com/apache/servicecomb-toolkit  案例集：https://github.com/apache/servicecomb-samples  配置中心：https://github.com/apache/servicecomb-kie  微服务鉴权框架：https://github.com/apache/servicecomb-fence ServiceMesh 服务通信规范 配置 流行微服务框架 可视化监控 分布式追踪 遗留应用转型 全新微服务开发 开发工具 代码自 动生成 契约自 动提取 契约校验 文档自 动生成 微服务脚手架 快速入门 案例代码库 用户手册 社区网站 开源异构微服务兼容 内核 服务中心 微服务开发框架 TCC&Saga 分布式事务框架 认证框架 配置中心 多语言方案 Rest(OpenAPI) 提升定位问题效率 Apache ServiceComb 插件式处理链 SpringMVC 编程模型 限流 负载均衡 分布式追踪 动态配置 服务注册 服务度量 通信模型 REST 边缘服务 熔断/容错 安全认证 分布式事务 标准契约管理 微服务脚手架 配置治理中心 POJO 编程模型 JAX-RS 编程模型 通信模型 RPC 插件式扩展 开箱即用 编程/通信模型分离 轻量级边缘服务

方认证被广泛 采纳的趋势下 认证鉴权的性 能和安全的要 求 帮助企业用 户达成业务 模型和数据 集成标准统 一 通过易于理 解的数据和 入口，管理 复杂的分布 式系统配置 分布式系统配置中心 服务中心异构通信 多语言运行环境 微服务鉴权 微服务契约工具 Apache ServiceComb 面对用户痛点持续创新 3 github.com/apache?q=servicecomb servicecomb gossip 协议 6 github.com/apache?q=servicecomb servicecomb.apache.org 实现云原生的分布式系统配置中心，使能运维人员通过易于理解的数据和入口，管理复杂的分布式系统配置。 https://github.com/apache/servicecomb-kie Timeout(service=serviceB, schema=user -在这样的数据格式设计下可生成多角度的配置视图，提升易用性，人类可读性 假如说我们要定义A到B以及到某个API的超时时间 -学习成本高，运维人员要学习这个只在团队内部生效的key规则 -所有的key集中在一种类型的视图中管理，管理成本高。 -不断增长的规则定义，越来越复杂，人类不可读。 -Key设计无法扩展变更，没法轻易变更数据结构 分布式系统配置中心 7 github.com/apache

方认证被广泛 采纳的趋势下 认证鉴权的性 能和安全的要 求 帮助企业用 户达成业务 模型和数据 集成标准统 一 通过易于理 解的数据和 入口，管理 复杂的分布 式系统配置 多语言运行环境 服务中心异构通信 微服务鉴权 分布式系统配置中心 微服务契约工具 Apache ServiceComb [Website] http://servicecomb.apache.org [Github ] https://github 开箱即用：提供了默认的Authentication Server、Edge Service、Resource Server实现，简化用户开发难度 • 开发简单：提供配置文件和Annotation两种方式配置权限，支持权限配置和代码逻辑分离，也支持在使用Annotation声明式 的权限配置，相辅相成。 • 第三方认证支持：采用Open ID协议，对接Github等三方认证系统。 • 安全高效：混合Token模式和Sess http://servicecomb.apache.org [Github ] https://github.com/apache?q=servicecomb 实现云原生的分布式系统配置中心，使能运维人员通过易于理解的数据和入口，管理复杂的分布式系统配置 • 项目地址：https://github.com/apache/servicecomb-kie Timeout(service=serviceB, schema=user

apache.org [Github ] https://github.com/apache?q=servicecomb 微服务的其他组件 • 配置中心 a) 集中配置 b) 动态配置 c) 配置历史保留 d) 配置回滚 社区召集！ e) 灰度发布配置 社区召集！ • 认证鉴权 a) 认证 b) 鉴权 • Toolkit a) 契约 b) 脚手架 https://github.com/apache https://github.com/apache?q=servicecomb 步骤2 优化 先关注数据层的优化 1. 锁资格 - (锁库存-下订单) CP MySQL-MGR 高带宽 NvmeSSD-持久化配置 索引-加 锁 update-where 2. 库存缓存 AP Codis 3. 收藏数据 AP Codis 用户发请 求查库存 里列表 读缓存的 库存的列 表返回 用户对有库存 的房子发起下 over Vertx。 2. 透明RPC模式+CompletableFuture。把异步继续进行。 3. 低超时+重试策略配置。“ 高可用”的定义？A跟a 的区别 à 客户端无异常。 4. Zuul VS edge-service（完胜）。 100并发 vs 20000 并发。 5. 生产环境需从最外层开始设置限流策略，并设置降级机制。 [社区网站] http://servicecomb.apache.org

根据url选择合适的版本组 • AZ亲和性 • 根据传输通道分组 • 根据实际调用统计，隔离暂时不可用的调用目标 • 开发人员通过SPI扩展过滤功能 2.以过滤得到的Endpoint集合作为输入，根据配置的策 略进行LoadBalance： • 轮询、响应时间权重、随机 • 基于Netflix ribbon，开发人员可以根据需要自 定义IRule的实现 instances VersionRule .....}/pa th 则可以配置为 servicecomb: http: dispatcher: edge: default: enabled: true prefix: rest withVersion: true prefixSegmentCount: 1 如果内部微服务URL规则为： /{v1/v2/......}/path 则可以配置为 servicecomb: http: default: enabled: true prefix: rest withVersion: true prefixSegmentCount: 2 如果内部微服务URL规则为： /path 则可以配置为 servicecomb: http: dispatcher: edge: default: enabled: true prefix: rest withVersion: true prefixSegmentCount:

apache.org [Github ] https://github.com/apache?q=servicecomb 微服务的其他组件 • 配置中心 a) 集中配置 b) 动态配置 c) 配置历史保留 d) 配置回滚 社区召集！ e) 灰度发布配置 社区召集！ • 认证鉴权 a) 认证 b) 鉴权 • Toolkit a) 契约 b) 脚手架 • 分布式日志 https://github https://github.com/apache?q=servicecomb 步骤2 优化 先关注数据层的优化 1. 锁资格 - (锁库存-下订单) CP MySQL-MGR 高带宽 NvmeSSD-持久化配置 索引-加 锁 update-where 2. 库存缓存 AP Codis 3. 收藏数据 AP Codis 用户发请 求查库存 里列表 读缓存的 库存的列 表返回 用户对有库存 的房子发起下 REST over Vertx。 2. 透明RPC模式+CompletableFuture。把异步继续进行。 3. 低超时+重试策略配置。“ 高可用”的定义？A跟a 的区别  客户端无异常。 4. Zuul VS edge-service（更优）。 5. 生产环境需从最外层开始设置限流策略，并设置降级机制。 [社区网站] http://servicecomb.apache.org [Github