微服务环境下的系统治理与容错 王新栋 • 《架构修炼之道》作者，《决战618：探秘京东技术取胜之道》联合作者； • 对分布式、微服务系统有多年实战经验，所设计和研发的系统经历了多次百亿流量的验证； • 热爱分享，维护技术公众号 [程序架道]，对高并发、高可用系统有持续不懈的追求； 个人微信号 技术公众号 • 微服务架构 • 容错 • 总结 • 治理 微服务架构 架构 架构 研发团队的持续斗争 研发团队必须从公司长远利益出发与其他部门抗争 -- Robert C. Martin 多种架构思想的本质 分层架构思维到六边形架构思维 业务领域代码 基础设施代码 再看六边形架构 治理 微服务到底需要多“微” 微 微服务的“微”暗示了服务的大小，但实际上微服务架构对构成的服务实例并没有大小方面的要求。 微服务的微 微服务的两个“谬论” n 服务之间是强隔离的。 n 微服务是大型系统的唯一选择。

apache.org 业务微服务化及分层设计 应用微服务引擎 第一层.CRM静态站点 第二层.CRM 业务网关 第三层.CRM 业务微服务 第四层.CRM 业务数据 服务中心 配置中心 治理中心 IT运维 日志可视化 （华为云） CDN/ WAF 资源监控预警 （华为云 AOM） 营销平台 接口服务 消息 REST NAT网关 NAT gateway 4核8G 按需扩容 客户和线索 数据库 工单 数据库 系统管理 数据库 CCC + 客服 数据库 更多新业务 服务实例 #N （SpringBoot + 华 为云CSE） UAT和PROD使用CSE企业版; 本地开发和SIT使用本地轻量级CSE服务 服务中心 （>Eureka） 配置中心 （etcd增强） 治理中心 （Hystrix+Rib bon增强） 新业务 数据库 华为云CSE介绍 X-API_KEY HTTPS/HTTP 服务注册 数据库 API调用 （ACCESS_TO KEN) 9 github.com/apache?q=servicecomb servicecomb.apache.org 微服务化数据逻辑设计 CRM接口库. 接口数据库 <营销活动工具> 营销活动工具 数据库 CRM ETL Server (kettle) CRM业务库

服务化培训 服务化培训 案例 培训 研发&运维团队 微服务划分 微服务 开发 微服务测试 微服 务运 维  规范制定：微服务命名规范、微服务API定义规范、微服 务验收规范、微服务运维和治理规范…  技术选型：统一的微服务框架技术选型，涵盖微服务框架 、微服务流水线（CI/CD）、微服务自动化运维和部署框架  组织赋能：拉通设计、开发、测试和运维的跨团队培训、 技术方案试点、案例分享、 统的同步服务调用，性能更高（吞吐量N倍+提升、时延降低 为原来的50%-）  轻量级、易集成：可以方便的与Spring MVC、Tomcat等 已有技术和容器集成，支持轻量级的standalone部署  服务治理：可商用的服务治理能力  成熟和商用支持：Apache孵化项目，公司内部大规模使 用，专职的团队支撑 微服务框架 RPC框架 跨语言：  gRPC  Thrift  ServiceComb 内置LB： 客户端负载均 衡 外置LB： Nginx、 Ribbon SLB 注册中心 配置服务：  Zookeeper  etcd 缓存方案：  Redis 数据库方案：  DB + MQ 服务治理 服务治理： 超时、流控、 降级等 运维KPI：  ELK  Zabbix 调用链：  zipkin 选择ServiceComb的原因： 实践- API First Website:

灰度发布 弹性伸缩 微服务运维 应用告警 日志分析 全链路拓扑 SQL分析 调用链 立体监控 方法追踪 事务洞察 微服务治理 负载均衡 限流/降级 熔断/容错 错误注入 黑白名单 微服务管理 注册中心 配置中心 治理中心 全局事务 契约管理 监控大屏 智能分析 环境管理 开发环境 测试环境 预验证环境 灰度环境 生产环境 商业生态(aPaaS/SaaS) ARM CCI 虚机 CCE servicecomb.apache.org github.com/apache?q=servicecomb 围绕应用构建平台功能 • 操作的起点为应用 • 数据库，缓存服务，容器平台等围绕应用创建 应用 RDS DDM DMS DCS CCE ECS ELB 监控 软件中心 流水线 servicecomb.apache.org github ，复用，使得网络拓扑更加复杂 • 从过去“数据中心网络拓扑几乎没变化”变为“应用发布，应对业务流量，随时随地的网络拓扑变化” • 平台功能解决了应用运行时之前的种种问题，但为了将应用的运行时统一治理，保障业务可靠运行，需要引入微服务框架 来解决分布式系统中的难题 9 github.com/apache?q=servicecomb servicecomb.apache.org ServiceComb实践

低 高 实现业务复杂性分解难度 困难 容易 产品创新复杂度 困难 容易 一致性实现成本 低 高 时延 低 高 资源成本 低 高 关联查询复杂度 简单 复杂 远程调用 不涉及 涉及 服务治理 不涉及 涉及 对开发人员的要求 低 高 对工具的依赖 较低 较高 运维复杂度 低 高 Huawei Confidential 4 微服务架构的第一大问题——如何拆分微服务？ •影响因素 Confidential 8 微服务拆分工具 单体应用 单体数据库 微服务数据库 A库 B库 服务A 服务B 步骤1：通过SQL的关联程 度、使用次数等，识别出 相关性最高的表划分成一 个微服务 微服务数据库 A库 B库 服务A 服务B 步骤2：通过表结构调整， 将不同的数据库进行解耦， 防止一个微服务跨库访问 （反范式、服务重构等） 微服务数据库 A库 B库 服务A 服务B 步骤3：大表水平拆分，实

ServiceComb 微服务 Spring Cloud Node.js 微服务 PHP 微服务 其他语言 微服务 ServiceStage OpenAPI（Restful） 注册中心 配置中心 治理中心 安全管控 服务监控 事务管理 ServiceComb 采⽤Vert.x的背景 3 Vert.x vs webflux ServiceComb 的通信模型演进 启动更多的线程 Why？ 的通信模型演进—Reactor 黄金法则：不要阻塞Event Loop 什么才叫阻塞？ n Thead.sleep() n 等待一个锁 n 等待一个互斥信号或监视器（例如同步的代码块） n 执行一个长时间数据库操作并等待其结果 n 执行一个复杂的计算，占用了可感知的时长 n 在循环语句中长时间逗留 10000TPS=0.1ms处理一个请求 如果利⽤多核？ ServiceComb 采⽤Vert.x的背景

0.24:8080 … Istio Apollo Huawei Confidential 10 多协议支持 - 使用Invocation抽象 - 协议可快速接入到mesher中，并享受同样的治理能力 Http Request Grpc Request Transfer Invocation Http Server Grpc Server Transfer Http Request metrics收集 • 为mesher 对接APM 调用链追踪 • 告知mesher服务的版本以及监控端口 Huawei Confidential 16 用户案例 华为ServiceMesh 华为云数据库 作业 人员 系统维护 作业 人员 系统维护 楼宇内各空间位置信标及资产标签 楼宇内各空间位置信标及资产标 签 3G/4G 服务台 管理者 管理者 楼宇1 楼宇n 高级管理 系统维护 华为云存储

康威定律律：组织产⽣生的设计成果等同于组织内的协作结构 微服务架构的设计原则 • 竞争能⼒力力平衡 • 围绕业务构建 • “去”中⼼心化 • ⾃自动化“⼀一切” 去“中⼼心化” - ⽤用合适的技术解决问题 数据库作为集成点 去“中⼼心化” - 业务持有数据 ⽤用户会话 Redis 会话服务 上下⽂文 购物⻋车 购物⻋车 产品数据 Mongo 产品服务 上下⽂文 上下⽂文 Redis 容器器部署 映像部署 包部署 ⾃自动化“⼀一切” - 基础设施与部署流程 议题 • 微服务架构的核⼼心 • 微服务架构设计原则 • 微服务架构⽣生态系统 • 分布式系统复杂性 • 服务的治理理与维护 • 测试策略略与契约测试 • 持续交付流⽔水线 • 基础设施(私有云/公有云) • 持续集成/持续部署流⽔水线 • 团队的敏敏捷/⼯工程化实践 • 端到端的⼯工具链 • API⽹网关

������ ������ ������ ������ ����� ������ ������ ������ ���� 11 N 如何定义服务 N 如何发布和订阅服务 N 如何治理服务 N 如何监控服务 N 如何定h故障 N ...... ��������� 12 ����� Registry! Client! Service! Monitor ���review ���review ���! WAP! • 横向：针对单个核心U务系统进行检查 • 纵向：针对U务线v联系统进行t链路检查 • 重点：架构、流程、缓存、消息队列、数据库、性能、高可用、隔离、限流、降级、熔断等 ��QPS&�� ����! ����! �����! ����! �����QPS ������� ������� ������� �������

美团点评微服务框架及治理系统:1?: 演进g路 曹继光 美团点评 资深技术a家 ��� �������������� W &0%(年加入美团，先后负责 服务框架及治理v系、性能 q化、S3?化等方向 W 经历h美团服务治理v系l0 到%，再到发展完善的各c阶 段 W 服务治理系统:1?:演进及架构设计 W 美团点评服务治理实践 W :1?:在SEPTIDE MEQh MEQh 和开源方向进展 美团点评服务治理系统:1?:概况 ����� ����� �����! ����(� ���)�� �(���� �)���� ����! ��������! �����/�! ! 在公司b务 侧获得较好 的口碑和影 响力 早期遇到的问题 ����! ����! ����! • �������������� ��������������� :-NS W :1?:-NS：命名服务 W S4/GEnR：服务治理m理 W :1?:-=P1：轻量级服务框架 W SDBnnEP：服务状态监控系统 W :1?:-PMPRBJ：一站式治理平台 W ABRR V :1?:服务调用统计 核心设计解析(%)：S4/GEnR V 服务治理m理 核心设计解析(%)：S4/GEnR V 逻辑架构 核心设计解析(&)：SDBnnEP