和平统一 微服务场景下的数据一致性解决方案 殷湘 华为PaaS微服务架构师 开源能力中心 大纲 •离 数据一致性的起因 •合 数据一致性的解决方案 •断 方案选择建议 离 数据一致性的起因 单体应用 • 单体应用由于所有模块(A/B/C)使用同一个数据库 • 数据一致性通过数据库事务保证 A B C commit rollback 微服务场景 MySQL MongoDB MongoDB Cassandra 数据一致性无法完全通过数据库保证 离 独立进程 独立部署 独立技术 独立团队 合 数据一致性的解决方案 T1 T2 T3 C2 C1 • 1987年Hector & Kenneth 发表论文 Sagas • Saga = Long Live Transaction (LLT) • LLT = T1 + T2 + T3 + ... + Tn • 每个本地事务Tx 有对应的补偿 T C T Do NOT delete transaction records! car rental saga T T' time 断 一致性方案的选择建议 ? ??? ???? ? ?? ? ? ? ?? 一致性方案的选择建议 • 微服务内：聚合通过数据库事务保证强一致 内刚 • 微服务间：最终一致 外柔 微服务架构与领域驱动设计 • if our service

LC3大会 正式开源 2017.06 2017.11 2018.10 捐赠给Apache 进入孵化器 成为Apache 顶级项目 首个Apache微服务顶级项目 提供一站式的微服务开源解决方案，致力于帮助企业、用户和开发 者将应用轻松微服务化上云，实现对微服务应用的高效运维管理 华为开始实践 微服务 2012年 2019 • 2018 OSCAR尖峰开源技术创新奖 • 2018 开源异构微服务兼容 内核 服务中心 微服务开发框架 TCC&Saga 分布式事务框架 认证框架 配置中心 多语言方案 Rest(OpenAPI) / RPC 云原生 接入 流行 生态 Apache ServiceComb 融合开源生态的一站式微服务解决方案 融合开源生态的一站式微服务解决方案 • 团队协作困难 • 问题定位困难 • 资源利用率低 • 对现有系统改动小 • 提升性能和硬件 微服务脚手架 配置治理中心 POJO 编程模型 JAX-RS 编程模型 通信模型 RPC 插件式扩展 开箱即用 编程/通信模型分离 轻量级边缘服务 纯异步内核 内置监控治理 分布式事务方案 标准契约管理 复杂留给自己，极简留给用户 • 跨服务事务一致性 • 多语言，同时选型 • 灵活扩展、定制 • 减少基础设施运 维工作量 为解决微服务化痛点而生 在同一个业 务领域的微

S， DevOps， APM等有深⼊的研究和实践经验。 负责华为公司微服务框架的设计，开发和落地，微服务引擎云服务商⽤ 上线公有云，开发国内首个Go语言微服务框架与Service mesh商用方案， 并助力企业在生产环境中使用。 现任公有云PaaS服务ServiceStage首席工程师 3 github.com/apache?q=servicecomb servicecomb.apache servicecomb.apache.org github.com/apache?q=servicecomb ServiceStage overall ServiceStage 微服务解决方案 容器云平台（CCE） Serverless云平台（CCI） 微服务咨询 现状分析 适用性评估 试点实施 效果评估 经验固化 目标设定 培 训 （ 理 论 、 案 例 、 实 战 演 q=servicecomb 为什么选择ServiceComb • 兼容Spring Cloud与ServiceComb等开源生态，使开发者能够无改造迁移上云 • 多语言解决方案：Java，Go两种语言框架与Service mesh方案 • 契约管理：自动生成API文档，并在中心管理，使集成更加流畅，约束接口不能任意变更 servicecomb.apache.org github.com/apache

杨波 ServiceComb 社区 / 华为开源软件能力中心 全栈生态：具有完整开源生态技术栈的解决方案，完全无商业Lock-in，支持平滑上云 配置中心生态 Others…… 微服务生态 ServiceComb 微服务解决方案 处理链 ServiceComb微服务解决方案 Java编程 （POJO/SpringM VC/JAX-RS） Golang 编程 限流 负载均衡 ServiceComb子系统 Saga 分布式事务解决方案 服务中心 Java微服务SDK Go微服务SDK ServiceMesh ServiceCenter 是一个使用Go构造的、建立在etcd存储上的高性能、高 可用服务中心。 Java Chassis是一个由编程模型、运行模型、通信模型和服务契约四个 部分组成的微服务框架。 Saga 是一个微服务数据一致性解决方案。 ServiceComb的开放性设计 基于Pack模型的新构架 由 Alpha 和 Omega组成 •Alpha充当协调者的角色，主要负责对事务的 事件进行持久化存储以及协调子事务的状态，使 其最终得以与全局事务的状态保持一致，即保证 事务中的子事务全执行，或全不执行。 •Omega是用户程序侧代理，负责对网络请求 进行拦截并向Alpha上报事务事件，并在异常情

Mesh在华为公 有云的实践 ⽥田晓亮 华为架构师 ⽥田晓亮 华为 架构师 8年软件⾏行业经验，曾就职于三星，2012年进⼊入云计算领域，对PaaS， DevOps，APM有深⼊入的研究和实践经验。⽅方案⽀支撑近千台VM中应⽤用部署管理监 控 2016年加⼊入华为担任架构师，负责微服务的Go语⾔言开发框架及Service Mesh设计 和落地，Go语⾔言微服务框架被华为5G核⼼心⺴⽹网络采⽤用，Service Consumer 0.2 Chassis 语⾔言开发框架 Go-micro Go-kit 还有其他解题思路么？ • 多语⾔言SDK⽀支持 • 学习曲线 • 绑定特定技术栈，不容易切换⽅方案 • ⽼老旧单体应⽤用 抽象 L7 SpringMVC,VertX，beego L6 Json, Protobuf, XML L5 Http 1/2, grpc L4 TCP L3-1 件，公司内部某电信业务 • 400多个微服务，800左右实例， 200多个数据中⼼心 Sidecar模式 • 基于容器的分布式系统设计模式 • 容器可以共享存储与⺴⽹网络的能⼒力 应⽤用程序容器 ⽇日志同步⼯工具容器 存储卷 Sidecar优势 • 以容器作为基础打包单元，可以分给不同的团队进⾏行开发测试 • 可重⽤用 • 以容器作为错误边界，使服务能够正确推出 • 独⽴立回滚与更新

] https://github.com/apache?q=servicecomb 从Weather微服务应用谈起—简单性 表 内容 关键字段 regions 存储地区信息 id, regionName weathers 存储当前时间的天气信息，包括，气温，风向…. id, temperature, pressure… 1…..* 接口 内容 currentWeather 返回当前天气 com/apache/servicecomb-java-chassis java SDK b) https://github.com/apache/servicecomb-mesher 多语言解决方案 c) 重试 d) 负载均衡 e) 限流 f) 降级（隔离、熔断、容错） g) 分布式跟踪 • 网关 a) 路由 b) 黑白名单 c) 和认证鉴权集成 [社区网站] http://servicecomb 对性能没有要求，对事务性有要求。 常见的服务间通信模式：同（异)步通信，API组合，基于MQ的异步通信 事务性： saga, 事务性消息发布（一次仅一次），分布式事务等 很易用的服务间saga事务方案Servicecomb-Pack: https://github.com/apache/servicecomb-service-pack [社区网站] http://servicecomb.apache

apache.org 朱小卫 NTTDATA中国上海分公司Digital Marketing部门开发经理 15年+研发经验，有丰富的电商、CRM等产品化实践经验 近三年专注于汽车整车的数字化转型解决方案 自我介绍 3 github.com/apache?q=servicecomb servicecomb.apache.org 聚焦汽车数字营销布局 线上传播速度快，流量大，利用活动投放，网站，电商等线上 电商 会员体系 安全体系 协同平台 价值体系 流程体系 第三方渠道 展会 数字 展厅 PC门户 企业微信 官网 短信 小程序 公众号 标准体系 标签体系 数据 中台 …… 存储服务 安全服务 接口网关服务 日志服务 网络服务 …… 短信服务 技术 中台 ……. 消费者互动数据 消费者账号 消费者基础信息 消费者交易数据 消费者服务数据 ….. 人 人车关系数据 车况数据 可 用 安全组隔离 安全组隔离 安全组隔离 ELB C端流量 8 github.com/apache?q=servicecomb servicecomb.apache.org 以微服务方案为底座的服务化改造 主机厂CRM运营 经销商端销售助手 主机厂 呼叫中心坐席 CRM静态站点 #N （Vue 2.5, 支持 PC/移动端/微信H5) 域名：https://crm.exeedcars

Registry k8s k8s Service center Service center etcd Huawei Confidential 12 一站式解决方案：开发框架与Mesher混合使用 - 基于ServiceComb解决方案，Mesher，go chassis等组件，打造华为公有云微服务引擎 - 支持java，go语言编程框架和多语言接入 - 支持异构基础设施 - 对接多种监控系统 Confidential Kubernetes Master 14 部署-社区方案 Kubernetes Node Pod Service Mesher kubectl Side car Injector create KubeAPI server Deploy call Huawei Confidential 15 部署-商业版方案 背后发生了什么？ • 为应用容器设置环境变量http_proxy 作业 人员 系统维护 作业 人员 系统维护 楼宇内各空间位置信标及资产标签 楼宇内各空间位置信标及资产标 签 3G/4G 服务台 管理者 管理者 楼宇1 楼宇n 高级管理 系统维护 华为云存储 Huawei Confidential 17 Huawei Confidential 18 Atlas UPredict Service Region Pod Mesher Concrete

q=servicecomb servicecomb.apache.org 方案\指标 2PC 传统事务 可靠事件 TCC 柔性事务 SAGA 补偿事务 数据一致性 强一致 最终一致 最终一致 最终一致 总体性能 低 高 取决于实现 取决于实现 业务侵入性 较低侵入 高侵入 高侵入 高侵入 适用广泛性 一般 一般 高 低 产品成熟度 高 高 一般 低 方案对比 6 github.com/apache?q=servicecomb org Demo—分支 13 github.com/apache?q=servicecomb servicecomb.apache.org 性能 性能规格 节点类型 虚拟机数目 CPU/RAM 存储 2000TPS Server 3  CPU≥4核；  RAM≥8GB；  系统盘：40GB；  数据盘：500GB； GaussDB 2  CPU≥8核；  RAM≥16GB； q=servicecomb servicecomb.apache.org 总结 • 在服务拆分阶段就应该尽量避免事务 • 并不是所有地方都要求强一致性 • 强一致性也不保证绝对的一致 • 所有方案都是尽量缩小不一致的时间窗口 • 考虑成本 Copyright©2018 Huawei Technologies Co., Ltd. All Rights Reserved. The information

《Saga分布式事务解决⽅方案与实践》 演讲者／姜宁 关于我 • 华为开源能⼒力力中⼼心 • ServiceComb项⽬目负责⼈人 • Apache Member , IPMC, 多个Apache项⽬目 • RedHat, IONA, Travelsky 议题 • 微服务事务⼀一致性问题？ • 业界Saga的解决⽅方案 • ServiceComb Saga的演进 • 后续的开发计划 微服务架构 • 微服务架构将⼀一个应⽤用分成多个相互独⽴立的服务。 • 好处是各个服务能够持续独⽴立的开发和部署。 • 难题是服务的数据需要采⽤用什什么样的⽅方式来进⾏行行存储？ 多个微服务使⽤用同⼀一数据库 A B C commit rollback ⼀一个典型的微服务架构应⽤用 EdgeService Customer Service Order Service http://servicecomb.incubator.apache.org/developers/contributing ⼩小结 • 微服务事务⼀一致性问题？ • 业界Saga的解决⽅方案 • ServiceComb Saga的演进 • 后续的开发计划 让云原⽣生应⽤用开发更更简单 代码： https://github.com/apache?q=incubator-servicecomb