和平统一 微服务场景下的数据一致性解决方案 殷湘 华为PaaS微服务架构师 开源能力中心 大纲 •离 数据一致性的起因 •合 数据一致性的解决方案 •断 方案选择建议 离 数据一致性的起因 单体应用 • 单体应用由于所有模块(A/B/C)使用同一个数据库 • 数据一致性通过数据库事务保证 A B C commit rollback 微服务场景 MySQL MongoDB MongoDB Cassandra 数据一致性无法完全通过数据库保证 离 独立进程 独立部署 独立技术 独立团队 合 数据一致性的解决方案 T1 T2 T3 C2 C1 • 1987年Hector & Kenneth 发表论文 Sagas • Saga = Long Live Transaction (LLT) • LLT = T1 + T2 + T3 + ... + Tn • 每个本地事务Tx 有对应的补偿 T C T Do NOT delete transaction records! car rental saga T T' time 断 一致性方案的选择建议 ? ??? ???? ? ?? ? ? ? ?? 一致性方案的选择建议 • 微服务内：聚合通过数据库事务保证强一致 内刚 • 微服务间：最终一致 外柔 微服务架构与领域驱动设计 • if our service

8年软件⾏行业经验，曾就职于三星，2012年进⼊入云计算领域，对PaaS， DevOps，APM有深⼊入的研究和实践经验。⽅方案⽀支撑近千台VM中应⽤用部署管理监 控 2016年加⼊入华为担任架构师，负责微服务的Go语⾔言开发框架及Service Mesh设计 和落地，Go语⾔言微服务框架被华为5G核⼼心⺴⽹网络采⽤用，Service Mesh服务商⽤用上 线公有云 • 简介 • 实现⼀一个Service Mesh Consumer 0.2 Chassis 语⾔言开发框架 Go-micro Go-kit 还有其他解题思路么？ • 多语⾔言SDK⽀支持 • 学习曲线 • 绑定特定技术栈，不容易切换⽅方案 • ⽼老旧单体应⽤用 抽象 L7 SpringMVC,VertX，beego L6 Json, Protobuf, XML L5 Http 1/2, grpc L4 TCP L3-1 Service Mesh • ⼀一种基础设施层，服务间的通信通过 Service Mesh进⾏行 • 可靠地传输复杂⺴⽹网络拓扑中服务的请 求，将服务变成现代的云原⽣生服务 • ⼀一种⺴⽹网络代理的实现，通常与业务服 务部署在⼀一起，业务服务不感知 • ⼀一种TCP/IP之上的⺴⽹网络模型 Application Service Mesh Transport Network Physical

S， DevOps， APM等有深⼊的研究和实践经验。 负责华为公司微服务框架的设计，开发和落地，微服务引擎云服务商⽤ 上线公有云，开发国内首个Go语言微服务框架与Service mesh商用方案， 并助力企业在生产环境中使用。 现任公有云PaaS服务ServiceStage首席工程师 3 github.com/apache?q=servicecomb servicecomb.apache servicecomb.apache.org github.com/apache?q=servicecomb ServiceStage overall ServiceStage 微服务解决方案 容器云平台（CCE） Serverless云平台（CCI） 微服务咨询 现状分析 适用性评估 试点实施 效果评估 经验固化 目标设定 培 训 （ 理 论 、 案 例 、 实 战 演 com/apache?q=servicecomb 缺少了什么 • 流水线，平台等自动化手段的完备，使得开发人员开始思考业务功能的拆分，复用，使得网络拓扑更加复杂 • 从过去“数据中心网络拓扑几乎没变化”变为“应用发布，应对业务流量，随时随地的网络拓扑变化” • 平台功能解决了应用运行时之前的种种问题，但为了将应用的运行时统一治理，保障业务可靠运行，需要引入微服务框架 来解决分布式系统中的难题

Service Mesh - 2017年由William Morgan提出 - 一种基础设施层，服务间通信通过Service Mesh进行 - 一种TCP/IP之上的网络模型 - 轻量网络代理，与业务部署在一起 - 可靠传输复杂拓扑网络中的请求 - 将应用变为现代的云原生应用 4 Application Service Mesh Transport Network Physical Registry k8s k8s Service center Service center etcd Huawei Confidential 12 一站式解决方案：开发框架与Mesher混合使用 - 基于ServiceComb解决方案，Mesher，go chassis等组件，打造华为公有云微服务引擎 - 支持java，go语言编程框架和多语言接入 - 支持异构基础设施 - 对接多种监控系统 Confidential Kubernetes Master 14 部署-社区方案 Kubernetes Node Pod Service Mesher kubectl Side car Injector create KubeAPI server Deploy call Huawei Confidential 15 部署-商业版方案 背后发生了什么？ • 为应用容器设置环境变量http_proxy

消费者云CSE微服务实践 李林锋 关于我  9年电信软件平台中间件开发、设计、架构经验  精通Netty、Mina等网络通信框架  华为软件 短信/彩信/WAP网关平台SGP、API开放集成网关API Fabric首席设计师  华为软件分布式服务框架DSF首席设计师  《Netty权威指南》、《分布式服务框架原理不实践》作者 微博、微信：Nettying  无论是华为内部的DSF，还是开源的Netflix、Spring Cloud等，都无法完全满足业务的 选型诉求，而CSE则能够很好的满足我们的需求  仔细阅读了CSE的主要模块代码，包括网络通信、线程调度模型等，代码质量非常高， 对细节的把握比较好  选型试用时，大家对CSE的接受度比较高，使用CSE改造已有的Spring MVC代码相对较 容易些  华为内部的平台，无 PB，既支持多语 言，又保证高性能  高性能幵发设计：线程绑定技术，网络I/O线程 绑定后端的服务调度线程，最大限度减少锁竞 争。采用连接池机制，重用已有的连接 CSE在消费者云业务的实践-分布式事务 1、服务化乊前本地事务： 2、服务化乊后引入分布式事务： 解决方案：CSE提供数据最终一致性方案-Saga CSE在消费者云业务的实践-服务治理能力 为什么需要服务治理：

杨波 ServiceComb 社区 / 华为开源软件能力中心 全栈生态：具有完整开源生态技术栈的解决方案，完全无商业Lock-in，支持平滑上云 配置中心生态 Others…… 微服务生态 ServiceComb 微服务解决方案 处理链 ServiceComb微服务解决方案 Java编程 （POJO/SpringM VC/JAX-RS） Golang 编程 限流 负载均衡 ServiceComb子系统 Saga 分布式事务解决方案 服务中心 Java微服务SDK Go微服务SDK ServiceMesh ServiceCenter 是一个使用Go构造的、建立在etcd存储上的高性能、高 可用服务中心。 Java Chassis是一个由编程模型、运行模型、通信模型和服务契约四个 部分组成的微服务框架。 Saga 是一个微服务数据一致性解决方案。 ServiceComb的开放性设计 •Alpha充当协调者的角色，主要负责对事务的 事件进行持久化存储以及协调子事务的状态，使 其最终得以与全局事务的状态保持一致，即保证 事务中的子事务全执行，或全不执行。 •Omega是用户程序侧代理，负责对网络请求 进行拦截并向Alpha上报事务事件，并在异常情 况下根据Alpha下发的指令执行相应的补偿或重 试操作。 Service A Omega Service B Omega Alpha Alpha

LC3大会 正式开源 2017.06 2017.11 2018.10 捐赠给Apache 进入孵化器 成为Apache 顶级项目 首个Apache微服务顶级项目 提供一站式的微服务开源解决方案，致力于帮助企业、用户和开发 者将应用轻松微服务化上云，实现对微服务应用的高效运维管理 华为开始实践 微服务 2012年 2019 • 2018 OSCAR尖峰开源技术创新奖 • 2018 开源异构微服务兼容 内核 服务中心 微服务开发框架 TCC&Saga 分布式事务框架 认证框架 配置中心 多语言方案 Rest(OpenAPI) / RPC 云原生 接入 流行 生态 Apache ServiceComb 融合开源生态的一站式微服务解决方案 融合开源生态的一站式微服务解决方案 • 团队协作困难 • 问题定位困难 • 资源利用率低 • 对现有系统改动小 • 提升性能和硬件 微服务脚手架 配置治理中心 POJO 编程模型 JAX-RS 编程模型 通信模型 RPC 插件式扩展 开箱即用 编程/通信模型分离 轻量级边缘服务 纯异步内核 内置监控治理 分布式事务方案 标准契约管理 复杂留给自己，极简留给用户 • 跨服务事务一致性 • 多语言，同时选型 • 灵活扩展、定制 • 减少基础设施运 维工作量 为解决微服务化痛点而生 在同一个业 务领域的微

服务架构设计，实现不同的微服务技术栈实现的微服务业务可以进行数 据通信，未来可支持跨云的数据通信支持。 •对应用程序透明。同步工具启停，不应该对应用程序的原有流程产生影响。 •为多服务中心提供对等网络。他们之间是松耦合的，成员可以自由加入与退出。 •对异构服务中心提供支持。插件化的形式支持多种服务中心驱动，用户可便捷的接入自定义插件。 gossip 协议 Syncer Syncer Syncer 社区网站 开源异构微服务兼容 内核 服务中心 微服务开发框架 TCC&Saga 分布式事务框架 认证框架 配置中心 多语言方案 Rest(OpenAPI) / RPC 云原生 融合 流行 生态 融合开源生态的一站式微服务解决方案 融合开源生态的一站式微服务解决方案 https://github.com/apache?q=servicecomb 10 github.com/apache 我们期待您的加盟与贡献， 如果您准备贡献代码，请扫描二维码进群，备注“贡献代码”。 我们将会与您进行一对一交流协作。 PS: 不需要任何的顾虑，我们来一起做点有意思的事情， 未来它会是XX云上服务，会是XX企业方案，运行在各样的业务中。 11 github.com/apache?q=servicecomb servicecomb.apache.org 华为开发者大赛“微服务” 赛道欢迎大家报名 召集天下微服务能人志士，共同角逐

资源层 分期乐 前端业务服务 桔子理财 鼎盛资管 …… mq管理系统 job管理系统 中台服务层 核心交易平台 风控审核平台 计算资源 (CPU) 存储资源 (内存|磁盘) 网络资源 (ip|端口|带宽) 中间件层 微服务框架 服务元数据管理 服务发布 服务订阅 消息中间件 消息元数据管理 消息生产 消息消费 job调度系统 job元数据管理 job发布 发布系统 故障时，只影响内 部办公相关的公司 经营活动，不影响 用户下单交易 故障时，间接或部分影响用户 下单交易，但有降级方案来缓 冲、减少影响 故障时，只影响日 常研发运维活动的 进行，不影响用户 下单交易 故障时，直接影响用户下单交 易，且没有降级方案来缓冲、 减少影响 …… 财务系统 招聘系统 …… 美好的愿望 中心机房 registry 全站业务服务 data(r/w)

apache.org 朱小卫 NTTDATA中国上海分公司Digital Marketing部门开发经理 15年+研发经验，有丰富的电商、CRM等产品化实践经验 近三年专注于汽车整车的数字化转型解决方案 自我介绍 3 github.com/apache?q=servicecomb servicecomb.apache.org 聚焦汽车数字营销布局 线上传播速度快，流量大，利用活动投放，网站，电商等线上 价值体系 流程体系 第三方渠道 展会 数字 展厅 PC门户 企业微信 官网 短信 小程序 公众号 标准体系 标签体系 数据 中台 …… 存储服务 安全服务 接口网关服务 日志服务 网络服务 …… 短信服务 技术 中台 ……. 消费者互动数据 消费者账号 消费者基础信息 消费者交易数据 消费者服务数据 ….. 人 人车关系数据 车况数据 车辆维修保养数 据 ….. 可 用 安全组隔离 安全组隔离 安全组隔离 ELB C端流量 8 github.com/apache?q=servicecomb servicecomb.apache.org 以微服务方案为底座的服务化改造 主机厂CRM运营 经销商端销售助手 主机厂 呼叫中心坐席 CRM静态站点 #N （Vue 2.5, 支持 PC/移动端/微信H5) 域名：https://crm.exeedcars