和平统一 微服务场景下的数据一致性解决方案 殷湘 华为PaaS微服务架构师 开源能力中心 大纲 •离 数据一致性的起因 •合 数据一致性的解决方案 •断 方案选择建议 离 数据一致性的起因 单体应用 • 单体应用由于所有模块(A/B/C)使用同一个数据库 • 数据一致性通过数据库事务保证 A B C commit rollback 微服务场景 MySQL MongoDB MongoDB Cassandra 数据一致性无法完全通过数据库保证 离 独立进程 独立部署 独立技术 独立团队 合 数据一致性的解决方案 T1 T2 T3 C2 C1 • 1987年Hector & Kenneth 发表论文 Sagas • Saga = Long Live Transaction (LLT) • LLT = T1 + T2 + T3 + ... + Tn • 每个本地事务Tx 有对应的补偿 Saga transact transact transact B C A Saga compensate compensate 和平统一 减少业务代码集成／运维难度 剥离业务与数据一致性复杂度 和平：低侵入 让运维监控更加简单 可视化事务、调用链 统一：集中式 无状态、可集群、可分片 Event Sourcing架构 高可用 系统架构 – 基于图形 requests

负载均衡，服务订阅（客户端LB，长连接） 3. 运行时依赖（Go） 4. 可靠性（BASE，最终一致性） 从服务注册中心到服务管理中心 1. 元数据 2. 依赖关系 3. 实例变化推送 4. 多租隔离 5. 高可用性保障 从服务注册中心到服务管理中心 元数据 1. 应用App，便于微服务可在多个应用间重用 2. 微服务名称，App内唯一 3. 微服务描述信息，让使用者可以快速了解到业务范畴等 Available（基本可用） 2. Soft state（软状态） 3. Eventually consistent（最终一致性） CAP理论：Consistency(一致性), 在分布式系统的各点同时保持数据的一致。 Availability(可用性), 每个请求都能接受到一个响应，无论响应成功戒失败。 Partition tolerance(分区容错性)，当出现网络分区故障时系统的容错能力 自我保护机制 前面提到的缓存机制，保证了ServiceCenter在etcd出现网络分区故障时依 然保持可读状态，ServiceCenter的自我保护(Self-preservation)机制保证 了Provider端与ServiceCenter在出现网络分区故障时依然保持业务可用。 ServiceCenter在一个时间窗内监听到etcd有80%的实例下线事件，会立即 启劢自我保护机制。

使能多微服 务技术栈开 发的微服务 应用之间协 同工作和共 同治理 使能满足第三 方认证被广泛 采纳的趋势下 认证鉴权的性 能和安全的要 求 帮助企业用 户达成业务 模型和数据 集成标准统 一 通过易于理 解的数据和 入口，管理 复杂的分布 式系统配置 多语言运行环境 服务中心异构通信 微服务鉴权 分布式系统配置中心 微服务契约工具 Apache ServiceComb [Website] 发布契约 ServiceComb 契约开发工具 开发微服务 测试微服务 客户+集成商 软件提供商 部署微服务 契约仓库 微服务 运行环 境 验收微服务 协同实现基于契约（API）的数据、服务标准化管控 划分微服务 （含依赖关系） 定义契约 （接口和模型） 发布契约 微服务 运行环 境 验收微服务 基于OpenAPI规范 全新微服务开发 遗留应用微服务化改造 Maven https://github.com/apache?q=servicecomb Syncer是一个多服务中心的同步工具，对应用程序透明。专为大型微服务架构设计，实现不同的微服务技术栈实现的微服 务业务可以进行数据通信，未来可支持跨云的数据通信支持 • 项目地址：https://github.com/apache/servicecomb-service-center/tree/master/syncer Syncer -

为公众利益提供免费的软件。 第⼀个项⽬ 第⼀个项⽬ 世界上使⽤最⼴的服务器 ⾄2019已经成⽴24年 (加⼊ASF 20年) Apache 项⽬涉猎领域 Apache 项⽬涉猎领域 ⼈⼯智能 AI IoT ⼤数据 ⾦融管理 ⽓候变化 Apache项⽬还没有涉猎的领域[Yet] Apache项⽬还没有涉猎的领域[Yet] 机器⼈ ⾃动驾驶 星际探索 区块链 也有可能是你的项⽬ ASF 提供了项⽬的治理 — 公益贡献 ⾼质量的代码 — 众多的开发者可以从不同⻆度审视代码 合作与竞争 — 竞争对⼿可以通过开源项⽬合作共赢 “免费的”培训 — 通过社区培训新的开发者省时省⼒ 法律保护 — ASF为贡献者提供法律保护 Apache孵化器 Apache孵化器 提供⼀个官⽅进⼊Apache 软件基⾦会途径。 通过导师为社区提供 Apache之道的培训。 Apache孵化器解读 Apache孵化器解读

使能多微服 务技术栈开 发的微服务 应用之间协 同工作和共 同治理 使能满足第三 方认证被广泛 采纳的趋势下 认证鉴权的性 能和安全的要 求 帮助企业用 户达成业务 模型和数据 集成标准统 一 通过易于理 解的数据和 入口，管理 复杂的分布 式系统配置 分布式系统配置中心 服务中心异构通信 多语言运行环境 微服务鉴权 微服务契约工具 Apache ServiceComb 面对用户痛点持续创新 ServiceComb 契约开发工具 开发微服务 测试微服务 客户+集成商 软件开发商 部署微服务 契约仓库 微服务 运行环 境 验收微服务 协同企业遗留系统微服务化快速改造，实现基于契约的数据、服务标准化管控 微服务契约工具 https://github.com/apache/servicecomb-toolkit ServiceComb toolkit 提供契约、代码、文档相互转换和 Syncer Register Instances Discover Serf(Gossip) Syncer Follower Syncer Follower Etcd(raft) 服务实例数据通道 Syncer集群间的消息通 道 Syncer Leader Eureka/Consule /Istio/K8S… Register Instances Discover https://github

使能多微服 务技术栈开 发的微服务 应用之间协 同工作和共 同治理 使能满足第三 方认证被广泛 采纳的趋势下 认证鉴权的性 能和安全的要 求 帮助企业用 户达成业务 模型和数据 集成标准统 一 通过易于理 解的数据和 入口，管理 复杂的分布 式系统配置 多语言运行环境 服务中心异构通信 微服务鉴权 分布式系统配置中心 微服务契约工具 19 年Apache ServiceComb新品发布 电子印章 报表 电子凭证 工作流 标准存储 数据交换 …… 财政微应用 预算 编制 指标 管理 …… 财务微应用 会计 核算 项目 库 …… 统一基础 数据规范 统一财政 业务数据 标准存储 统一应用 支撑平台 总账结构 统一纵向 层级交换 机制 统一信息 安全体系 软件开发服务 ServiceStage 大数据服务 系统集成服务 IaaS（计算、存储、网络、安全） IaaS（计算、存储、网络、安全） 中间件服务 标准与规范 应用全微服务化，接口标准由财政厅统一管控， ISV只需聚焦微服务交付，降低依赖性 统一业务模型和数据集成标准，系统无缝对接， 财政数据统一呈现，业务全盘管控 基于先进研发理念，标准化研发环境和工具， 开发效率高，财政需求上线快 解除ISV绑定 降低业务监管难度 新需求上线快 案例：助力S省财政厅数字化转型 综控端 无人机管理系统 （单体架构）

Worker/Beekeeper 9. Worker/Beekeeper处理请求并返回 处理结果给Manager 10. Manager返回处理结果给用户 Manager为用户唯一接口人，主要功能有 • 认证用户，保护Worker，以免非法用户骗取服务并逃避服务费用； • 联系能力相符的Worker ，平衡工作量，避免单个Worker超载； • 管理Project archiv，避免重复工作，保证Company收益最大化。

及标准化化运营 活动数据，消费者数据，媒体 数据，车联网数据等，全渠道 数据收集追踪，建立数据分析 模型，辅助业务的决策优化 大数据分析 及应用 线上数字化布局 线下数字化布局 车联网及线下店端消费者旅程与线上消费 者旅程相结合，设计多种跨渠道跨屏互动， 引导进店消费者通过扫码，配车，留资等 行为整合线上数据 利用人脸识别等多种技术及平台，通过可 配置用户聚类评级模型和数据处理算法， 实现消费者深度洞察，提高销售线索质量 及转化率，助力经销商销售 新媒体营销数字化布局 从微信营销及小程序开始布局其他新兴媒体渠道，如抖 音，汽车之家等，基于360°消费者画像的精准营销触达。 营销触达数据实时跟踪分析，形成数据闭环 消费者权益及服务数字化布局 建设“一个会员、分众运营、复合模式”的会员体 系以及差异化个性化的会员权益服务体系，打造 “不止于车”的车生活异业联盟生态圈 4 github 以智能化，可持续发展思路，打造车企C2B2C用户体验优化闭环。  可配置适应业务生长，帮助企业更快速、灵活地应对不断变化的市场需求，随时调整业务模式快速配置，以最低成本适应弹性的数据需求。 • 主机厂/经销商、线上/线下线索管 理集中化 • 线索/会员/车主服务集中化 • 数据集中化 集中化 • 用户体验能力标准化 • 外部接口标准化 • 营销能力标准化、营销形式个性化 标准化 • 线索清洗评分智能化、智能分流 •

核心交易平台 风控审核平台 计算资源 (CPU) 存储资源 (内存|磁盘) 网络资源 (ip|端口|带宽) 中间件层 微服务框架 服务元数据管理 服务发布 服务订阅 消息中间件 消息元数据管理 消息生产 消息消费 job调度系统 job元数据管理 job发布 job调度 配置中心 mq管理系统 调用链路 系统 监控告警 系统 发布系统 服务注册 中心 服务治理 机器准备周期长，紧急 情况无法应对 大促后机器闲置率高，资 源浪费巨大 混合云需求分析 机器资源按需 申请 01 接入层按url调 度流量 02 服务层set化的 路由策略 03 数据层读请求 上云，写请求 回自建idc 04 流量大户上云，顶住流量洪峰 机器器资源按需分配 接入层URL粒度流量调度 LB DNS app/browser Nginx-Proxy Nginx-Proxy 越来越大，怎么破？ 单元化&多活的范围 boss 客服系统 销售系统 风控审核 催收系统 政策管理 prod devops 监控系统 调用链路 日志系统 …… oa 人事系统 智能推荐 大数据 AI/BI …… 交易平台 电商 现金 信用卡 会员 桔子理财 风控平台 用户增长 发布系统 故障时，只影响内 部办公相关的公司 经营活动，不影响 用户下单交易 故障时，间接或部分影响用户

微服务架构模式 ServiceComb实践 案例 Agenda servicecomb.apache.org github.com/apache?q=servicecomb 面向开发者的数据中心演进 数据中心服务器虚拟化： Google，亚马逊等公司 以资源为中心： • AWS EC2，S3，Route53 • OpenStack • CloudStack • 混合云 以应用为中心： ARM CCI 虚机 CCE servicecomb.apache.org github.com/apache?q=servicecomb 围绕应用构建平台功能 • 操作的起点为应用 • 数据库，缓存服务，容器平台等围绕应用创建 应用 RDS DDM DMS DCS CCE ECS ELB 监控 软件中心 流水线 servicecomb.apache.org github github.com/apache?q=servicecomb 缺少了什么 • 流水线，平台等自动化手段的完备，使得开发人员开始思考业务功能的拆分，复用，使得网络拓扑更加复杂 • 从过去“数据中心网络拓扑几乎没变化”变为“应用发布，应对业务流量，随时随地的网络拓扑变化” • 平台功能解决了应用运行时之前的种种问题，但为了将应用的运行时统一治理，保障业务可靠运行，需要引入微服务框架 来解决分布式系统中的难题