微服务体系下的混合云&同城双活 实践探索 康彬（robinkang） 乐信/架构总监 康彬（robinkang） 乐信/架构总监 14年研发及管理经验，从0到1组建了乐信架构团队， 主导并推动了乐信集团业务系统从单体应用架构向微服 务架构的演变、从 php 技术栈向 java 技术栈的无缝转 型，从私有云向混合云的进化，及新一代的同城双活技 术架构的研发与落地工作 信用成长成就品质生活 信用成长成就品质生活 • 大促的痛及混合云实践 • 单元化&双活的应用场景 • 同城双活的探索之路 • 未来的规划 大促的痛及混合云实践 业务服务层 资源层 分期乐 前端业务服务 桔子理财 鼎盛资管 …… mq管理系统 job管理系统 中台服务层 核心交易平台 风控审核平台 计算资源 (CPU) 存储资源 (内存|磁盘) 网络资源 (ip|端口|带宽) 中间件层 微服务框架 发布系统 服务注册 中心 服务治理 系统 api-gateway 获客 授信 下单 还款 大促的痛 机器准备周期长，紧急 情况无法应对 大促后机器闲置率高，资 源浪费巨大 混合云需求分析 机器资源按需 申请 01 接入层按url调 度流量 02 服务层set化的 路由策略 03 数据层读请求 上云，写请求 回自建idc 04 流量大户上云，顶住流量洪峰

1版本，你希望只让一部 分用户进行体验，那么你可 以定义Header带有device- os=android就将95%流量转 移版本为1.0的实例中，5% 转移到1.1版本 • 请求者的元数据中带有 env=production，那么要将 路由到元数据中带有 env=production的实例中 基于元数据的路由管理十分灵 活，可以满足用户大部分场景 Router Resolver Target Service Consumer service Huawei Confidential Adaptor 11 ServiceComb Service Center架构演进 - 支持多注册中心 - 拥抱混合云架构 - 同时支持客户端自注册与平台注册 - 打通k8s与虚机等基础设施，可实现VM向容器平滑迁移 Service Center k8s adaptor etcdadaptor Service adaptor Registry k8s k8s Service center Service center etcd Huawei Confidential 12 一站式解决方案：开发框架与Mesher混合使用 - 基于ServiceComb解决方案，Mesher，go chassis等组件，打造华为公有云微服务引擎 - 支持java，go语言编程框架和多语言接入 - 支持异构基础设施 - 对接多种监控系统

面向开发者的数据中心演进 数据中心服务器虚拟化： Google，亚马逊等公司 以资源为中心： • AWS EC2，S3，Route53 • OpenStack • CloudStack • 混合云 以应用为中心： • Heroku • GAE • CloudFoundry 容器时代： • Docker • Kubernetes • CaaS • Container Instance 开发者不需要知道应用部署到容器还是虚机中，只需要像过去一样开发应用 • Java，Go，Nodejs等语言可部署到ARM，x86不同的基础设施中 • 完善的自动化促使组织能够管理大规模，快速的部署应用实例，应对业务流量，需求的变化 源码 软件中心 流水线 构建 归档 部署 配置中心 java python go nodejs php war jar 压缩包 二进制 Docker镜像 电子凭证 工作流 标准存储 数据交换 …… 财政微应用 预算 编制 指标 管理 …… 财务微应用 会计 核算 项目 库 …… 统一基础 数据规范 统一财政 业务数据 标准存储 统一应用 支撑平台 总账结构 统一纵向 层级交换 机制 统一信息 安全体系 软件开发服务 ServiceStage 大数据服务 系统集成服务 IaaS（计算、存储、网络、安全） 中间件服务

03 思考 微服务架构引入的问题 6/30/2018 什么是Service Mesh • 一种基础设施层，服务间 通信通过Service mesh进 • 一种TCP/IP之上的网络模 型行 • 一个轻量的网络代理，与 业务部署在一起 • 可靠的传输复杂网络拓扑 中的服务请求，将服务变 为现代的云原生服务 Website: http://servicecomb.incubator 1版本，你希望只让一部分 用户进行体验，那么你可以 定义Header带有device- os=android就将95%流量转 移版本为1.0的实例中，5% 转移到1.1版本 • 请求者的元数据中带有 env=production，那么要将 路由到元数据中带有 env=production的实例中 基于元数据的路由管理十分灵 活，可以满足用户大部分场景 Router Resolver Target Service 作业 人员 系统维护 作业 人员 系统维护 楼宇内各空间位置信标及资产标签 楼宇内各空间位置信标及资产标 签 3G/4G 服务台 管理者 管理者 楼宇1 楼宇n 高级管理 系统维护 华为云存储 楼宇设施管理 楼宇设施管理 • PHP语言开发，遗留单体服务快速改造为分布式架构 • 负责公司内部的楼宇设施管理，使用mesher改造后，帮 助客户将软件改造为SaaS服务，为更多企业提供服务

-fence 多种应用 场景支持 对接第三方认 证鉴权服务 多种认证 模式支持 简化模式 授权码模式 密码模式 客户端模式 灵活架构 模式 纯Session模式 纯Token模式 混合模式 • 开箱即用：提供了默认的Authentication Server、Edge Service、Resource Server实现，简化用户开发难度 • 开发简单：提供配置文件和Annot 配置权限，支持权限配置和代码逻辑分离，也支持在使用Annotation声明式 的权限配置，相辅相成。 • 第三方认证支持：采用Open ID协议，对接Github等三方认证系统。 • 安全高效：混合Token模式和Session模式，满足性能和安全性的最佳组合。 • 快速入门 https://github.com/apache/servicecomb-fence/blob/master/d 内部生效的key规则 -所有的key集中在一种类型的视图中管理，管理成本高。 -不断增长的规则定义，越来越复杂，人类不可读。 -Key设计无法扩展变更，没法轻易变更数据结构 Kie - 语义型分布式系统配置中心 core API storage config map cache backends K8s operator Consul operator dao config

Syncer Register Instances Discover Serf(Gossip) Syncer Follower Syncer Follower Etcd(raft) 服务实例数据通道 Syncer集群间的消息通 道 Syncer Leader Eureka/Consule /Istio/K8S… Register Instances Discover https://github ID协议，对接微信、微博等三方认证系统。 • 安全高效：混合Token模式和Session模式，满足性能和安全性的最佳组合。 https://github.com/apache/servicecomb-fence 微服务鉴权 多种应用 场景支持 对接第三方认 证鉴权服务 多种认证 模式支持 简化模式 授权码模式 密码模式 客户端模式 灵活架构 模式 纯Session模式 纯Token模式 混合模式 8 github

电商 会员体系 安全体系 协同平台 价值体系 流程体系 第三方渠道 展会 数字 展厅 PC门户 企业微信 官网 短信 小程序 公众号 标准体系 标签体系 数据 中台 …… 存储服务 安全服务 接口网关服务 日志服务 网络服务 …… 短信服务 技术 中台 ……. 消费者互动数据 消费者账号 消费者基础信息 消费者交易数据 消费者服务数据 ….. 人 人车关系数据 车况数据 com CRM 业务网关 服务实例#N （基于Apache ServiceComb Edge Service) 客户和线索 服务实例 #N （SpringBoot + 华为 云CSE） 工单 服务实例#N （SpringBoot + 华 为云CSE） 系统管理 服务实例 #N （SpringBoot + 华 为云CSE） 阿里云集成 服务实例 #N （SpringBoot （SpringBoot + 华 为云CSE） 客户和线索 数据库 工单 数据库 系统管理 数据库 CCC + 客服 数据库 更多新业务 服务实例 #N （SpringBoot + 华 为云CSE） UAT和PROD使用CSE企业版; 本地开发和SIT使用本地轻量级CSE服务 服务中心 （>Eureka） 配置中心 （etcd增强） 治理中心 （Hystrix+Rib bon增强）

ServiceComb子系统 Saga 分布式事务解决方案 服务中心 Java微服务SDK Go微服务SDK ServiceMesh ServiceCenter 是一个使用Go构造的、建立在etcd存储上的高性能、高 可用服务中心。 Java Chassis是一个由编程模型、运行模型、通信模型和服务契约四个 部分组成的微服务框架。 Saga 是一个微服务数据一致性解决方案。 ServiceComb的开放性设计 Service Center • 服务注册/服务发现 • 微服务元数据与依赖管理 • 支持监听服务实例状态变更 • 服务实例管理 • 高性能、高可靠 • 性能监控与调用追踪 特性介绍： Java-Chassis 分布式追踪 • 支持标准的分布式调用追踪Zipkin • 支持通过@span扩展自定义追踪 基于Pack模型的新构架 由 Alpha 和 Omega组成 •Alpha充当协调者的角色，主要负责对事务的 事件进行持久化存储以及协调子事务的状态，使 其最终得以与全局事务的状态保持一致，即保证 事务中的子事务全执行，或全不执行。 •Omega是用户程序侧代理，负责对网络请求 进行拦截并向Alpha上报事务事件，并在异常情