Service Mesh Meetup #6 广州站 微服务改造事项 DNS-F在数据 库场景的落地 名字服务在负 载均衡场景的 落地 DNS-F在微服 务场景的落地 应用层探活 数据库故障 恢复时间长 服务故障牵 引慢，流量 接入生效时 间长 DNS生效慢 内部服务无 就近接入能 力 服务性能下 降流量不摘 除 实 例 切 换 能 力 秒 级 流 量 牵 引 能 力 D N S 负载均衡配置下发无状态改造 虎牙负载均衡部署的机器数百，配置下发的可靠性保障，一致性保障要求特别严格， 如果出现配置下发不及时，或下发配置失败，极大可能出现故障，同时负载均衡服 务弹性能力的要求较高，在业务高峰如果不能快速扩容，容易出现全网故障 传统配置下发方式 负载均衡配置固话在配置文件中， 节点操作需要人工上系统操作增减 节点 配置中心监听方式 客户端主动监听配置更新，配置秒 级生效，新扩容服务主动拉取全量 动态切换节点的能力 3、支付等业务， 对故障时间敏感， 手工切换无法满足需求 背景 目标 1、提供http，tcp的业务拨测能力， 能够按照预定条件进行对负载 均衡RS节点的摘除，屏蔽故障 2、保证拨测任务的SLA，能够按时执行，故障屏蔽秒级生效时间 方案介绍 落地效果 故障节点发现时间 之前分钟级 10s内 流量摘除生效时间 之前10分钟 30s内 故障屏蔽实效 之前10分钟 1分钟内

微服务体系下的混合云&同城双活 实践探索 康彬（robinkang） 乐信/架构总监 康彬（robinkang） 乐信/架构总监 14年研发及管理经验，从0到1组建了乐信架构团队， 主导并推动了乐信集团业务系统从单体应用架构向微服 务架构的演变、从 php 技术栈向 java 技术栈的无缝转 型，从私有云向混合云的进化，及新一代的同城双活技 术架构的研发与落地工作 信用成长成就品质生活 鼎盛资管 …… mq管理系统 job管理系统 中台服务层 核心交易平台 风控审核平台 计算资源 (CPU) 存储资源 (内存|磁盘) 网络资源 (ip|端口|带宽) 中间件层 微服务框架 服务元数据管理 服务发布 服务订阅 消息中间件 消息元数据管理 消息生产 消息消费 job调度系统 job元数据管理 job发布 job调度 配置中心 mq管理系统 调用链路 催收系统 政策管理 prod devops 监控系统 调用链路 日志系统 …… oa 人事系统 智能推荐 大数据 AI/BI …… 交易平台 电商 现金 信用卡 会员 桔子理财 风控平台 用户增长 发布系统 故障时，只影响内 部办公相关的公司 经营活动，不影响 用户下单交易 故障时，间接或部分影响用户 下单交易，但有降级方案来缓 冲、减少影响 故障时，只影响日

负载均衡，服务订阅（客户端LB，长连接） 3. 运行时依赖（Go） 4. 可靠性（BASE，最终一致性） 从服务注册中心到服务管理中心 1. 元数据 2. 依赖关系 3. 实例变化推送 4. 多租隔离 5. 高可用性保障 从服务注册中心到服务管理中心 元数据 1. 应用App，便于微服务可在多个应用间重用 2. 微服务名称，App内唯一 3. 微服务描述信息，让使用者可以快速了解到业务范畴等 tolerance(分区容错性)，当出现网络分区故障时系统的容错能力 从微服务到服务管理中心 1.实例缓存机制 从微服务到服务管理中心 2.心跳保活机制 从服务管理中心到etcd 1.异步缓存机制 从服务管理中心到etcd 2.异步心跳机制 自我保护机制 前面提到的缓存机制，保证了ServiceCenter在etcd出现网络分区故障时依 然保持可读状态，Servic 然保持可读状态，ServiceCenter的自我保护(Self-preservation)机制保证 了Provider端与ServiceCenter在出现网络分区故障时依然保持业务可用。 ServiceCenter在一个时间窗内监听到etcd有80%的实例下线事件，会立即 启劢自我保护机制。即使etcd存储的数据全部丢失，这种极端场景下， SDK与ServiceCenter之间可在不影响业务的前提下，做到数据自劢恢复。

左右、时延降低 28% 左右，CPU占用降低 56% 左右 实践-故障隔离 Website: http://servicecomb.incubator.apache.org/ Gitter: https://gitter.im/ServiceCombUsers/Lobby 利用ServiceComb的隔离仓技术，实现业务不同接口的故障隔离 充值服务 APP付费下载服务 APP评论服务 业务线程池 手机客户端 WAP客户端 图书门户 单点故障 故障扩散 故障扩散 无线程池隔离仓： 充值服务 开户服务 客户资料查询服务 其它非关键服务 隔离仓-1 隔离仓-3 手机客户端 WAP客户端 图书门户 单点故障 正常 正常 隔离仓-2 配置隔离仓： 通过配置线程池隔离仓，实现快 慢接口、读写接口、核心和非核 心接口、管理和业务接口的调度 隔离，提升微服务可靠性 Gitter: https://gitter.im/ServiceCombUsers/Lobby 通过ServiceComb的服务治理，保障业务的线上运行质量  服务目录  服务配置管理  服务灰度发布  微服务性能监控大盘  微服务治理策略 总结-微服务带来的收益 Website: http://servicecomb.incubator.apache.org/

tes Service Discovery Instance Cache Management Service center Huawei Confidential 9 基于微服务元数据的路由管理 • 匹配请求者header • 匹配请求者元数据信息 • 按权重引流 • Router使用统一配置模型，支持插件对接不同生态 请求特征： • Service Name • Headers 分用户进行体验，那么你可 以定义Header带有device- os=android就将95%流量转 移版本为1.0的实例中，5% 转移到1.1版本 • 请求者的元数据中带有 env=production，那么要将 路由到元数据中带有 env=production的实例中 基于元数据的路由管理十分灵 活，可以满足用户大部分场景 Router Resolver Target Service Infos: Service 华为ServiceMesh 华为云数据库 作业 人员 系统维护 作业 人员 系统维护 楼宇内各空间位置信标及资产标签 楼宇内各空间位置信标及资产标 签 3G/4G 服务台 管理者 管理者 楼宇1 楼宇n 高级管理 系统维护 华为云存储 Huawei Confidential 17 Huawei Confidential 18 Atlas UPredict Service Region

演 练 ） 应用管理平台（CAS） 生命周期管理 部署/卸载 启动/停止 升级/回滚 灰度发布 弹性伸缩 微服务运维 应用告警 日志分析 全链路拓扑 SQL分析 调用链 立体监控 方法追踪 事务洞察 微服务治理 负载均衡 限流/降级 熔断/容错 错误注入 黑白名单 微服务管理 注册中心 配置中心 治理中心 全局事务 契约管理 监控大屏 智能分析 智能分析 环境管理 开发环境 测试环境 预验证环境 灰度环境 生产环境 商业生态(aPaaS/SaaS) 行业 （政府、教育、医疗、零售、……） 伙伴 （软通、中软、幸宜、博思、医 信、……） 工具（CPE） 设计和开发 构建 测试 发布上线 监控运维 部署 流 水 线 （ 持 续 集 成 、 持 续 交 付 ） 扩展插件： Eclipse等 扩展插件： 静态检查等 infrastructure • 开发者不需要知道应用部署到容器还是虚机中，只需要像过去一样开发应用 • Java，Go，Nodejs等语言可部署到ARM，x86不同的基础设施中 • 完善的自动化促使组织能够管理大规模，快速的部署应用实例，应对业务流量，需求的变化 源码 软件中心 流水线 构建 归档 部署 配置中心 java python go nodejs php war jar 压缩包

Mesh的思考及在华为云 的实践 田晓亮 6/30/2018 9年软件⾏业经验，曾就职于三星，2012年进⼊云计算领域，对 PaaS， DevOps，APM有深⼊的研究和实践经验。⽅案⽀撑近 千台VM中应⽤部署管理监控 。华为云微服务引擎Mesher作者。 华为 架构师 田晓亮 website: http://servicecomb.incubator.apache.org/ gitter: https://gitter Kubern etes Consul Eureka Service Discovery Instance Cache Management Service center 基于微服务元数据的路由管理 • 匹配请求者header • 匹配请求者元数据信息 • 按权重引流 • Router使用统一配置模型，支持插件对接不 同生态 6/30/2018 Request 请求特征： • Service 用户进行体验，那么你可以 定义Header带有device- os=android就将95%流量转 移版本为1.0的实例中，5% 转移到1.1版本 • 请求者的元数据中带有 env=production，那么要将 路由到元数据中带有 env=production的实例中 基于元数据的路由管理十分灵 活，可以满足用户大部分场景 Router Resolver Target Service Infos: Service

com/apache?q=servicecomb servicecomb.apache.org ServiceComb 项目介绍 • Java Chassis 高性能的微服务框架，提供服务注册发现以及动态配置管理，以及限流降级， 容错熔断等服务治理功能 • Service Center 基于Etcd高性能，高可用服务注册中心 • Pack (Saga) 微服务事务最终一致性问题解决方案，提供一个集中式的事务协调器，协调微 – 代码库迁移，建立邮件列表, wiki,JIRA – 商标检索转移工作 – 清理代码，修改包名 – 按照ASF的要求准备第一个release 13 github.com/apache?q=servicecomb servicecomb.apache.org Apache孵化器 • 构建完善的社区 – 成立孵化项目管理委员会 PPMC – 没有在邮件列表发生的事情就没有真的发生 –

部门：应用平台服务 作者：王启军 日期：20190920 Security Level: 目录 1. 微服务拆分工具 2. 契约管理工具 Huawei Confidential 3 微服务架构的优势 因素 单体架构 微服务架构 交付速度 较慢 较快 故障隔离范围 线程级 进程级 整体可用性 较低 更高 架构持续演进 困难 简单 沟通效率 低 高 技术栈选择 受限 灵活 可扩展性 高 对工具的依赖 较低 较高 运维复杂度 低 高 Huawei Confidential 4 微服务架构的第一大问题——如何拆分微服务？ •影响因素 >团队大小 >交付周期 >业务方向 >故障范围 >现有数据规模 >吞吐量 >一致性 >…… Huawei Confidential 5 拆分不好，可能带来的问题 •拆分不好，可能带来的问题 >服务数量爆炸，运维复杂 >服务数量太少，不够灵活 移动互联网、物联网 • API是技术leader和架构师的控制力，API==契约 • API First，解耦各个服务的开发者 Huawei Confidential 13 ServiceStage契约管理工具—管控分离 Copyright©2018 Huawei Technologies Co., Ltd. All Rights Reserved. The information in this

人及孵化器候选项目 管理与监督基金会商 务与日常事务 IPMC Apache软件基金会 LC3大会 正式开源 2017.06 2017.11 2018.10 捐赠给Apache 进入孵化器 成为Apache 顶级项目 首个Apache微服务顶级项目 提供一站式的微服务开源解决方案，致力于帮助企业、用户和开发 者将应用轻松微服务化上云，实现对微服务应用的高效运维管理 华为开始实践 微服务 服务度量 通信模型 REST 边缘服务 熔断/容错 安全认证 分布式事务 标准契约管理 微服务脚手架 配置治理中心 POJO 编程模型 JAX-RS 编程模型 通信模型 RPC 插件式扩展 开箱即用 编程/通信模型分离 轻量级边缘服务 纯异步内核 内置监控治理 分布式事务方案 标准契约管理 复杂留给自己，极简留给用户 • 跨服务事务一致性 • 多语言，同时选型 • 灵活扩展、定制 应用之间协 同工作和共 同治理 使能满足第三 方认证被广泛 采纳的趋势下 认证鉴权的性 能和安全的要 求 帮助企业用 户达成业务 模型和数据 集成标准统 一 通过易于理 解的数据和 入口，管理 复杂的分布 式系统配置 多语言运行环境 服务中心异构通信 微服务鉴权 分布式系统配置中心 微服务契约工具 19 年Apache ServiceComb新品发布 面对用户痛点持续创新 财政业务应用