微服务结合容器云平台的思考和实践 2018.06.25 徐运元关于我 2008年毕业于浙江大学，曾在思科和浙大网新有超过 9年的工作经验和5年的云计算领域工作经验，带领团 队完成公司第一代基于Kubernetes的云平台开发和第 二代基于Kubernetes的DevOps云平台开发 来自于浙江大学SEL实验室目录 CONTENTS Kubernetes平台下的微服务演进 Pilot核心功能解读 易于访问的外围（负载均衡） • 服务注册和发现 致富问题 • 认证和授权 • 智能路由 • 流量管理 • 服务降级 • … • 微服务拆分原则 • 业务API设计 • 数据一致性保证 • 可扩展性考虑 • …Kubernetes对于微服务的支撑 功能列表 详情 快速资源分配 容器编排和调度 服务部署&弹性伸缩 Deployment 服务注册&服务发现 Service概念和分布式DNS API网关 终端用户认证Istio的核心组件 • Envoy 是一个高性能轻量级代理，它掌控了service的入口流量和出口流量，它提供了很多内置功能，如动态负 载服务发现、负载均衡、TLS终止、HTTP/2 & gRPC流量代理、熔断、健康检查等功能。 • Mixer 翻译过来是混音器，Mixer负责在整个Service Mesh中实施访问控制和使用策略。Mixer是一个可扩展组 件，内部提供了多个模块化的适配器(adapter)。

以蚂蚁金服的体量，性能不够好则难于接受 • 架构与性能之间的权衡和取舍需要谨慎考虑 ü 稳定性要求 • 以蚂蚁金服的标准，稳定性的要求自然是很高 • 高可用方面的要求很非常高 ü 部署的要求 • 需要用于多种场合：主站，金融云，外部客户 • 需要满足多种部署环境：虚拟机/容器，公有云/私有云，k8s • 需要满足多种体系：Service Mesh，Sofa和社区主流开发框架 Service Mesh落 维持版本更新，同步升级 未来肯定会开源 可扩展和可定制化是必备的 可 控 性 社 区 支 持 技术输出 内部落地 如何让开源产品接受我们的改动？ 如何让社区和客户认可我们的产品？开源方案选择之第一代Service Mesh Linkerd • 无控制平面 • Scala编写，基于JVM资源消耗大 • 可扩展性有限，dtab不易理解和使用 • 功能不能满足蚂蚁的需求，没法做到 类似envoy API • 设计优秀，性能和稳定性表现良好 • C++编写，和蚂蚁的技术栈差异大 • 蚂蚁有大量的扩展和定制化需求 • 我们非常认可envoy在数据平面上的表现开源方案选择之第二代Service Mesh Istio • 第一选择，重点关注对象 • 奈何迟迟不能发布生产可用版本 • 性能和稳定性远远不能满足蚂蚁的 要求 • 但我们非常认可Istio的理念和方向 Conduit •

如web assembly技术，还有产品形态上的创新，如google traffic director对servicemesh的虚拟机形态的创新支持。 在ServiceMesh出道四年之际，也希望和大家一起带 着问题来对ServiceMesh未来的发展进行一些深度思 考。 标题中续字的缘由Part 0：灵魂拷问 你是什么垃圾？ 你清楚你的定位吗？ 你配吗？ 你是什么东西？ 你算什么东西？ 为什么Istio选择Mixer和Proxy分离的架构？ Part 1：ServiceMesh灵魂拷问一：要架构还是要性能？ Proxy Mixer In- Process Adapter Infrastructure Backend Proxy 优点： • 架构优雅，职责分明，边界清晰 • Mixer的变动不影响Proxy • Proxy无需和Adapter耦合 • 读取配置 Mixer v1 架构的优点 • 集中式服务： • 提高基础设施后端的可用性 • 为前提条件检查结果提供集群级别的全局2级缓存 • 灵活的适配器模型，使其以下操作变得简 单： • 运维添加、使用和删除适配器 • 开发人员创建新的适配器（超过20个适配器）Part 1：ServiceMesh灵魂拷问一：要架构还是要性能？ Mixer v1 架构的缺点 • 管理开销 • 管理Mixer是许多客户不想负担的

request（MR）请求合并到 develop 分支； • 4. MR 触发 Jenkins，Jenkins/Drone 触发 Sonar 代码质量检测系统； • 5. Sonar 将 report 和 issue 以 comments 的方式写到 Gitlab MR 中； • 6. Developer 对 MR 进行反复修复直至通过 Sonar 的分析； • 7. Reviewer 对 MR 进行 不是一种新团队； DevOps 不是一种新角色； DevOps 是一种文化：一切自动化，工具化，规范化；选择哪个 CI/CD 工具？Docker stats 查看 Docker 服务所占用的CPU和内存开销DroneDrone • 一款使用 Go 开发，基于容器技术的 CI/CD 系统，能够单独部署，支持几乎所有的 Git 平台（Github,Gitlab,Bitbucket,Gogs,Gitea ght-reading- go/blob/master/articles/sonarqube-for-golang/2018-07-22-sonarqube-for- golang.mdDrone 和 Jenkins 联调测试方法 本地即可测试 drone 上是否可以调用成功： >docker run --rm \ -e JENKINS_URL= -e JENKINS_USER=

0 码力 | 45 页 | 18.62 MB | 6 月前

3

通问题Service Mesh是下一代的SDN吗？ 通信网络 l 互不兼容的专有设备 l 基于IP的通信缺乏质量保证 l 低效的业务部署和配置 ... 微服务系统 l 互不兼容的代码库 l 不可靠的远程方法调用 l 低效的服务运维 ... 通信网络和微服务系统面临类似的问题：Service Mesh是下一代的SDN吗？ Network Layer Look at Solution Layer Programmable API APP ...... Data Plane Control Layer Application Layer通过Service Mesh控制面统一管理F5和Envoy https://aspenmesh.io/2019/03/expanding-service-mesh-without-envoy/ Control Plane Security Policy： Mesh 主要为7层 SDN对Service Mesh发展的启发： Ø 北向接口 • 面向业务和运维 • 具有较高的抽象层次，比较容易提取统一的控制面标准？ • 主要面向layer 7及以上？ • SMI能否统一控制面标准？如何避免成为最小公分母，扩展支持其它协议？ Ø 南向接口 • 面向流量和路由配置 • xDS v2将统一数据面标准？ • xDS接口包含有较多实现相关内容：Listener

• 物理机、sidecar • Local & Remote，主与备 • 轻量级客户端、本地调用 • Local Proxy负责服务治理与 远程通信 • Remote Proxy负责备份和非 主流流量 JavaApp Local Proxy OSP Server Service Registry Service Config Center Remote Proxy Cluster Proxy地址文件 • Mount到所有pod • 客户端容器监听文件，根据地 址文件找Proxy • 切换地址到remote proxy，轻 易实现优雅退出和滚动升级 • 增强隔离性 • Local Proxy被pod共享 • 自保护，对来源方限流和流量 转移 • 资源适配 • 根据宿主机的硬件配置定制不 同资源配置的Daemonset Local Proxy Pod 写入地址 监听变化 供主动GC、线程池隔离等 • 因为是内部项目，优雅性和治理效果之间，选择 了后者 App Local Proxy OSP OSP client App Envoy App EnvoyClient端不基于IPTable劫持 • Istio的设计很美好，但现实总是很残酷 • IPTable性能不总是足够好 • 任何组件都有不可用的时候。客户端无论如何都要有自切换的能力和可 用的备份 • 尽量减少外部

每一步都为下一步奠定基础 • 谢绝中途推倒重来 循序渐进 • 不要有一步登天的幻想，小步快跑 • 每一步的工作量和复杂度都控制在可 接受范围内 • 每一步都简单方便，切实可行 可操纵性 • 操作层面上要有足够的弹性 • 每个步骤都是可分批进行 • 步步为营，扩大战果 • 杜绝一刀切k8s和Service Mesh落地方案演进路线 部署在 非k8s上 不是Service Mesh形态 部署在K8s上 不现实 Istio的非k8s支 持投入产出比 太差 背景1：原生Istio无法支撑我们的规模 背景2：k8s（Sigma3.1）将加快普及 K8s普及在即， 不适合再大面积 铺开，快速会师ü 和路线1的核心差别 • 是先上k8s，还是先上Service Mesh • 而且是终极形态的Service Mesh（意味着更偏离目标） ü 好处是第一步（非k8s上向Sidecar模式演进）非常自然 在k8s还没有铺开前，先吃下非k8s下Sidecar模式快速落地的红利（路线2） - 然后避开非k8s下继续演进的大坑，回归长期目标（路线1） ü 好处（和路线2一样） • 在k8s未铺开前，先向前迈进一步，避免卡壳 ü 缺点 • 存在少量的投资浪费（不过和拿到的红利相比是值得的） ü 存在变数 • 是Sidecar模式的Service Mesh普及快？还是k8s普及快 ü 结论： • 特殊时期（k8s铺开前）的选择

杨彪 美团点评高级架构师 2019.10.26 Service Mesh Meetup #7 成都站原蚂蚁金服专家，著有《分布式服务架构：原理、 设计与实战》和《可伸缩服务架构：框架与中间件》 两本书。有近10年互联网、游戏和支付相关的工作 经验，目前从事产业互联网。 杨彪，美团高级架构师1 漫谈服务架构的演进史 2 微服务架构设计的现状 3 Service Mesh微服务设计 4 每个服务都尽量小，小到一个小团队能够很好的维护它； • 服务可独立部署，每次部署不会影响其他服务； • 每个服务都各自负责自己的数据和状态的存储，独立数据库； • 服务和服务之间通过设计良好的API接口通信，不暴露具体的实 现细节； • 各服务不需要统一技术栈，不需要共享公共库和框架；微服务究竟带来什么好处 Ready for market faster：快速响应市场地变化 Mix of technologies：多技术栈混合使用； Lack of governance：各服务可能技术栈不统一，不好统一管理；微服务和SOA究竟有什么区别 SOA MSASOA MSA 尽可能多的共享和复用 share as much as possible 尽量少的共享和复用 share as little as possible 要求统一和标准化 common governance and standards 提倡协作和自由

Discovery Service 是 Envoy 提出的 Sidecar 证书管理方案，方案的核心流程在于引入 SDS Server 进行密钥管理和分发，Sidecar 通过 gRPC 请求获取证书，并利用 gRPC stream 能力实现证书动态轮转。 当然，Sidecar 和 SDS Server 的通信也需要保证自身的通信安全，存在以下两种方案：  Sidecar 与 SDS Server 采用 mTLS Istio 基于 Envoy 的 SDS方案，实现了 SDS Server 和 SDS 配置管理。Istio 方案中选择 UDS 通信方案，Istio的 方案证书管理流程由 Citadel , Citadel Agent , Pilot 协同完成  Pilot 负责 UDS 路径配置下发，用户通过 Policy CRD 和 DestinationRule 来决策需要给哪些 Sidecar 下发 力，需 要分别控制 Server (Provider) 和 Client (Consumer)端的 TLS 行为  对于Server 端利用Istio 的Policy CRD 实现 Namespace + Service 粒度的开关控制  对于Client 端理想情况下，希望是通过Istio 的 DestinationRule 和 VirtualService 来控制。但由于相 关条件尚未具备，因此通过现有注册中心来控制

SDK 协议编解码 Sidecar （MOSN） + 服务发现 负载均衡 熔断限流 服务路由 …… - 专注业务实现 - 无需感知Mesh - 专注服务间通讯和相 关能力 - 与业务逻辑无关 将SDK客户端 的功能剥离 混合在一个进程内， 应用既有业务逻辑， 也有各种功能， 每次升级都要重新发布应用 业务进程专注于业务逻辑 SDK io/docs/reference/config/policy-and-telemetry/mixer-overview/14/39 Part 2： 在当下『路口』的思考 我们笃信云原生是『诗和远方』 图片来源： https://www.canva.com/photos/MADGyV8cijI-photography-of-snow-mountains-near-lake/15/39 数百个 数十万 应用 容器 <0.2ms 数千万 平均RT 峰值QPS 2019年9月，SOFAStack 双模微 服务平台入驻阿里云开始公测， 支持 SOFA, Dubbo 和 Spring Cloud 应用 对外输出19/39 Part 3： 蚂蚁金服的产品实践 SOFAStack 双模微服务平台 DB Advisor Pod Spring Cloud