大规模微服务架构下的Service Mesh探索之路大规模微服务架构下的 Service Mesh探索之路 敖小剑6月初在深圳举行的GIAC全球互联网架构大会上,蚂蚁金服第一次对外 透露了开发中的Service Mesh产品——Sofa Mesh。 今天我们将展开更多细节,详细介绍蚂蚁金服Sofa Mesh的技术选型, 架构设计以及开源策略。 前言技术选型 Technical 1ü 性能要求 • 以蚂蚁金服的体量,性能不够好则难于接受 Registry Open Service Registry API Data Sync Dubbo Eureka Consul 1. 增加Sofa Registry的adapter,提供 超大规模服务注册和发现的解决方案 3. 增加服务注册的API 2. 增加数据同步 功能,配合edge sidecar实现跨域 和异构的数据交换Edge Sidecar: 东西向服务间通讯的特殊桥梁 服务注册中心0 码力 | 37 页 | 7.99 MB | 6 月前3
在大规模Kubernetes集群上实现高SLO的方法0 码力 | 11 页 | 4.01 MB | 1 年前3
KubeCon2020/腾讯会议大规模使用Kubernetes的技术实践0 码力 | 19 页 | 10.94 MB | 1 年前3
超大规模深度学习在美团的应用-余建平超大规模深度学习在美团的应用 余建平 美团点评用户平台研究员 自我介绍 自我介绍 2011年硕士毕业于南京大学计算机科学与技术系。毕业后曾在百度凤巢从事机器学习 工程相关的工作,加入美团后,负责超大规模机器学习系统,从无到有搭建起支持千亿 级别规模的深度学习系统,与推荐、搜索、广告业务深度合作,在算法上提供从召回到 排序的全系统优化方案,在工程上提供离线、近线、在线的全流程解决方案。 。 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX MLX平台目标 MLX平台架构 • 模型场景应用 召回模型 排序模型 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX MLX平台目标 MLX平台架构 • 模型场景应用 召回模型 排序模型 美团超大规模模型应用场景 美团推荐 美团搜索 美团广告 美团应用场景简介 美团超大规模模型场景简介 • 超大规模机器学习MLX MLX平台目标 MLX平台架构 • 模型场景应用 召回模型 排序模型 超大规模模型的有效性 • VC维理论 描述模型的学习能力:VC维越大模型越复杂,学习能力越强 机器学习能力 = 数据 + 特征 + 模型 • 数据 海量数据: 美团的亿级用户、千万级POI • 特征 大规模离散特征 >0 码力 | 41 页 | 5.96 MB | 1 年前3
蚂蚁金服双十一 Service Mesh 超大规模落地揭秘蚂蚁金服双十一 Service Mesh 超大规模落地揭秘 黄挺(鲁直) 蚂蚁金服微服务以及云原生负责人 雷志远(碧远) 蚂蚁金服中间件 RPC 负责人2 个⼈人简介 雷志远(碧远) 蚂蚁金服 RPC 负责人 主要 Focus 领域: * 服务框架:SOFARPC(已开源) * Service Mesh:MOSN(已开源) 黄挺(鲁直) 蚂蚁金服云原生负责人 主要 为什么要 ServiceMesh-结论-方案 应用A 应用 应用B 应用C 应用D 应用E SOA 解耦了不同的业务团队之前的耦合 服务注册中心客户端 限流熔断客户端 动态配置客户端 故障注入客户端 Service Mesh 解耦了业务开发与基础团队之前的耦合 应用代码 业务应用开发 基础设施开发 Mesh 化10 三、方案落地 方案落地11 最终选型:自研数据面+轻量0 码力 | 26 页 | 2.71 MB | 6 月前3
阿里巴巴超大规模神龙裸金属 Kubernetes 集群运维实践周 涛 (广侯) 阿里巴巴 云原生应用平台 技术专家 阿里巴巴超大规模神龙裸金属 Kubernetes 集群运维实践 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •嵌入式、微服务框架 •2017 年加入阿里巴巴,负责阿 里集团数十万集群节点规模化运 维管理系统的研发工作 •2019 年参与集团全面上云项目 并经历了整体架构的云原生升级 演进,稳定支撑双11峰值流量分享内容 演进,稳定支撑双11峰值流量分享内容 • 阿里全站上云 • 神龙 (what & why) • 规模化集群运维实践 • 未来工作云原生全景图阿里全站上云 • 2018年底:阿里经济体全面上云 • 2019上云第一仗:基础设施上云 • 双11顺利通过峰值流量考验神龙 X-Dragon • 全称:弹性裸金属服务器(神龙) • 阿里造“神龙”神龙 X-Dragon • 优势: • 性能 • 弹性 的探索和创新成为 可能 • ASI (k8s) + 容器 (runc / runv / kata / ..) + 神龙 = 阿里云原生化 的最佳组合 • 最大的电商平台之一,并池最佳化资源利用率 • 大规模混部、优先级差异化提升资源使用效率 • Alibaba Serverless Infrastructure (ASI) 的基石上云效率提升 物理机 (云下) 神龙裸金属 (云上) 交付周期 周 分钟级0 码力 | 21 页 | 7.81 MB | 6 月前3
运维上海2017-Kubernetes 在大规模场景下的service性能优化实战 - 杜军0 码力 | 38 页 | 3.39 MB | 1 年前3
从推荐模型的基础特点看大规模推荐类深度学习系统的设计 袁镱IEG,CSIG,QQ⾳乐,阅⽂等业务的部分推 荐场景 � 袁镱 博⼠,专家⼯程师 � 研究⽅向:机器学习系统,云计算,⼤数据系统 � 负责腾讯平台与内容事业群(PCG)技术中台核 ⼼引擎:⽆量系统。⽀持⼤规模稀疏模型训练, 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程,场景与⽬标 Serving系统 Embedding以稀疏的⽅式表达信息 ⼤规模推荐模型深度学习系统基本解决维度 分布式 系统 ⼤规模 模型 优化 算法 1. ⾼性能 2. 效果⽆ 损的优化 � Feature 1(基本特点) � Feature 2(数据的时空 特点) � Feature3(机器学习 的特点) ⼤规模推荐模型深度学习系统基本解决维度 分布式 系统 ⼤规模 模型 优化 算法 1. ⾼性能 训练端⽣成⾼频参数集 独⽴通道上线 降低请求⽑刺 Feature 2.1: 短时间内只 有部分参数被⽤到 Feature 2.2 Hotkey变化慢 ⼤规模推荐模型深度学习系统基本解决维度 分布式 系统 ⼤规模 模型 优化 算法 1. ⾼性能 2. 效果⽆ 损的优化 � Feature 1(基本特点) � Feature 2(数据的时空 特点) � Feature3(机器学习0 码力 | 22 页 | 6.76 MB | 1 年前3
逐灵&木苏-阿里巴巴 K8S 超大规模实践经验曾凡松、汪萌海 阿里云云原生应用平台 阿里巴巴 k8s 超大规模实践 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT自我介绍 •曾凡松(逐灵),当前主要负责 k8s 在阿里巴巴场景中的规模化落地,将 k8s 应用于阿里最核心的业务,帮助客 户以云原生的方式管理应用并获得效率、 稳定性及成本的改善。 •汪萌海(木苏),经历了阿里巴巴集团 集群调度从自研 sigma 系统迁移到 系统迁移到 k8s 体系的过程,目前主要负责解决阿 里巴巴集团在大规模场景下使用 k8s 碰到的稳定性、容器编排质量和性能问 题。❖ 阿里巴巴容器的发展历程 ❖ 基于 k8s 云原生改造实践 ❖ k8s 规模及性能优化实践 ❖ 云原生应用管理演进路线 主要内容阿里巴巴容器的发展历程 2013 初步探索 使用容器的方式替换传统使用 VM 部署应用的,基于 lxc 自研 了 t4 容器并构建了 技术成果,大幅降低了数据中心 的资源成本 2019 全面拥抱云原生 阿里业务全面上云,运维体系全 面拥抱云原生,基于 k8s 生态在 阿里内部蓬勃发展。在 2019 双 11 中,k8s 体系支撑了阿里史上 规模最大的集群,并提供了极速 的应用扩容体验 2015 野蛮生长 体验到使用容器部署应用的优势 后,阿里内部发展出众多的运维 平台,包括 AliSwarm,Zeus, Hippo 等,极大地降低了业务运0 码力 | 33 页 | 8.67 MB | 6 月前3
22-云原生的缘起、云原生底座、PaaS 以及 Service Mesh 等之道-高磊应用丰富及架构演进带来的开发和运维复杂性 本地IDC 虚拟化 超融合 公有云 …… 测试环境 生产环境 复杂的应用软件架构,在开发、测试、运维 团队之间建成了认知的“墙”,团队间配合效 率低,故障排查慢,阻碍了软件价值的流动 无法满足用户对于业务快速研发、 稳定交付的要求 场景 1 如果生产中一台Web应用服务器故障,恢复这台服务器需要 做哪些事情? K 8 s 等 容 器 编 排 软 件 相 继 出 现 2 0 0 9 年 阿 里 云 飞 天 系 统 诞 生 聚焦于CapEx到OpEx的转变,但是应用依然需要自己解决稳定性问题 企业开始摸索大规模上云的可能性,而同时微服务架构开始出现。 2 0 0 0 年 F r e e B S D 提 出 容 器 , 而 资 源 隔 离 能 力 早 在 1 9 7 5 年 就 已 经 存 在 2003年Docker兴起,但云原生架构依然 产品|数据|应用|技术架构师 架构咨询团队 企业自己决定 云原生平台+架构咨询团队 数据平台 DevOps 微服务 PAAS 容器云 客户群体与规模 电信 制造 金融 服务业 政府 互联网 350.2亿 云原生采用规模占比与市场总规模 58% 11% 10% 8% 5% 5% 数据来源:中国云原生产业联盟2019 私有云市场规模 645.2亿 投 入0 码力 | 42 页 | 11.17 MB | 6 月前3
共 176 条
- 1
- 2
- 3
- 4
- 5
- 6
- 18













