多云管下的自动化运维架构-刘宇QCon金牌讲师,QCon优秀出品人 目录 ① 行业趋势分析 ② 多云下运维的挑战 ③ 多云平台架构如何设计? ④ 困难以及挑战 资源统一管理 监控 账单 ⑤ 未来的展望 行业趋势分析 2017 年主流公有云故障 2018 年主流公有云故障 2019 年主流公有云故障 1% 的机率毁掉一家公司 行业趋势分析 多云下运维的挑战 Nginx Nginx LVS LVS Nginx Nginx DB DB Ngx Ngx LVS LVS Ngx DB DB Ngx Ngx LVS LVS Ngx DB DB 业务架构不不断演变 多云下运维的挑战 Ngx Ngx LVS LVS Ngx DB DB Region Ngx Ngx LVS LVS Ngx DB DB 机房 Ngx Ngx LVS LVS Ngx DB DB 海海外 云故障时,影响不及时 云故障时,影响不及时 —〉 不可控 集中式监控成本高 —〉 难统一 排查定位问题成本高 —〉 跨度大 业务成本难以核算 —〉 账单难处理 。。。 多云下运维的挑战 Gartner:云管理平台需要具备多云管理、自服务、计量计费、资源弹性及服务编排, 能够自动化部署和配置相关资源,可以与企业现有IT管理系统集成的服务化能力 云管平台架构设计 私有云 公有云 虚拟化 接⼝口适配0 码力 | 32 页 | 6.05 MB | 1 年前3
2.2.1通过Golang+eBPF实现无侵入应用可观测通过Golang + eBPF实现无侵入应用可观测 张海彬 阿里云 应用可观测技术专家 目 录 eBPF简介 01 eBPF在云原生场景下的应用 02 微服务可观测的挑战 03 Golang + eBPF实现数据采集 04 构建完整的应用可观测系统 05 eBPF简介 第一部分 eBPF简介 01. eBPF简介 eBPF = extended Berkeley Packet From:https://zhuanlan.zhihu.com/p/507388164 微服务可观测的挑战 第三部分 微服务可观测的挑战 应用:微服务架构、多语言、多协议 挑战1:微服务、多语言、多协议环境下,端到端观测 复杂度上升,埋点成本居高不下 Kubernetes 容器 网络、操作系统、硬件 基础设施层复杂度日益增加 如何关联? 挑战3:数据散落,工具多, 缺少上下文,排查效率低下 业务应用 应用框架0 码力 | 29 页 | 3.83 MB | 1 年前3
Flashcat 让监控分析变简单,Flashcat产品技术交流先的公有云提供商,采⽤多云架构,在可⽤性、弹性、成本、供应 商依赖、最佳实践等⽅⾯,拥有领先的优势,积累了丰富的经验。 相应的,多云架构也给技术团队带来了⼀定的复杂度和技术挑战, 最显著的就是如何⾼效的构建跨云的可观测性体系,提升故障发 现、问题排查、性能分析等⽅⾯的能⼒。 挑战: p 跨多云的监控数据权限管理难、安全隐患⼤ p 监控⼯具多且分散,维护和使⽤成本⾼ p 跨多云的故障发现和定位体系缺失,稳定性保 障难度⾼ 公司有众多的餐厅⻔店,各个⻔店业务流量不同,⻔店的IT 设备由于城市、开业时间等因素,其型号也不相同,服务 器、应⽤程序分散式部署,给应⽤管理、IT运维、以及先于 ⻔店发现问题,带来了极⼤的挑战。 痛点和挑战 p 如何⾼效的集中监控所有的⻔店? p 如何度量、发现、治理有 IT 隐患的⻔ 店? p 如何让总部 IT 先于⻔店发现故障? 解决⽅案: Flashcat 连锁⻔店集中监控⽅案,基于All-in-One0 码力 | 43 页 | 6.54 MB | 1 年前3
Zadig 面向开发者的云原生 DevOps 平台监控 / 告警 xN 版本归档 xN 交付追踪 xN 数据度量 xN 服务、工单管理 事件、缺陷管理 想 法 用 户 运行阶段 需求阶段 研发阶段 现代软件交付挑战:开发 5 分钟,上线 2 小时 服务一:设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务二:设计 | 代码编写 随着中国车企全球增长,海外业务拓展带来全球研发、交付、推广和运营挑战,在这出海挑战中,早期路特斯的软件交付流程 是基于 Jenkins 流水线设计的, Jenkins 的部署与数据中心一一对应。由于路特斯使用的是混合云,且数据中心遍布海外,导 致 Jenkins 数量庞大,随着业务扩张,早期架构难以适应快速变化,大量重复的事务性工作使得运维的人力捉襟见肘。 Zadig 的引入助力解决了这些挑战,推动了研发交付的数字化转型。0 码力 | 59 页 | 81.43 MB | 1 年前3
Zadig 面向开发者的云原生 DevOps 平台部署/灰度上线 xN 监控/告警 xN 版本归档 xN 交付追踪 xN 数据度量 xN 服务、工单管理 事件、缺陷管理 想 法 用 户 运行阶段 需求阶段 研发阶段 现代软件交付挑战:开发 5 分钟,上线 2 小时 服务一:设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务二:设计 | 代码编写 | 构建 | 测试 | 部署 | 发布 服务三:设计 | 代码编写 随着中国车企全球增长,海外业务拓展带来全球研发、交付、推广和运营挑战,在这出海挑战中,早期路特斯的软件交付流程 是基于 Jenkins 流水线设计的,Jenkins 的部署与数据中心一一对应。由于路特斯使用的是混合云,且数据中心遍布海外,导 致 Jenkins 数量庞大,随着业务扩张,早期架构难以适应快速变化,大量重复的事务性工作使得运维的人力捉襟见肘。Zadig 的引入助力解决了这些挑战,推动了研发交付的数字化转型。 选择0 码力 | 59 页 | 23.57 MB | 1 年前3
APM 深水区:构建连接运维与业务之桥-赵宇辰,能持续 “运行”、稳定“运转”即可。 复杂环境下的机遇与挑战 运 维 运 营 技术支持 职能分工 被动工作 不计成本 不出事就好 面向基础设施 的被动运维 稳定 安全 可靠 随着业务的不断创新,企业数字化转型的不断落地实践以及敏 捷开发过程的不断应用,复杂多元的IT运行环境也对传统运维 提出了巨大挑战。 用户感知 快速交付 数据分析 可视化 最大价值化 APM现状和痛点 • 什么是APM深水区 • 技术原理 • 实际案例 • 全面数据获取能力 • 全量数据获取能力 • 数据处理、分析能力 • 容器、分布式、微服务、serverless… 新技术挑战 自我介绍 目录 • APM现状和痛点 • 什么是APM深水区 • 技术原理 • 实际案例 用户操作:面向用户可实际操作并触发后续业务或完成 业务的各种动作单元。它是业务中的最小监测维度。0 码力 | 24 页 | 5.87 MB | 1 年前3
JumpServer ⼴受欢迎的开源堡垒机JumpServer 管控⼤规模资产并实现⾼并发访问 制造⾏业 万华化学通过 JumpServer 管理全球化分布式 IT 资产,并且实现与云管平台的联动 JumpServer 部分公开案例列表 客户挑战 • 农信社多分⾏的模式 需要多租户体系作为 ⽀撑; • 传统堡垒机不⽀持多 租户; • 每个租户需要进⾏独 ⽴的资源管理。 多租户 统⼀服务 海量录像 订阅模式 • 堡垒机需要作为江苏 持续增⻓ • 传统堡垒机按规模计费的⽅式⽆法应对持续增⻓的资产数量 • 需要 Web 接⼊和客户端接⼊的双模⽀持 • 需要逐步过渡到⽆插件化的使⽤⽅式 传统堡垒机⽅案 维护成本过⾼ 客户挑战 实现模式 JumpServer 堡垒机 X-Pack 增强包 组织 A ⽤户 组织 B ⽤户 组织 C ⽤户 管理员 身份验证 Authentication 账号管理 Accounting 资产纳管等功能。 • JumpServer 是核⼼ 运维安全审计系统; • 需要专业化的⽇常⽀ 持服务; • 需要提升 IT 运维团队 对 JumpServer 的使 ⽤能⼒。 客户挑战 ⼀周的时间内成功 将 JumpServer 堡 垒机从 0.3.2 的⽼ 版本升级⾄ 1.4.9 的新版本。 <1 周 版本升级 过万 台资产 ⽆缝过渡 迁 移 过 程 快 速 平 稳,超过0 码力 | 49 页 | 14.87 MB | 1 年前3
Uber 核心派单系统及其集群管理演化-李宁Braintree • 单数据中⼼心, Uber⾃自有 • 所有程序运⾏行行在Linux裸机 • ⼏几乎全部机器器都是单点故障 • 软件升级和变更更是⾼高⻛风险活动 • ⽆无法扩容 2014架构运维问题与挑战 • 流量量⼀一年年涨5倍 • 不不变的话, ⼏几个⽉月后会被流量量压垮 2016年年架构 Demand Supply Optic Disco Geobase RTAPI Eyeball Nearby Cars Plan request • 仍然运⾏行行在Linux裸机 • 服务管理理依赖Puppet和Clusto • 变更更管理理⽋欠缺 • 依赖关系混乱 2016架构运维运维与挑战 • 优步, 设⽴立北北京和上海海数据中⼼心 • Uber Eats流量量激增 三年年来的运维强化(2016-2019) 架构调整: 多活, 容器器化, 软件⽹网络 部署管理理: ⾃自动化部署uDeploy0 码力 | 23 页 | 15.26 MB | 1 年前3
爱奇艺 CDN 运维平台实践-张强高可用设计 日常运维效率提升百 倍. 运维效率 运维任务模型化、易上 手、可交付、加快整体运 营迭代效率 运维可交付 释放运维潜力、运维 开发转型 运维开发 展望 5G时代挑战 容器化改造 传统的CDN大部分是物理机部署,带来的问题是软件服务都是单点,更多的依赖监控、HTTP调度、DNS调度等系统联动 实现自动摘除,未来需要思考启用容器化,实现云部署 运维智能化 线,这种模式是目前爱奇艺奇速播产品 推进的必然需求. 5G时代大带宽、大吞吐的特点,必然会促使VR、视频、IOT等行业快速增长,推进CDN内容下沉,如何管理好靠近用户的 海量的下沉节点将是一大挑战0 码力 | 34 页 | 1.75 MB | 1 年前3
Raft在Curve存储中的工程实践2021~2022 Curve文件存储 • 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 • AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 • 对接OpenStack平台为云主机提供高性能块 存储服务 •0 码力 | 29 页 | 2.20 MB | 6 月前3
共 26 条
- 1
- 2
- 3













