运维上海2017-机器学习模型训练的Kubernetes实践-袁晓沛0 码力 | 39 页 | 5.82 MB | 1 年前3
第29 期| 2023 年9 月- 技术雷达出空间,我们挪出了近期没有发生太多变化的技术条目,但 略去某项技术并不表示我们不再关心它。 暂缓 评估 试验 采纳 采纳:我们强烈主张业界采用这些技术。我们会 在适当时候将其用于我们的项目。 试验:值得追求。重要的是理解如何建立这种能 力,企业应该在风险可控的项目中尝试此技术。 评估:为了确认它将如何影响你所在的企业,值 得作一番探究。 暂缓:谨慎推行。 新的 挪进 / 挪出 挪出 没有变化 雷达一览 技术雷达持续追踪有趣的技术是如何发展的,我们将其称之为条目。在技术雷达中,我们使用象限和环对其进 行分类,不同象限代表不同种类的技术,而圆环则代表我们对它作出的成熟度评估。 软件领域瞬息万变,我们追踪的技术条目也如此,因此您会发现它们在雷达中的位置也会改变。 © Thoughtworks, Inc. All Rights Reserved. 5 贡献者 技术顾问委员会(TAB)由 7 众多大语言模型 大语言模型(LLMs)为现今人工智能的许多重要突破奠定了基础。目前的应用多使用类似聊天的界面进行交 互,例如 ChatGPT 或 Google Bard。生态中的主要竞争者(例如 OpenAI 的 ChatGPT,Google Bard,Meta 的 LLaMA 以及亚马逊的 Bedrock 等)在我们的讨论中占据重要地位。更广泛来说,大语言模型可以应用于从 内容0 码力 | 43 页 | 2.76 MB | 1 年前3
云计算白皮书深度挖掘云计算产业价值。我国政策指引云计算应用创新,持续推 动云计算与实体经济融合走深。 二是全球云计算市场稳定增长,我国保持快速发展。2022 年, 全球云计算市场规模为 4,910 亿美元,增速 19%,预计在大模型、 算力等需求刺激下,市场仍将保持稳定增长,到 2026 年全球云计算 市场将突破万亿美元。2022 年,我国云计算市场规模达 4,550 亿元, 较 2021 年增长 40.91%。相比于全球 年同比下降 13.5%。虽然受通胀压力和 宏观经济下行的双重影响,2022 年云计算市场增速下降明显,但对 比全球整体经济仅 3.4%的增长,云计算仍然是新技术融合和业态发 展的重要手段。预计在大模型、算力等需求刺激下,市场仍将保持 稳定增长,到 2026 年全球云计算市场将突破万亿美元。 来源:Gartner,2023 年 4 月 图 1 全球云计算市场规模及增速(亿美元) 1《Gartner 84%以上,是全球所有地区中最高的。以印度为例,2022 年其云支 出增长了近 22%,与欧洲地区几乎持平。同时,印度有 91%的基础 云计算白皮书(2023 年) 6 设施决策者已至少使用一种云部署模型,有 46%的应用程序项目已 部署在云上,预计 2023 年这一比例将上涨到 58%。从供给侧来看, 目前,AWS、微软、谷歌等云服务商均有 1/3 以上的可用区部署在 亚太地区。以 AWS0 码力 | 47 页 | 1.22 MB | 1 年前3
深度解析CNCF社区⾸个基于Kubernetes的边缘计算平台KubeEdge端侧⼈人脸抓取,视频分析在边缘侧执⾏行行。云端管理理边缘应⽤用全⽣生命周期,⽆无缝升级。云端AI模型训练,边缘侧推理理。� 端� 边� 云� ⼈人脸 检测 模型� 容器器� ⼈人脸检测� ⼈人流分析� 周界检测� 模型和应⽤用推送、应⽤用管理理、边缘设备托管� ⼈人流 监控 模型� 容器器� 容器器� 数据上传� 周界 检测 模型� 边缘计算应⽤用场景——智能家居� ➔ 基于边缘计算打造⾼高效、 在边缘端提供函数即服务(Function as a Service, FaaS)。� ➔ 在边缘端节点⽀支持更更多类型的设备协议,如 AMQP、 BlueTooth、ZigBee 等等。� ➔ 评估并启⽤用具有数千个边缘节点和数百万设备的超⼤大规模 边缘集群。� ➔ 启⽤用应⽤用的智能调度,扩⼤大边缘节点的规模。� 社区贡献� ➔ Official Website:https://kubeedge0 码力 | 20 页 | 2.08 MB | 1 年前3
Operator Pattern 用 Go 扩展 Kubernetes 的最佳实践扩展 K8s 的最佳实践 吴学强 ApeCloud KubeBlocks Maintainer & 研发总监 目 录 认识我们 00 什么是 Operator 01 Operator 基础模型 02 Operator 最佳实践 03 我们是谁 云猿生(ApeCloud)是一家提供数据库内核与管理平台的基 础软件开发商. KubeBlocks 基于 K8s 的多云、混合云DBPaaS管理平台 小版本升级、大版本升级、安全漏洞修复等等。 Data Migrations 迁移、同步、清洗、跨地域、灾备、多活等等。 DB Operator Day-2 Operations Operator 基础模型 第二部分 K8s 架构 Cache Informer 机制 Cache 如何获取到本地(内存中) Informer 启动后会通过 reflector 的 list & watch 机制获取某种资源的 controller-runtime 会马上为其增加 informer 并完成初始化 Cache 注意事项 Cache 中的对象都保存在内存中,如果对象很多,内存占用会比较大, 所以一方面要根据单个对象大小以及总得对象规模来评估 controller 内 存消耗。 另一方面 informer 提供了同类型对象的共享机制,降低内存开销 近距离感受 list & watch 机制 Cache 本质及开发建议 相信 Cache0 码力 | 21 页 | 3.06 MB | 9 月前3
Kubernetes开源书 - 周立的基础架构。 Kubernetes满⾜了在⽣产中运⾏的应⽤程序的⼀些常⻅需求,例如: Co-locating helper processes ,促进组合应⽤程序和保留”⼀个应⽤程序的每个容器“模型 Mounting storage systems Distributing secrets Checking application health Replicating application 2. K8s⾼级调度特性:http://blog.csdn.net/jettery/article/details/69500150 现在⽤户可在旧调度模型和新的更灵活的调度模型之间选择。没有toleration(容忍度)的Pod根据旧的模型进⾏调度。 但是,对特定Node能够容忍污点(tolerates the taints)的Pod可被调度到该Node。 请注意,由于延迟时间⼩,通常少于 Pod是Kubernetes中可以创建和管理的最⼩部署单元。是K8s种最⼩的调度单位 可以认为是⼀个“虚拟机” 是⼀个逻辑概念 拓展与提问:如果没有Pod,⽽把容器作为最⼩的调度单位,由于容器是“单进程模型”,会出现什么问题? 举个例⼦:rsyslogd包括三个模块(进程):imklog、imuxsock、rsyslogd。三个进程必须运⾏在⼀台机器上, 否则基于Socket的通信和⽂件交换会出问0 码力 | 135 页 | 21.02 MB | 1 年前3
石油巨头与Kubernetes, Microservice & DevOps 共舞1114最终版项⺫管理 进度 管理 范围 管理 质量 管理 ⼈⼒ 管理 ⻛险 管理 沟通 管理 知识共享 知识 库建 设 ⽂档 协作 学习培训体系 培训规划建设 平台培训 ⼯具培训 培训效果评估 LAB 环境建设 标准案例建设 知识库建设培训 成熟度评审 度量驱动改进 认证与改进体系 已选⽤⼯具 JIRA Confluen ce GitLab Mave n Junit 事务管理⼯具对任务进⾏ 细粒度拆解 ü 设置合理的任务⼤⼩, 跟 踪开发状态 ü IDE 与DevOps⼯具紧密 集成 ü 代码变更管理任务 ü 本地代码扫描保证质量 ü 推荐Git 分⽀管理模型 ü 代码提交触发流⽔线 ü 流⽔线⾃动进⾏单元测 试 ü 流⽔线⾃动进⾏编译打 包 ü 流⽔线⾃动⽣成镜像 ü 流⽔线⾃动部署更新服 务 ü 事务管理⼯具跟踪状态 ü 跟踪团队开发进度 04-06-DEVOPS成熟度标准 7. 04-07-DevOps-⾓⾊和流程设计 8. 04-08-DevOps研发实例 9. 04-09-产品各⽣命周期交付物 10. 04-10-团队成员评估与测试 11. 04-11-DevOps汇报20180125 指南(16) 1. 06-01-CICDpipeline指南V1.0 2. 06-02-部署指南V1.0 3. 06-03-测试指南v10 码力 | 33 页 | 7.49 MB | 1 年前3
Kubernetes全栈容器技术剖析Server在x86伺服器中的市占率高达6成。 CCE推出基于Kubernetes的Windows Server容器管理服务 • 完美兼容Kubernetes能力,支持容器CPU/内存资源编排,无状态/ 有状态应用模型等能力; • 可纳管最新的Windows 1709系统,支持启动Windows Native容 器。 12 CCE支持GPU异构计算能力,帮助企业高效灵活应用深度学习服务 • 将旧的加速计算应用程序容器化,并部署 案例:容器服务助力腾科教育,构建新型实验平台,提升课程运营效率 实验环境配置复 杂,基础运维工作 繁多 为闲置资源付费,无 法做到真正Pay as Use 实验效果评估粗 糙,实验数据易丢 失。 挑战 基于云容器引擎的解决方案 实验环境秒级恢 复,无需感知底层 自动评估实验效 果、保存实验数据 充分利用资源,平 台成本降低20% 收益 • 基于容器镜像上线和扩容快,秒级伸缩 • 基于容器更细粒度共享,提升资源利用率0 码力 | 26 页 | 3.29 MB | 1 年前3
QCon北京2017/企业软件互联网应用实践/基于 kubernetes 的企业级容器云All rights reserved. 企业级容器云设计与思考 • 设计思路 从需求出发 需求驱动,勿求大而全,没有银弹 从用户的角度思考 简单,学习成本低,改变成本小 从技术的角度评估 从成本方面衡量 资源利用率,人力成本,投入产出比 从长远技术方向考虑 未来方向,新技术潮流,公司战略 高效,稳定,可扩展 9 2017 Lenovo Internal. All rights0 码力 | 30 页 | 1.80 MB | 1 年前3
运维上海2017-Kubernetes与AI相结合架构、落地解析-赵慧智的时候 深度学习对于并行化硬件的依赖 - GPU • Core 的多少往往决定真正并行化运算的数量 GPU 硬件使用流程 AI 模型 • AI 模型会决定最终使用资源的多少 • AI 模型的服务性能还与网络相关 • 并不是所有 AI 模型都适合通过 GPU 加速 Kubernetes 介绍 Kubernetes 使用 Kubernetes 部署与企业对接 AI Kubernetes 融合与架构解析 AI 云平台的价值 • 为 AI 工程师提供一体化的研发工作环境 • 为 AI 对于硬件资源需求提供弹性伸缩 • 为 AI 模型在生产环境中部署及运行提供保障 AI 模型实现工具及其框架举例 • 不同的框架和工具都有其优点长处。 AI 工程师工作流程 存储对接 • 存储通常都由云平台 通过SaaS服务提供 • 在 AI 平台中对于存 AI 工具及其研发框架的整合 模型训练资源池管理 • AI 模型训练会耗费巨大的资源并且长时间占用 • 多个用户在模型训练时需要通过队列的方式来解决资源短缺 问题 • 需要对不同用户进行资源池划分 模型管理与发布 • 模型发布: • 模型服务的负载均衡 • 硬件资源的规划 • 模型管理: • 模型的版本 • 模型的类型 研发环境与生产环境隔离0 码力 | 77 页 | 14.48 MB | 1 年前3
共 30 条
- 1
- 2
- 3













