A Day in the Life of a Data Scientist Conquer Machine Learning Lifecycle on KubernetesA Day in the Life of a Data Scientist Conquer Machine Learning Lifecycle on Kubernetes Brian Redmond • Cloud Architect @ Microsoft (18 years) • Azure Global Black Belt Team • Live in Pittsburgh, PA Native Compute team • Kubernetes upstream features, Azure Kubernetes Service @ritazzhang OpenAI Scaling Kubernetes to 2,500 Nodes https://blog.openai.com/scaling-kubernetes-to-2500-nodes/ OpenAI OpenAI Scaling Kubernetes to 2,500 Nodes https://blog.openai.com/scaling-kubernetes-to-2500-nodes/ Agenda • What is the typical ML workflow and some of their shortcomings • Why DevOps? • Why Containers0 码力 | 21 页 | 68.69 MB | 1 年前3
Kubernetes Operator 实践 - MySQL容器化Kubernetes Operator 实践 —— MySQL 容器化 刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作,在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域,负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL 统一服 务管理 Kubernetes 模板管理 自动化测试 部署中心 服务发现 灰度发布 监控中心 日志系统 PaaS SaaS 编 译 发 布 授 权 监 控 IaaS Registry SOA服务框架 DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 有状态服务 服务调度 状态保存0 码力 | 42 页 | 4.77 MB | 1 年前3
基于 KUBERNETES 的 容器器 + AI 平台基于 KUBERNETES 的 容器器 + AI 平台 如何助⼒力力企业数字化和智能化转型 xiaoqin@caicloud.io VP of R&D 提纲 构建集群与管理理资源 - 73s 视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用(机器器学习) • openstack/kuryr- kubernetes 运⾏行行和构建应⽤用 跑在 KUBERNETES 上的应⽤用 • k8s 基础资源之外 • 资源分组和整体状态 • 重⽤用 YAML 配置 • 版本化 • 启动依赖 • Helm 很棒,但是 …… 典型企业应⽤用的架构 CAICLOUD/RUDDER • 2 CRDs - Release, Release0 码力 | 19 页 | 3.55 MB | 1 年前3
Manage Edge Nodes with KubeEdge and Case StudyAgenda • Edge scenarios/characters • KubeEdge Architecture • KubeBus • Edge metadata service • Kubernetes extension • Case study • Water utility management • Campus surveillance system Edge Scenario/Characters autonomously • Lightweight edge agent • Components • KubeBus: Edge Network • EdgeMetadataService • Kubernetes extension • Edge Controller • App Engine K8S Cluster K8S Master K8S Node1 K8S Node n KubeBus Edge Node KubeBus App Engine EdgeMetadataService ... EdgeController Cloud Edge ETCD K8S Node2 KubeEdge VPN KubeBus • Scenario • Edge Nodes have no external IP and running behind NAT • One VM0 码力 | 11 页 | 1.42 MB | 1 年前3
JavaScript 正则表达式迷你书 老姚 - v1.1. . . 2 感谢 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 推荐序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 导读 . . . 15 1.6. 本章小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2. 第二章 正则表达式位置匹配攻略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1. 什么是位置呢? . . 了。真是佩服老姚的理解和讲解能力。相信我,通读迷你小书,可以让你真正理解正则并在工作中不 怕读,不怕写正则。让正则成为你开发中的一把利器。 — 小鱼二 JavaScript 正则表达式迷你书 前言 | 第 2 页 这是一本由浅入深且环环相扣的正则书籍,花了两天的碎片时间(8h)看完了,得益于老姚程序员的 逻辑性以及娴熟的文字表达能力,原本枯燥晦涩的正则知识,变得清晰且有迹可循! — Jack Lo0 码力 | 89 页 | 3.42 MB | 11 月前3
JavaScript 正则表达式迷你书 老姚 - v1.0. . . 2 感谢 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 推荐序 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 导读 . . . 15 1.6. 本章小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2. 第二章 正则表达式位置匹配攻略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.1. 什么是位置呢? . . 了。真是佩服老姚的理解和讲解能力。相信我,通读迷你小书,可以让你真正理解正则并在工作中不 怕读,不怕写正则。让正则成为你开发中的一把利器。 — 小鱼二 JavaScript 正则表达式迷你书 前言 | 第 2 页 这是一本由浅入深且环环相扣的正则书籍,花了两天的碎片时间(8h)看完了,得益于老姚程序员的 逻辑性以及娴熟的文字表达能力,原本枯燥晦涩的正则知识,变得清晰且有迹可循! — Jack Lo0 码力 | 89 页 | 3.42 MB | 11 月前3
2022 Apache Ozone 的最近进展和实践分享⽂件系统的层级关系是通过扁平的KV路径抽象实现的 Apache Ozone – 数据服务的核⼼设计 Apache Ozone – 数据服务的核⼼设计 1. OM – 管理Ozone的Namespace ,也使⽤了RocksDB 2. SCM – 管理Ozone集群和数据 3. Recon Server – 监控Ozone集群 4. DataNode – 负责存储和汇报Storage Containers 5. Storage #1 HDFS (300M FILES) AI/ML HIVE/IMPALA/SPARK KAFKA / FLINK 计算 OZONE (2 BILLION Objects) AI/ML HIVE/IMPALA/SPARK KAFKA / FLINK 计算 OTHER WORKLOADS OTHER WORKLOADS X • • 可通过HDFS API和Distcp进⾏快速迁移 • 降低系统恢复时间 • 尽可能的减少NN Java GC带来的⽆ 响应问题 运维价值 Apache Ozone – 使⽤场景 #2 • 可以快速的对接已适配S3 接⼝的应⽤ • 减少数据在多个平台间的迁移 • 使⽤单⼀的API协议来应对混合云架构 业务价值 • 集约化的⼀套存储来⾯向不同的业务负载 • 更易于运维的控制⾯0 码力 | 35 页 | 2.57 MB | 1 年前3
清华大学 DeepSeek 从入门到精通@新媒沈阳团队 、余梦珑博士后 DeepSeek:从入门到精通 2025年2月 清华大学 新闻学院 人工智能学院 • Deepseek是什么? • Deepseek能够做什么? • 如何使用Deepseek? DeepSeek是什么? AI + 国产 + 免费 + 开源 + 强大 • DeepSeek是一家专注通用人工智能(AGI)的中国科技公司,主攻大模型研发与应 提示语策略差异 1 2 推理模型 通用模型 • 提示语更简洁,只需明确任务目标和 需求(因其已内化推理逻辑)。 • 无需逐步指导,模型自动生成结构化 推理过程(若强行拆解步骤,反而可 能限制其能力)。 • 需显式引导推理步骤(如通过CoT提 示),否则可能跳过关键逻辑。 • 依赖提示语补偿能力短板(如要求分 步思考、提供示例)。 关键原则 3 2 1 模型选择 • 特点 需求表达公式 推理模型适配策略 通用模型适配策略 1. 决策需求 需权衡选项、评估风险、 选择最优解 目标 + 选项 + 评估标准 要求逻辑推演和量化分析 直接建议,依赖模型经验归纳 2. 分析需求 需深度理解数据/信息、 发现模式或因果关系 问题 + 数据/信息 + 分析 方法 触发因果链推导与假设验 证 表层总结或分类 3. 创造性需求 需生成新颖内容(文本/0 码力 | 103 页 | 5.40 MB | 8 月前3
RocketMQ v3.2.4 开发指南2015/1/7 文档变更历史 序号 主要更改内容 更改人 更改时间 1 建立初始版本 誓嘉 vintage.wang@gmail.com 2013/5/18 2 3.0 版本补充文档 誓嘉 vintage.wang@gmail.com 2013/8/16 3 补充与规范区别 誓嘉 vintage.wang@gmail.com 2014/1/4 .............................................................................................. 1 2 产品収展历叱 ........................................................................................... .................................................................................................. 2 4 消息中间件需要解决哪些问题? ...............................................................................0 码力 | 52 页 | 1.61 MB | 1 年前3
强大的音视频处理工具: FFmpeg字幕分类 字幕格式 编辑字幕 Aegisub 提取字幕 转换字幕 嵌⼊字幕 指定字幕位置 指定字幕⽂字属性 ffmpeg使⽤⼼得 ⽤到ffmpeg的 Python 附录 获取 2 1.9.1 1.9.2 1.9.3 help语法 ⽂档 参考资料 获取 3 强⼤的⾳视频处理⼯具:FFmpeg 最新版本: v1.0 更新时间: 20210914 简介 绝⼤多数和⾳频视频字幕等相关的操作,ffmpeg都⽀持。 列举我之前遇到过的⼀些,供参考: 解析出视频的信息 举例 查看字幕属性信息 ffmpeg -i xxx.mp4 输出字幕信息: Stream #0:2(zho): Subtitle: mov_text (tx3g / 0x67337874), 1280x108, 0 kb/s (default) 分辨率=宽x⾼ ⽤ffmpeg相关的ffprobe minor_version minor_version :: 0 0 compatible_brands: isomiso2avc1 compatible_brands: isomiso2avc1 encoder encoder :: Lavf58.12.100 Lavf58.12.1000 码力 | 73 页 | 11.57 MB | 1 年前3
共 21 条
- 1
- 2
- 3













