 MySQL高可用 - 多种方案...................................................................................... 19 4.5.8 监控方案 ................................................................................................ ................................................................................ 21 5.5.4 DRBD 的管理维护 ............................................................................................ 21 ........................................................................... 23 5.5.7 Heartbeat 的管理 .......................................................................................... 25 5.50 码力 | 31 页 | 874.28 KB | 1 年前3 MySQL高可用 - 多种方案...................................................................................... 19 4.5.8 监控方案 ................................................................................................ ................................................................................ 21 5.5.4 DRBD 的管理维护 ............................................................................................ 21 ........................................................................... 23 5.5.7 Heartbeat 的管理 .......................................................................................... 25 5.50 码力 | 31 页 | 874.28 KB | 1 年前3
 GPU Resource Management On JDOSManagement On JDOS 梁永清 liangyongqing1@jd.com 提供的服务 1. 用于实验的 GPU 容器 2.基于 Kubeflow 的机器学习训练服务 3.模型管理和模型 Serving 服务 Experiment Training Serving 均基于容器,不对业务方直接提供 GPU 物理机 GPU 实验 JDOS 常规的容器服务 ,使用 gpu 的 界面化操作,用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像,不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 – 用户训练完成后释放 GPU 资源,提高 GPU 利用率 – Job 调度 (部门 quota 限制 + 优先级) • 创建训练 – 用户选择集群提供代码地址和执行命令即可 用户选择集群提供代码地址和执行命令即可 – 选择所用框架(镜像):支持官方,亦可自制 (提供 dockerfile 生成镜像服务) – 选择存储来源:对接了内部的存储 – 填写代码地址,执行的命令等 – 可以选择是否监控训练,提供 tensorboard 任务列表 可以指定 git 的 commit-id 发起任务 任务详情 可以查看具体的容器列表,以及查看容器的日志和事件 Serving 服务 提供统一便捷的0 码力 | 11 页 | 13.40 MB | 1 年前3 GPU Resource Management On JDOSManagement On JDOS 梁永清 liangyongqing1@jd.com 提供的服务 1. 用于实验的 GPU 容器 2.基于 Kubeflow 的机器学习训练服务 3.模型管理和模型 Serving 服务 Experiment Training Serving 均基于容器,不对业务方直接提供 GPU 物理机 GPU 实验 JDOS 常规的容器服务 ,使用 gpu 的 界面化操作,用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像,不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 – 用户训练完成后释放 GPU 资源,提高 GPU 利用率 – Job 调度 (部门 quota 限制 + 优先级) • 创建训练 – 用户选择集群提供代码地址和执行命令即可 用户选择集群提供代码地址和执行命令即可 – 选择所用框架(镜像):支持官方,亦可自制 (提供 dockerfile 生成镜像服务) – 选择存储来源:对接了内部的存储 – 填写代码地址,执行的命令等 – 可以选择是否监控训练,提供 tensorboard 任务列表 可以指定 git 的 commit-id 发起任务 任务详情 可以查看具体的容器列表,以及查看容器的日志和事件 Serving 服务 提供统一便捷的0 码力 | 11 页 | 13.40 MB | 1 年前3
 Kubernetes Operator 实践 - MySQL容器化AppEngine(Resin/Tomcat…) 统一服 务管理 Kubernetes 模板管理 自动化测试 部署中心 服务发现 灰度发布 监控中心 日志系统 PaaS SaaS 编 译 发 布 授 权 监 控 IaaS Registry SOA服务框架 DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 有状态服务 服务调度 状态保存 带来的新挑战 服务调度 状态存储 集群管理 成员管理 扩缩容 故障迁移 instances of complex stateful applications on behalf of a Kubernetes user. operator 是特殊的 controller,用来管理复杂的分布式应用 ü custom resource definition(CRD) ü custom controller Operator 是什么 • Kubernetes 中一切都可视为资源0 码力 | 42 页 | 4.77 MB | 1 年前3 Kubernetes Operator 实践 - MySQL容器化AppEngine(Resin/Tomcat…) 统一服 务管理 Kubernetes 模板管理 自动化测试 部署中心 服务发现 灰度发布 监控中心 日志系统 PaaS SaaS 编 译 发 布 授 权 监 控 IaaS Registry SOA服务框架 DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 无状态服务 服务调度 有状态服务集群 服务调度 状态保存 集群管理 有状态服务 服务调度 状态保存 带来的新挑战 服务调度 状态存储 集群管理 成员管理 扩缩容 故障迁移 instances of complex stateful applications on behalf of a Kubernetes user. operator 是特殊的 controller,用来管理复杂的分布式应用 ü custom resource definition(CRD) ü custom controller Operator 是什么 • Kubernetes 中一切都可视为资源0 码力 | 42 页 | 4.77 MB | 1 年前3
 2022 Apache Ozone 的最近进展和实践分享Apache Ozone – 数据服务的核⼼设计 Apache Ozone – 数据服务的核⼼设计 1. OM – 管理Ozone的Namespace ,也使⽤了RocksDB 2. SCM – 管理Ozone集群和数据 3. Recon Server – 监控Ozone集群 4. DataNode – 负责存储和汇报Storage Containers 5. Storage Containers /vol/buck1/dir1/dir2/dir3/file-n Ozone Key的存储 ⽬录 ⽂件 删除/重命名⽬录 耗时 对象存储:采⽤ KV ⽅式管理对象元数据,⽆ 需管理元数据之间的关系 ⽂件系统:额外地,需要采⽤树结构作为索 引,管理元数据之间的关系 ⽂件系统优化 ● FILE_SYSTEM_OPTIMIZED (FSO) : ⽀持纯粹的⽂件语义, 有限的 S3 兼容性 ⽂件的存储Key格式:0 码力 | 35 页 | 2.57 MB | 1 年前3 2022 Apache Ozone 的最近进展和实践分享Apache Ozone – 数据服务的核⼼设计 Apache Ozone – 数据服务的核⼼设计 1. OM – 管理Ozone的Namespace ,也使⽤了RocksDB 2. SCM – 管理Ozone集群和数据 3. Recon Server – 监控Ozone集群 4. DataNode – 负责存储和汇报Storage Containers 5. Storage Containers /vol/buck1/dir1/dir2/dir3/file-n Ozone Key的存储 ⽬录 ⽂件 删除/重命名⽬录 耗时 对象存储:采⽤ KV ⽅式管理对象元数据,⽆ 需管理元数据之间的关系 ⽂件系统:额外地,需要采⽤树结构作为索 引,管理元数据之间的关系 ⽂件系统优化 ● FILE_SYSTEM_OPTIMIZED (FSO) : ⽀持纯粹的⽂件语义, 有限的 S3 兼容性 ⽂件的存储Key格式:0 码力 | 35 页 | 2.57 MB | 1 年前3
 清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单案、法律意见书等,提高律师工作效率。 • 智能医疗数据分析与诊断:构建智能医疗 平台,分析病历、检查报告和基因数据,帮助 医生提供更准确的诊断与治疗方案。 • 金融风险预测与管理:开发金融风险分析 工具,收集并分析市场数据,预测风险并为金 融机构提供管理建议。 • 智能文学创作辅助:为作家提供创作灵感 和文本构思,生成符合中文文学传统的故事情 节和诗句,助力突破创作瓶颈。 • 智能广告创意生成:根据产品特点和目标 高频交易数据分析:利用o3mini快速处理 高频交易数据,识别市场趋势和交易模式,为 交易者提供实时决策支持。 • 数据报告自动化生成:基于o3mini自动 生成格式化的数据报告,包括图表、表格和文 字说明,帮助管理者快速理解分析结果。 • 数据接口标准化:根据标准格式输出数据, 利用o3mini方便不同系统和平台之间的数据 共享,提升跨机构协作效率。 • 情感分析与数据解读:利用o3mini结合 情感分析,对数据进行深入解读,帮助市场调 预测交通拥堵,为城市规划提供决策支持。 • 交互式数据可视化:在商业智能和数据 分析领域,o3mini可以将多维数据以可视化 的方式呈现,并支持用户进行交互式分析。 • 实时数据可视化与预警:在实时监控和 数据分析中,o3mini可以实时将数据以可视 化的方式展示,并支持用户与数据进行交互。 二 要怎么做? 撰写文章标题指令 指令:我想让您担任学术期刊编辑,我将向您提供一份手稿摘要,您将向我提供0 码力 | 85 页 | 8.31 MB | 8 月前3 清华大学 DeepSeek+DeepResearch 让科研像聊天一样简单案、法律意见书等,提高律师工作效率。 • 智能医疗数据分析与诊断:构建智能医疗 平台,分析病历、检查报告和基因数据,帮助 医生提供更准确的诊断与治疗方案。 • 金融风险预测与管理:开发金融风险分析 工具,收集并分析市场数据,预测风险并为金 融机构提供管理建议。 • 智能文学创作辅助:为作家提供创作灵感 和文本构思,生成符合中文文学传统的故事情 节和诗句,助力突破创作瓶颈。 • 智能广告创意生成:根据产品特点和目标 高频交易数据分析:利用o3mini快速处理 高频交易数据,识别市场趋势和交易模式,为 交易者提供实时决策支持。 • 数据报告自动化生成:基于o3mini自动 生成格式化的数据报告,包括图表、表格和文 字说明,帮助管理者快速理解分析结果。 • 数据接口标准化:根据标准格式输出数据, 利用o3mini方便不同系统和平台之间的数据 共享,提升跨机构协作效率。 • 情感分析与数据解读:利用o3mini结合 情感分析,对数据进行深入解读,帮助市场调 预测交通拥堵,为城市规划提供决策支持。 • 交互式数据可视化:在商业智能和数据 分析领域,o3mini可以将多维数据以可视化 的方式呈现,并支持用户进行交互式分析。 • 实时数据可视化与预警:在实时监控和 数据分析中,o3mini可以实时将数据以可视 化的方式展示,并支持用户与数据进行交互。 二 要怎么做? 撰写文章标题指令 指令:我想让您担任学术期刊编辑,我将向您提供一份手稿摘要,您将向我提供0 码力 | 85 页 | 8.31 MB | 8 月前3
 Ubuntu 桌面培训 2010. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 III.I.I 网络管理器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 III.I.II . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 VI.IV 使用 Nautilus 管理文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 VI.IV.I Nautilus . . . . . . . . . . . . . . 273 VI.V 软件包管理器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278 VI.V.I 软件包管理器种类 . . . . . . . . . . . . . . . . . . .0 码力 | 540 页 | 26.26 MB | 1 年前3 Ubuntu 桌面培训 2010. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 III.I.I 网络管理器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 III.I.II . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 VI.IV 使用 Nautilus 管理文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 VI.IV.I Nautilus . . . . . . . . . . . . . . 273 VI.V 软件包管理器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278 VI.V.I 软件包管理器种类 . . . . . . . . . . . . . . . . . . .0 码力 | 540 页 | 26.26 MB | 1 年前3
 基于go和flutter的实时通信/视频直播解决方案 段维伟直播协议的低延迟替代方案 WebRTC 可以做什么 02. 副标题 • 用实现网页音/视频通话 • 低延迟直播系统(在线课堂) • 多人视频会议系统 • 高质量SIP/VOIP系统 • 视频监控系统 • 机器学习,视觉计算等 如何使用它 01. 副标题 • 在Web中使用JS API • 基于google libwebrtc实现原生客户端开发 (ios/android/c++)0 码力 | 38 页 | 2.22 MB | 1 年前3 基于go和flutter的实时通信/视频直播解决方案 段维伟直播协议的低延迟替代方案 WebRTC 可以做什么 02. 副标题 • 用实现网页音/视频通话 • 低延迟直播系统(在线课堂) • 多人视频会议系统 • 高质量SIP/VOIP系统 • 视频监控系统 • 机器学习,视觉计算等 如何使用它 01. 副标题 • 在Web中使用JS API • 基于google libwebrtc实现原生客户端开发 (ios/android/c++)0 码力 | 38 页 | 2.22 MB | 1 年前3
 基于 KUBERNETES 的 容器器 + AI 平台of R&D 提纲 构建集群与管理理资源 - 73s 视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用(机器器学习) - 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 单『默认仓 库』,多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • ansible 管理理镜像仓库 • Cargo (内部项⽬目)- ⽣生产级镜像仓库解决⽅方案,基于 • ⼀一键⾼高可⽤用部署和维护 • 为多租户和复杂权限集成⽽而增强 『token service』 • 管理理基于规则的镜像仓库 • 其他企业需要的优化功能 com/caicloud/charts • https://github.com/caicloud/helm-registry Rudder 技术架构 ⼀一套基于 k8s 控制器器模式的原⽣生的应⽤用管理理 和编排运⾏行行时 安全性与扩展性:从 k8s 原⽣生模式中获益 状态可读:跟踪所有 k8s 对象状态 版本化:快速从历史版本回滚 构建应⽤用 典型 CI/CD 流程 CAICLOUD/CYCLONE0 码力 | 19 页 | 3.55 MB | 1 年前3 基于 KUBERNETES 的 容器器 + AI 平台of R&D 提纲 构建集群与管理理资源 - 73s 视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用(机器器学习) - 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 单『默认仓 库』,多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • ansible 管理理镜像仓库 • Cargo (内部项⽬目)- ⽣生产级镜像仓库解决⽅方案,基于 • ⼀一键⾼高可⽤用部署和维护 • 为多租户和复杂权限集成⽽而增强 『token service』 • 管理理基于规则的镜像仓库 • 其他企业需要的优化功能 com/caicloud/charts • https://github.com/caicloud/helm-registry Rudder 技术架构 ⼀一套基于 k8s 控制器器模式的原⽣生的应⽤用管理理 和编排运⾏行行时 安全性与扩展性:从 k8s 原⽣生模式中获益 状态可读:跟踪所有 k8s 对象状态 版本化:快速从历史版本回滚 构建应⽤用 典型 CI/CD 流程 CAICLOUD/CYCLONE0 码力 | 19 页 | 3.55 MB | 1 年前3
 MySQL 8.0.17 调优指南(openEuler 20.09)MySQL 介绍 MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle 旗下产品。MySQL是最流行的关系型数据库管理系统之一,在Web应用方面,MySQL 是最好的RDBMS (Relational Database Management System,关系数据库管理系 统)应用软件之一。 MySQL是一种关系数据库管理系统,关系数据库将数据保存在不同的表中,而不是将0 码力 | 11 页 | 223.31 KB | 1 年前3 MySQL 8.0.17 调优指南(openEuler 20.09)MySQL 介绍 MySQL是一个关系型数据库管理系统,由瑞典MySQL AB公司开发,目前属于Oracle 旗下产品。MySQL是最流行的关系型数据库管理系统之一,在Web应用方面,MySQL 是最好的RDBMS (Relational Database Management System,关系数据库管理系 统)应用软件之一。 MySQL是一种关系数据库管理系统,关系数据库将数据保存在不同的表中,而不是将0 码力 | 11 页 | 223.31 KB | 1 年前3
 清华大学 DeepSeek 从入门到精通识和上下文。 提示语的基本元素可以根据其功能和作用分为三个大类:信息类元素、结构类元素和控制类元素: 结构类元素用于定义生成内容的组织形式和呈现方式, 决定了AI输出的结构、格式和风格。 控制类元素用于管理和引导AI的生成过程,确保输出 符合预期并能够进行必要的调整,是实现高级提示语 工程的重要工具。 提示语的DNA:解构强大提示语的基本元素 提示语元素组合矩阵 提示语元素协同效应理论的核心观点包括: - 预留的应急资金比例 - 主要成本控制措施 8. 质量控制计划(900字内):列出3—5个关键的质量控制点和相应的检查标准。 包括内容质量、用户体验、技术实现等方面。 9. 风险管理矩阵(1200字内): 识别5—7个潜在风险点,评估其发生概率和影响 程度。为每个高风险项目制定具体的预防和应对措施。 10. 利益相关者沟通计划(1800字内):设计一个定期向各利益相关者(如高管、 响应流程和补救措施。 12. 执行后评估机制(700字内):设计一个项目后评估框架,包括效果评估、经 验总结和持续优化建议。指明评估的时间点和主要维度。 创新执行工具: 推荐1—2个创新的项目管理工具或方法,解释它们如何能提升执行效率和灵活性。 请基于以上要求,生成一份全面、精确且具有可操作性的执行方案。方案应体现 出对创意概念的忠实执行,对传播策略的有效支持,以及对各种可能情况的周全考虑。0 码力 | 103 页 | 5.40 MB | 8 月前3 清华大学 DeepSeek 从入门到精通识和上下文。 提示语的基本元素可以根据其功能和作用分为三个大类:信息类元素、结构类元素和控制类元素: 结构类元素用于定义生成内容的组织形式和呈现方式, 决定了AI输出的结构、格式和风格。 控制类元素用于管理和引导AI的生成过程,确保输出 符合预期并能够进行必要的调整,是实现高级提示语 工程的重要工具。 提示语的DNA:解构强大提示语的基本元素 提示语元素组合矩阵 提示语元素协同效应理论的核心观点包括: - 预留的应急资金比例 - 主要成本控制措施 8. 质量控制计划(900字内):列出3—5个关键的质量控制点和相应的检查标准。 包括内容质量、用户体验、技术实现等方面。 9. 风险管理矩阵(1200字内): 识别5—7个潜在风险点,评估其发生概率和影响 程度。为每个高风险项目制定具体的预防和应对措施。 10. 利益相关者沟通计划(1800字内):设计一个定期向各利益相关者(如高管、 响应流程和补救措施。 12. 执行后评估机制(700字内):设计一个项目后评估框架,包括效果评估、经 验总结和持续优化建议。指明评估的时间点和主要维度。 创新执行工具: 推荐1—2个创新的项目管理工具或方法,解释它们如何能提升执行效率和灵活性。 请基于以上要求,生成一份全面、精确且具有可操作性的执行方案。方案应体现 出对创意概念的忠实执行,对传播策略的有效支持,以及对各种可能情况的周全考虑。0 码力 | 103 页 | 5.40 MB | 8 月前3
共 14 条
- 1
- 2













