Apache Ozone 的最近进展和实 践分享 刘岩 陈怡 2022.07.29 ⽬录 • Apache Hadoop HDFS⾯临的问题 • Apache Ozone介绍 • Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 ⼤数据存储的需求 能否提供⾼并发读取和写⼊ 是否兼容主流API，如HDFS/S3 的数据存储系统 公有云的对象存储服务 ⽆法在线下部署 ⽬录 • Apache Hadoop HDFS⾯临的问题 • Apache Ozone介绍 • Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 Apache Ozone • Ozone是 ⼀个分布式的KV对象存储 可扩展⾄数⼗亿个对象，从⽽对云原⽣类的应⽤更友好 Apache Hadoop HDFS⾯临的问题 • Apache Ozone介绍 • Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 Apache Ozone – 使⽤场景 #1 HDFS (300M FILES) AI/ML HIVE/IMPALA/SPARK KAFKA / FLINK 计算

Apache Pulsar 云原⽣时代的消息平台 翟佳 streamnative.io ⾃我介绍 • 开源项⽬爱好者： • Apache Pulsar PMC成员 • Apache BookKeeper PMC成员 • EMC -> StreamNative • 华中科⼤ -> 中科院计算所 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics — 跨地域复制 Pulsar 简介 • Pulsar 的⽣态和社区 • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper streamnative.io Pulsar： 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io

对数据进行诊断、预测、关联、聚类分析，常用于问题 定位、需求预测、推荐系统、异常检测等。 对数据进行分类、社交网络分析或时序模式挖掘，常用 于客户细分、信用评分、社交媒体营销、股价预测等。 将数据转化为统计图、热力图、网络关系图、词云、树形 图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 create a table? 切分数据 Can you create a graph using this data? 制作一个图 Can you create a world cloud? 做一个词云 Can you create a chart using this data? 画一个图表 What are the rows and columns in this dataset? 描述一下行和列 2 本地部署：灵活高效，协同优化  端侧部署能力  端云协同优化 DeepSeek的本地部署与云端计算相结合，实现高效的计算和传 输。例如，其蒸馏模型在端侧SoC（系统级芯片）上的表现，显 著降低了硬件门槛，同时提升了用户体验。 DeepSeek的本地部署在性能上表现出色，能够满足不同应用场景的需求，尤其是在端侧和端云协同场景。通过合理的 硬件配置和优化策略，DeepSeek可以

课程。另外，您可以按需选择主题和课程，本课程的关键部分可以在一天之内学完。 学生职责 • 学生应该按时到达并认真听课。如果学生可能会迟到，必须事先通知教员。 • 鼓励学生参与课堂讨论。即使某些人对其中一些课程主题已经非常熟悉，分享相关 经验对其他人来说也是相当有帮助的。 • 上课期间，请将手机和传呼机设置成静音模式。 • 所有学生在最后一天的课程结束后必须通过一次测验以获得毕业证书。 • 您 的 反 馈 对 我 们 课 者进行互相协作以改进开源软件。开源和 Linux 都是在逐步变化的过程中，形成今天 的样子的。 自由分发的源代码的想法是为了鼓励人们自愿地、相互协同地开发软件。用户不断参 与增强软件、修复缺陷、开发新功能并且和其他人分享。 大量的程序员参与到软件协作开发之中，用户可以获得质量和性能比专有软件更好的 开源软件。开源软件鼓励用户对软件进行自定义，使其满足自身需要。这是一个巨大 的进步，软件不再是一成不变的。 2 自由软件运动、开源和 2008年10月发布，包括上百项改 进和完整的 3G 支持。支持到 2010年04月。 • Ubuntu 9.04 (Jaunty Jackalope，得意洋洋的怀俄明野兔) 2009年04月发布。 将云计算带到入 Ubuntu 社区。支持到 2010年10月。 • Ubuntu 9.10 (Karmic Koala， 幸 运 的 考 拉 ) 2009年10月 发 布 ， 支 持 到2011年04月。

互联网常用数据库市场占有率 互联网通用架构体制 谈谈 MySQL 数据库那些事  MySQL MySQL 基本介绍 基本介绍  MySQL MySQL 优化方式 优化方式  MySQL MySQL 技巧分享 技巧分享  Q Q & & AA MyISAM MyISAM 特点 特点 MyISAM vs MyISAM vs InnoDB InnoDB • 数据存储方式简单，使用 数据存储方式简单，使用 DELETE 或 或 INSERT INSERT 语句 语句  批量提交 批量提交 SQL SQL 语句 语句 MySQL MySQL 技巧分 技巧分 享 享 MySQL MySQL 技巧分享 技巧分享 常用技巧 常用技巧  使用 使用 Explain/ DESC Explain/ DESC 来分析 来分析 SQL SQL 的执行情况 的执行情况  使用 使用 SHOW PROCESSLIST 在 在 InnoDB InnoDB 中将会扫描全 中将会扫描全 表 表 MyISAM MyISAM 中则效率很高 中则效率很高 MySQL MySQL 技巧分享 技巧分享 Explain Explain 使用 使用  语法： 语法： EXPLAIN SELECT EXPLAIN SELECT select_options select_options

（1）输入概念： • 社交媒体：即时性、互动性、个性化、病毒传播 • 传统图书馆：知识储备、系统分类、安静学习、专业指导 （2）共同特征： • 信息存储和检索 • 用户群体链接 • 知识分享 （3）融合点： • 实时知识互动 • 知识深度社交网络 • 数字化图书馆员服务 • 个性化学习路径 输入空间定义 明确要融合的两个或多个概念领域 通用空间识别 找出输入空间之间的共同特征 创新角度：[具体说明] 生成要求： - 提供3个方案 - 每个方案说明亮点 基于以上特质，设计标题生成的提示语需把握以下原则： （1）明确价值维度：指明文章提供的具体价值类型，如解 决方案、深度分析、经验分享等。这有助于AI聚焦输出方向。 （2）设定语气基调：根据账号调性确定表达基调，可以是 严谨专业型、观点鲜明型或温和建议型。不同基调会影响标 题的表达方式。 （3）限定结构要素：规定标题需包含的核心要素，如热点 观点总结：呼应开篇 - 趋势判断：前瞻性洞察 - 行动建议：3—5点可执行建议 二、互动设计节点： （1）开篇互动：设置情境思考问题 （2）主体互动：每个论点后设置观点讨论区 （3）结尾互动：邀请读者分享经验与观点三、 三、内容节奏控制： （1）信息密度分配： - 开篇：以叙事为主，重在引发兴趣 - 主体：论证为主，配比为 论述40% + 案例 30% + 数据20% + 专家观点10%

刘林 搜狗资深工程师 关于我 搜狗商业平台研发部 资深开发工程师 l 主要从事商业平台研发工作，在构建高性能、高可用大规模 系统方面有丰富的实践经验 l 目前专注于云计算、DevOps 等相关领域，负责搜狗商业云 平台的设计研发工作 刘林 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 搜狗商业平台 技术体系广 DevOps 测 试 账户 搜狗商业平台基础平台 物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 biz.sogou/v1/namespaces/default/mysqlclusters CLI 方式 REST 方式 商业云平台集成 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4. 小结 回顾 • 商业云平台概况 • Operator 的基本原理 • MySQL-Operator 实践 ü 自定义 controller，使用

应⽤用（机器器学习） - 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 • 容错性与混合云 • 功能多样性与上线流程 • 如何实现 • K8s - 单『控制集群』， 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』，多仓库集成 管理理集群和节点 • 技术概览 典型 CI/CD 流程 CAICLOUD/CYCLONE • 开源 • https://github.com/caicloud/cyclone Cyclone 技术架构 云原⽣生 CI/CD 引擎 设计 - 云原⽣生，k8s 亲和性 性能 - 为企业场景优化 扩展性 - ⽀支持 AI ⼯工作流 运⾏行行 AI 应⽤用 KUBEFLOW 的应⽤用 • Kubeflow 社区的联合创始⼈人

7.3.2. 使用字符串保存数据 一般情况下，我们都愿意使用数组来保存数据。但我看到有的框架中，使用的却是字符串。 使用时，仍需要把字符串切分成数组。虽然不一定用到正则，但总感觉酷酷的，这里分享如下： var utils = {}; "Boolean|Number|String|Function|Array|Date|RegExp|Object|Error".split("|").forEach(fun

7.3.2. 使用字符串保存数据 一般情况下，我们都愿意使用数组来保存数据。但我看到有的框架中，使用的却是字符串。 使用时，仍需要把字符串切分成数组。虽然不一定用到正则，但总感觉酷酷的，这里分享如下： var utils = {}; "Boolean|Number|String|Function|Array|Date|RegExp|Object|Error".split("|").forEach(fun