.......................................................................................... 7 2.3 分布式事物消息 .............................................................................................. ......................................................................................... 11 2.2 分布式事物消息落地 ............................................................................................ 前言 此文档是从学习 rocketmq 源码过程中的笔记中整理出来的，由于时间及能力原因，理 解有误之处还请谅解，希望对大家学习使用 rocketmq 有所帮助。 Rocketmq 是阿里基于开源思想做的一款产品，代码托管于 github 上，要想学好用好 rocketmq

协议栈 pion/webrtc • 基于pion/webrtc 的应用级服务框架 pion/ion • 5G 时代, 实时通讯应用爆发 • 疫情影响，全世界都在使用远程教育，远程办公 • 云游戏，机器人，VR，直播等 • 如何用最容易的方案实现实时通讯 • 漂亮的app，最好全部(mobile, web, desktop)平台都支持. • 最容易使用的后端技术 真实世界的需求点 用开源方案实现需求 WebRTC 可以做什么 02. 副标题 • 用实现网页音/视频通话 • 低延迟直播系统(在线课堂) • 多人视频会议系统 • 高质量SIP/VOIP系统 • 视频监控系统 • 机器学习，视觉计算等 如何使用它 01. 副标题 • 在Web中使用JS API • 基于google libwebrtc实现原生客户端开发 (ios/android/c++) • 使用第三方堆栈实现兼容功能（Go） com/pion Pion 介子 纯Go语言的WebRTC 全家桶 作者: Sean DuBois ION 离子之光 分布式实时通讯系统 https://github.com/pion/ion • 基于pion/webrtc 开发 pion/ion-sfu • 分布式架构 • 基于grpc over NATS mq • 使用redis 存储媒体流全局位置 • 支持业务自定义开发 •

基于 Kubeflow 的机器学习训练服务 3.模型管理和模型 Serving 服务 Experiment Training Serving 均基于容器，不对业务方直接提供 GPU 物理机 GPU 实验 JDOS 常规的容器服务 ，使用 gpu 的 zone ， 自行设定相应的镜像即 可，有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作，用户提供代码地址和执行命令即可 界面化操作，用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像，不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态 – 用户训练完成后释放 GPU 资源，提高 GPU 利用率 – Job 调度 （部门 quota 限制 + 优先级） • 创建训练 – 用户选择集群提供代码地址和执行命令即可

视频演示 多集群和镜像仓库 多租户和旧系统的集成 运⾏行行和构建应⽤用 Rudder - 应⽤用编排技术框架 Cyclone - 持续集成与交付引擎 运⾏行行 AI 应⽤用（机器器学习） - 58s 视频演示 Kubeflow 的应⽤用 Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 • 容错性与混合云 Kubeflow 社区的联合创始⼈人 • kubeflow/tf-operator • 定义 TFJob Spec (CRD) • 跟踪 TensorFlow 任务运⾏行行状态 • ⽀支持分布式 TensorFlow 任务 KUBEFLOW 之上 • 借⼒力力容器器平台提供⽣生产级的集群资源管理理 • ⼯工作区隔离与共享 • 数据、模型、环境、应⽤用等 • 全⾯面⽀支持 AI

Ubuntu 操作系统的培训。目标对象不必预先了 解 Ubuntu，但必须具备基本的计算机使用能力。要开始学习本课程，请先在您的计 算机硬盘上安装 Ubuntu 10.04 LTS。 28 学生职责 目录 Lucid Lynx 本课程以模块为单位来组织。在教室中进行全日制学习的话，两天就可以学习完整个 课程。另外，您可以按需选择主题和课程，本课程的关键部分可以在一天之内学完。 学生职责 • 合理有效地组织课堂学习，并保证教室环境有益于学习；包括按照日程表安排上课 时间、课间休息和午餐时间。 • 在实验课上回答学生提问，并帮助学生完成练习。 • 向学生传授有价值的学习经验。 • 在课程结束时，提供调查问卷以便学生做出反馈。 培训前准备和检查 • 了解学生的资质和期望。课程中的某些部分可能要按需进行调整。 • 检查并试运行学生和教员的计算机，确保 Ubuntu 在那些机器上能够正常运行。 Linux 操作系统的熟悉程度。 2. 明确介绍整个培训的教学意图和目标。 3. 制定课间休息的规则。 内容设置 使用下列方法： • 对主题进行简要介绍。 • 从学习者的角度解释为何该主题很重要。 • 联系之前学习的主题 主要内容 您可以使用以上介绍的任意教学方法，也可以按照学生的资质和教学内容的复杂程度 任意组合以上提到的方法。采用多样的教学风格和方法可以避免单调，有利于教学实 践。

....................................................................................... 8 4.13 分布式事务 ................................................................................................ .......................................................................... 25 7.14 单个 JVM 迕程也能利用机器超大内存 .............................................................................................. Consumer Group 中的 Consumer 实例平均分摊消费消息。例如某个 Topic 有 9 条消息，其中一个 Consumer Group 有 3 个实例（可能是 3 个迕程，戒者 3 台机器），那举每个实例只消费其中的 3 条消息。 在 CORBA Notification 规范中，无此消费方式。 在 JMS 规范中，JMS point-to-point model 不乀类似，但是

例如：DeepSeek-R1，GPT-o3在逻辑推理、数学推理和实时问题解决方面表现突出。 推理大模型： 推理大模型是指能够在传统的大语言模型基础上，强化推理、逻辑分析和决策能力的模型。它 们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训 （1）输入概念： • 社交媒体：即时性、互动性、个性化、病毒传播 • 传统图书馆：知识储备、系统分类、安静学习、专业指导 （2）共同特征： • 信息存储和检索 • 用户群体链接 • 知识分享 （3）融合点： • 实时知识互动 • 知识深度社交网络 • 数字化图书馆员服务 • 个性化学习路径 输入空间定义 明确要融合的两个或多个概念领域 通用空间识别 找出输入空间之间的共同特征 选择性投射 选择性投射 从输入空间选择相关元素进行融合 涌现结构构建 在融合空间中创造新的、创新结构 知识转移技术（KTT）：跨域智慧应用 �KTT的理论基础： KTT基于认知科学中的迁移学习理论和组织学习理论。 提出了以下关键步骤： �KTT实施步骤： 1. 定义问题：明确目标领域需要解决的问题或创新点 2. 寻找源域：搜索可能包含相关知识或方法的其他领域 3. 知识提取：从源域提取关键的知识、技能或方法

物料 计费 管理界面 项目 管理 CI&&CD 统一配 置中心 Cluster2 Node Node Node Node 商业云平台 BizCloud • 弹性伸缩能力不足 • 机器资源利用率不高 • 服务管理复杂 问题 有状态服务的需求越来越多 有状态服务容器化 1. 背景介绍 2. Operator 的基本原理 3. MySQL Operator 设计实践 4 of complex stateful applications on behalf of a Kubernetes user. operator 是特殊的 controller，用来管理复杂的分布式应用 ü custom resource definition(CRD) ü custom controller Operator 是什么 • Kubernetes 中一切都可视为资源 • Mysql Operator pod … … mysql Pod-T 0. 创建 CRD 3. 集群管理 2. 调度 pod Ceph MySQL-Operator 数据存储 分布式存储 • 使用 Ceph RBD，基于产品线 创建 StorageClass • 优点：可靠性高，容器漂移时 数据不变 • 缺点：读写延迟较高 本地存储 • 基于 Host Path Volumes

推理能力：核心突破，专项升级  推理能力 • 强化学习驱动：DeepSeek R1-Zero 是首个完全基于强化学习（RL） 训练的推理模型，无需任何监督微调（SFT）步骤，打破传统模型依 赖大量标注数据的惯例。DeepSeek-R1 采用强化学习作为核心训练 方法，显著提升了模型的推理能力和语言表达的可读性。 • 推理能力专项提升：在除了利用强化学习模型结合跨领域训练提升模 型综合技能以外， 展 示 推 理 路 径 自 我 修 正 DeepSeek R1 的核心突破在于其通过强化学习驱动的推理能力。该 模型在训练过程中，通过强化学习技术，显著提升模型的推理能力， 使其在数学、编程和自然语言推理等任务上表现出色。 传统依赖： 大规模监督微调（SFT） 创新思路： 强化学习（RL）驱动  推理效率 • 长思维链支持：DeepSeek R1 支持长链推理，能够生成数万字的 点，解决强化学习训练初期的不稳定问题，规范模型的输出格 式和推理链条，使其更符合人类可读性。 • 数据来源与特点：这些数据部分来源于清理后的R1-Zero 输出， 还包括人工后处理的长思维链（CoT）数据。其数量相对较少 但质量高，经过精心设计，具有良好的可读性和结构化特点。 • 对模型训练的影响：冷启动数据为模型训练奠定了坚实的基础， 使模型在后续的强化学习阶段能够更稳定地学习和优化。它解

streamnative.io Apache Pulsar 要解决的问题 • 企业需求和数据规模 • 多租户 - 百万Topics - 低延时 - 持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点：替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障： 持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper Apache BookKeeper： 企业级流存储层 分布式⽇志/流存储 • 低延时、⾼吞吐、持久化 • 强⼀致 (repeatable read consistency) • ⾼可⽤ • 单节点可以存储很多⽇志 • I/O隔离 Apache BookKeeper：