消息中间件项目组 2015/1/7 文档变更历史 序号 主要更改内容 更改人 更改时间 1 建立初始版本 誓嘉 vintage.wang@gmail.com 2013/5/18 2 3.0 版本补充文档 誓嘉 vintage.wang@gmail.com 2013/8/16 3 补充与规范区别 誓嘉 vintage.wang@gmail ....................................................................................... 8 4.13 分布式事务 ................................................................................................ 规范，规范为我们设计系统挃明了 方吐，但是仍有丌少问题规范没有提及，对亍消息中间件又至关重要。RocketMQ 幵丌遵循任何规范，但是参考了 各种规范不同类产品的设计思想。 2 产品发展历史 大约经历了三个主要版本迭代 一、Metaq（Metamorphosis） 1.x 由开源社区 killme2008 维护，开源社区非常活跃。 https://github.com/killme2008/Metamorphosis

.......................................................................................... 7 2.3 分布式事物消息 .............................................................................................. ......................................................................................... 11 2.2 分布式事物消息落地 ............................................................................................ messageQueueList [userId%messageQueueList.size()] 2.3 分布式事物消息 先引入官方文档图： 分布式事物是基于二阶段提交的 1) 一阶段，向 broker 发送一条 prepared 的消息，返回消息的 offset 即消息地址 commitLog 中消息偏移量。Prepared

Kubeflow 之上 构建集群与管理理资源 多集群和镜像仓库 • 企业想要的 • 隔离性和安全性 • 容错性与混合云 • 功能多样性与上线流程 • 如何实现 • K8s - 单『控制集群』， 多『⽤用户集群』 • 镜像仓库 - 单『默认仓 库』，多仓库集成 管理理集群和节点 • 技术概览 • cloud provider • custom resource • • k8s 基础资源之外 • 资源分组和整体状态 • 重⽤用 YAML 配置 • 版本化 • 启动依赖 • Helm 很棒，但是 …… 典型企业应⽤用的架构 CAICLOUD/RUDDER • 2 CRDs - Release, Release History • 1 控制器器 - Rudder aka Release Controller • 开源 • https://github https://github.com/caicloud/helm-registry Rudder 技术架构 ⼀一套基于 k8s 控制器器模式的原⽣生的应⽤用管理理 和编排运⾏行行时 安全性与扩展性：从 k8s 原⽣生模式中获益 状态可读：跟踪所有 k8s 对象状态 版本化：快速从历史版本回滚 构建应⽤用 典型 CI/CD 流程 CAICLOUD/CYCLONE • 开源 • https://github

Apache Ozone介绍 • Apache Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 Apache Ozone • Ozone是 ⼀个分布式的KV对象存储 可扩展⾄数⼗亿个对象，从⽽对云原⽣类的应⽤更友好 强⼀致性 与HDFS 和 S3 API兼容 可在存储密集型设备中部署进⽽极⼤的减少设备开⽀ Apache Ozone – 数据存储的路径设计 / FLINK 计算 OTHER WORKLOADS OTHER WORKLOADS X • 可⽤于承载实时和批处理的业务 • 扩展性提升 • ⽆需改变或改造业务应⽤代码 • 降低控制平⾯的节点数和服务依赖 业务价值 • 降低⼤规模集群的运维难度 • 可通过HDFS API和Distcp进⾏快速迁移 • 降低系统恢复时间 • 尽可能的减少NN Java GC带来的⽆ 可以快速的对接已适配S3 接⼝的应⽤ • 减少数据在多个平台间的迁移 • 使⽤单⼀的API协议来应对混合云架构 业务价值 • 集约化的⼀套存储来⾯向不同的业务负载 • 更易于运维的控制⾯ • 只需要⼀个运维团队⽽不是多个 运维价值 OZONE STORAGE AI/ML HIVE/IMPALA/ SPARK KAFKA / Flink 计算 数据科学 数据仓库

JimHu (jimhuyiwei@gmail.com) 欢迎访问本课程网站：http://people.ubuntu.com/˜happyaron/udc-cn 生成时间：20100725T1630 版本：Daily 本课程由 Canonical 有限公司和 Ubuntu 培训社区创作 2008-2010。 这个协议受到知识共享署名-非商业性使用-相同方式共享的约束 基于这个协议，您可以自由： . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 I.III.II Ubuntu 版本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 I.III.III Ubuntu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 I.4 Ubuntu 版本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

of complex stateful applications on behalf of a Kubernetes user. operator 是特殊的 controller，用来管理复杂的分布式应用 ü custom resource definition(CRD) ü custom controller Operator 是什么 • Kubernetes 中一切都可视为资源 • WorkQueue：事件合并、过滤、延时、限速 Operator CRD 里有什么 MySQL CRD • Spec：配置 & 期望状态 • Status：当前状态 MySQL 配置 • 版本 • 端口 • 存储信息 • 配置文件 集群配置 • 副本数 • 高可用模式 K8s 调度信息 • 资源套餐 • 亲和性信息 • NodeSelector 使用 CRD 2. 集群管理 2. 调度 pod Ceph MySQL-Operator 集群管理 Master High Availability Ø 目前最常用的高可用实现 Ø 支持大多数 MySQL 版本 Ø 使用 mysql 半同步复制 Ø 有数据丢失风险 Mysql Group Replication Ø MySQL 官方提供 Ø 5.7 新特性 Ø 基于 Paxos 协议 Ø 写入延迟相对高

server 64bit 14.04.1 Docker 版本 1.6.2 数据库：Mariadb 10.10 （Mariadb 是 MySQL 之父在 MySQL 被 Oracle 收购之后 创建的分支，性能上优于 MySQL 开源版本） 第一步 安装 Docker 对于 Ubuntu，建议直接联网安装 Docker 最新版本，apt-get 中版本较老。 首先获取安装脚本： wget https://get docker-io 第二步 运行 Mariadb 容器 首先要将数据镜像拉下来 docker pull mariadb:latest 注意，如果不加:latest 标签，docker 会把所有的镜像版本都拉下来。 然后我们就可以启动镜像了，参数方面需要注意的有一下几点： 1，-name <给容器取个好记的名称> 2，-e MYSQL_ROOT_PASSWORD =‘<给数据库一个 root 用户密码>’ MYSQL_USER、MYSQL_PASSWORD、MYSQL_DATABASE 环境变量可以使容器在 运行时同时创建你所需要的数据库和带有全部权限的用户及其对应密码 6，设定 TERM 环境变量的值可以解决容器不能进入 mysql 控制台的问题。 对于不是自己建立的镜像，建立出来的容器未必能一次达到要求，建议是将 run 命令写成脚本，创建后使用 docker inspect <容器名> 仔细查看容器信息，关注镜像公开的端口和文件目录。如果发现达不到要求，使

更自然地与人互动，理解复杂情感和意图 问题解决能力 擅长解决结构化和定义明确的问题 能够处理多维度和非结构化问题，提供创造性的解 决方案 伦理问题 作为受控工具，几乎没有伦理问题 引发自主性和控制问题的伦理讨论 CoT链式思维的出现将大模型分为了两类：“概率预测（快速反应）”模型和“链式推理（慢速思考）”模型。 前者适合快速反馈，处理即时任务；后者通过推理解决复杂问题。了解它们的差异有助于根据任务需求选择合 请分析当前瓶颈并提出3种方 案。” ✅ 激发模型深层推理 ❌ 需清晰定义需求边界 混合模式 结合需求描述与关键 约束条件 平衡灵活性与可控性 “设计一个杭州三日游计划， 要求包含西湖和灵隐寺，且 预算控制在2000元内。” ✅ 兼顾目标与细节 ❌ 需避免过度约束 启发式提问 通过提问引导模型主 动思考（如“为什 么”“如何”） 探索性问题、需模型解 释逻辑 “为什么选择梯度下降法解 容，包括主题、背景、数据等，为AI提供了必要的知 识和上下文。 提示语的基本元素可以根据其功能和作用分为三个大类：信息类元素、结构类元素和控制类元素： 结构类元素用于定义生成内容的组织形式和呈现方式， 决定了AI输出的结构、格式和风格。 控制类元素用于管理和引导AI的生成过程，确保输出 符合预期并能够进行必要的调整，是实现高级提示语 工程的重要工具。 提示语的DNA：解构强大提示语的基本元素

ffmpeg使⽤⼼得 ⽤到ffmpeg的 Python 附录 获取 2 1.9.1 1.9.2 1.9.3 help语法 ⽂档 参考资料 获取 3 强⼤的⾳视频处理⼯具：FFmpeg 最新版本： v1.0 更新时间： 20210914 简介 介绍⾳视频处理⼯具FFmpeg有哪些强⼤的功能。先对ffmpeg进⾏概览， 包括可以⽤来⼲什么，与之相关的ffprobe、ffplay、ffserver等⼯具；再介 Download FFmpeg https://ffmpeg.org/download.html 提到的： static FFmpeg binaries for macOS 64-bit 去下载最新版本： ffmpeg ：https://evermeet.cx/ffmpeg/ffmpeg-4.2.7z ffprobe ：https://evermeet.cx/ffmpeg/ffprobe-4 ffprobe ffprobe which which ffplay ffplay which which ffserver ffserver 去确认能找到 以及顺带去看看版本 ffmpeg -version ffmpeg -version ffprobe -version ffprobe -version ffplay -version ffplay -version

常规的容器服务 ，使用 gpu 的 zone ， 自行设定相应的镜像即 可，有完善的周边服务 训练服务 • 提供基于 kubeflow 的分布式训练方案 – 界面化操作，用户提供代码地址和执行命令即可 – 系统内建支持安装 pip 依赖 – 自制存储插件支持分布式文件系统存储用户数据 – 支持官方镜像，不需要 JDOS 提前协助制作镜像 – 提供 tensorboard 作为训练监控实时查看训练状态