作为目前比较流行的高可用解决方案，lvs 提供负载均衡， keepalived 作为故障转移，提高系统的可用性。但是一般的 mysql 高可用为了实现 mysql 数据的一致性，一般都是采用单点写入，本方案采用 keepalived 中的 sorry_server 来实现写入数据库为单点的需求。本方案实现的功能是当网络有问题、 mysql 有问题、服务器宕机、keepalived 服务停止后,服务器能自动跳转到备用机， 方案架构图 2.3 方案优缺点 优点：  安装配置简单，实现方便，高可用效率好，可以根据服务与系统的可用性 多方面进行切换。  可以将写 VIP 和读 VIP 分别进行设置，为读写分离做准备。  扩展不是很方便。  可以在后面添加多个从服务器，并做到负载均衡。 缺点：  在启动或者恢复后会立即替换掉定义的 sorry_server，因此如果要实现指 定条 的端口等。  切换需要 1s 左右的时间。 2.4 方案实战 2.4.1 适用场景 这个方案适用于只有两台数据库服务器并且还没有实现数据库的读写 分离的情况，读和写都配置 VIP。这个方案能够便于单台数据库的管理 维护以及切换工作。比如进行大表的表结构更改、数据库的升级等都是 非常方便的。 2.4.2 实战环境介绍 服务器名 IP VIP 系统 Mysql Master

互联网常用数据库市场占有率 互联网通用架构体制 谈谈 MySQL 数据库那些事  MySQL MySQL 基本介绍 基本介绍  MySQL MySQL 优化方式 优化方式  MySQL MySQL 技巧分享 技巧分享  Q Q & & AA MyISAM MyISAM 特点 特点 MyISAM vs MyISAM vs InnoDB InnoDB • 数据存储方式简单，使用 数据存储方式简单，使用 数据存储方式简单，使用 B+ Tree B+ Tree 进行索引 进行索引 • 使用三个文件定义一个表： 使用三个文件定义一个表： .MYI .MYD .frm .MYI .MYD .frm • 少碎片、支持大文件、能够进行索引压缩 少碎片、支持大文件、能够进行索引压缩 • 二进制层次的文件可以移植 二进制层次的文件可以移植 (Linux (Linux 不支持一些数据库特性，比如 事务、外键约束等 不支持一些数据库特性，比如 事务、外键约束等 • Table level lock Table level lock ，性能稍差，更适合读取多的操作 ，性能稍差，更适合读取多的操作 InnoDB InnoDB 特点 特点 •使用 使用 Table Space Table Space 的方式来进行数据存储 的方式来进行数据存储 (ibdata1

Apache Pulsar 是什么 streamnative.io Apache Pulsar 要解决的问题 • 企业需求和数据规模 • 多租户 - 百万Topics - 低延时 - 持久化 - 跨地域复制 • 解除存储计算耦合 • 运维痛点：替换机器、服务扩容、数据 rebalance • 减少⽂件系统依赖 • 性能难保障： 持久化（fsync）、⼀致性（ack: all）、多Topic • • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics — 跨地域复制 — 鉴权认证 • Pulsar 的根本不同 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 容错 ⽆感知容错 零数据catchup streamnative.io Bookie容错 应⽤⽆感知 并发可控 数据恢复 streamnative.io 瞬时存储扩容 应⽤⽆感知 数据均匀分布 ⽆re-balance Pulsar：

OpenOffice.org 演示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 IV.I.IV OpenOffice.org 数据库 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 目录 5 Ubuntu 桌面培训 目录 IV.I.V OpenOffice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391 VIII.56编辑新音乐文件的元数据 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392 VIII.57导出进度指示器 绝大部分附加软件不会带来 额外费用 • 标准化的操作系统，个性化 选项有限 • 需要为附加的应用程序付费 数据存放 • 方便升级和降级 • 用户数据存储在用户主目录 里 • 方便迁移、复制用户数据和 迁移到另一台计算机上 • 用户数据被分散存储在多个 地方 • 备份和迁移数据较困难 表 I.1 关 键 因 素 14 Ubuntu 和 Microsoft Windows：对比 目录

Ozone适⽤场景 • Apache Ozone的最近进展 • Apache Ozone的实践分享 ⼤数据存储的需求 能否提供⾼并发读取和写⼊ 是否兼容主流API，如HDFS/S3 是否可以扩展⾄数百PB的存储容量，数千个 物理节点以及数⼗亿个对象 扩展性 API 兼容性 性能 是否⽀持存算分离架构同时也可以兼容存算耦合 架构 应⽤对接 安全 加密 HDFS现有的⼀些解决⽅案 Namenode Namenode Federation Router Based Federation 是否需要⼀个新的⼤数据存储？ 现有的对象存储⽅案 ⽆法很好的横向扩展 HDFS的扩展性 达到了上限 ⽆法接受私有化 的数据存储系统 公有云的对象存储服务 ⽆法在线下部署 ⽬录 • Apache Hadoop HDFS⾯临的问题 • Apache Ozone介绍 • Apache Ozone适⽤场景 ⼀个分布式的KV对象存储 可扩展⾄数⼗亿个对象，从⽽对云原⽣类的应⽤更友好 强⼀致性 与HDFS 和 S3 API兼容 可在存储密集型设备中部署进⽽极⼤的减少设备开⽀ Apache Ozone – 数据存储的路径设计 Ozone的存储路径为 volumes, buckets, 和 keys. Volumes 类似与⽤户账号. 只有Admin 可以创建或删除Volumes Buckets 类似与S3

要怎么做？ 效果如何？ 一 能做什么？ 数据挖掘 数据分析 数据采集 数据处理 数据可视化 AIGC 数据应用 通过编写爬虫代码、访问数据库、读取文件、调用API等方式，采 集社交媒体数据、数据库内容、文本数据、接口数据等。 通过数据清洗、数据集成、数据变换、特征工程等方式，实 现数据纠错、数据整合、格式转换、特征提取等。 对数据进行诊断、预测、关联、聚类分析，常用于问题 定位、需求预测、推荐系统、异常检测等。 定位、需求预测、推荐系统、异常检测等。 对数据进行分类、社交网络分析或时序模式挖掘，常用 于客户细分、信用评分、社交媒体营销、股价预测等。 将数据转化为统计图、热力图、网络关系图、词云、树形 图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 mini  小型化设计：轻量级模型， 适合资源有限的环境。  快速响应：优化推理速度， 适合实时交互场景。  通用性强：适用于多种自 然语言处理任务，如对话 生成和文本理解。 爬虫数据采集 1、阅读网页源代码，提取特定网页内容； 2、撰写python脚本； 3、提取并合并网址； 4、提取网址内容； 5、写入文件。 任务 你需要完成以下两个任务： 1.阅读网页【网址】源代码【对应网页源代码】。提取所

........................................................................................ 14 6.3 数据存储结构 .............................................................................................. ........................................................................................ 15 6.5 数据可靠性 ............................................................................................... ............................................................................... 34 11.3 Message 数据结构 ................................................................................................

们通常具备额外的技术，比如强化学习、神经符号推理、元学习等，来增强其推理和问题解决能力。 非推理大模型： 适用于大多数任务，非推理大模型一般侧重于语言生成、上下文理解和自然语言处理，而不强 调深度推理能力。此类模型通常通过对大量文本数据的训练，掌握语言规律并能够生成合适的内容，但缺乏像 推理模型那样复杂的推理和决策能力。 维度 推理模型 通用模型 优势领域 数学推导、逻辑分析、代码生成、复杂问题拆解 文本生成、创意写作、多轮对话、开放性问答 全局视野 概率预测（快速反应模型，如ChatGPT 4o） 链式推理(慢速思考模型，如OpenAI o1) 性能表现 响应速度快，算力成本低 慢速思考，算力成本高 运算原理 基于概率预测，通过大量数据训练来快速预测可能 的答案 基于链式思维（Chain-of-Thought），逐步推理 问题的每个步骤来得到答案 决策能力 依赖预设算法和规则进行决策 能够自主分析情况，实时做出决策 创造力 通用模型适配策略 1. 决策需求 需权衡选项、评估风险、 选择最优解 目标 + 选项 + 评估标准 要求逻辑推演和量化分析 直接建议，依赖模型经验归纳 2. 分析需求 需深度理解数据/信息、 发现模式或因果关系 问题 + 数据/信息 + 分析 方法 触发因果链推导与假设验 证 表层总结或分类 3. 创造性需求 需生成新颖内容（文本/ 设计/方案） 主题 + 风格/约束 + 创新 方向

et, storeTimestamp。 2.2.3 事物状态表 事物状态表是有 MapedFileQueue 将多个文件组成一个连续的队列，它的存储单元是定 长为 24 个字节的数据， tranStateTableOffset 可以认为是事物状态消息的个数，索引偏移量， 它的值是 tranStateTable.getMaxOffset() / TSStoreUnitSize processqueue 才能被执行消费 rollback: 将消费在 msgTreeMapTemp 中的消息，放回 msgTreeMap 重新消费 commit: 将临时表 msgTreeMapTemp 数据清空，代表消费完成，放回最大偏移 值 (3) 这里是个 TreeMap，对 key 即消息的 offset 进行排序，这个样可以使得消息进 行顺序消费 "writeQueueNums":8 } Namesrv 接收 Broker 注册的 topic 信息， namesrv 只存内存，但是 broker 有任务定时推送 1. 接收数据向 RouteInfoManager 注册。 Broker 初始化加载本地配置，配置信息是以 json 格式存储在本地， rocketmq 强依赖 fastjson 作转换， RocketMq

使用 Docker 建立 Mysql 集群 软件环境介绍 操作系统：Ubuntu server 64bit 14.04.1 Docker 版本 1.6.2 数据库：Mariadb 10.10 （Mariadb 是 MySQL 之父在 MySQL 被 Oracle 收购之后 创建的分支，性能上优于 MySQL 开源版本） 第一步 安装 Docker 对于 Ubuntu，建议直接联网安装 Docker 第二步 运行 Mariadb 容器 首先要将数据镜像拉下来 docker pull mariadb:latest 注意，如果不加:latest 标签，docker 会把所有的镜像版本都拉下来。 然后我们就可以启动镜像了，参数方面需要注意的有一下几点： 1，-name <给容器取个好记的名称> 2，-e MYSQL_ROOT_PASSWORD =‘<给数据库一个 root 用户密码>’ 3，-p <映射到本机的端口>:3306 <映射到本机的端口>:3306 4，-v <本机的数据库存放目录>:/var/lib/mysql 5，设定 MYSQL_USER、MYSQL_PASSWORD、MYSQL_DATABASE 环境变量可以使容器在 运行时同时创建你所需要的数据库和带有全部权限的用户及其对应密码 6，设定 TERM 环境变量的值可以解决容器不能进入 mysql 控制台的问题。 对于不是自己建立的镜像，建立出来的容器未必能一次达到要求，建议是将