lock , Rows level lock , 读写性能都非常优秀 读写性能都非常优秀 • 能够承载大数据量的存储和访问 能够承载大数据量的存储和访问 • 拥有自己独立的缓冲池，能够缓存数据和索引 拥有自己独立的缓冲池，能够缓存数据和索引 MySQL 架构设计—应用架构 强一致性 对读一致性的权衡，如果是对读写实时性要求非常高的话， 就将读写都放在 M1 上面， M2 只是作为 standby 设计合理架构，如果 MySQL MySQL 访问频繁，考虑 访问频繁，考虑 Master/Slave Master/Slave 读写分离；数据库分表、数据库切片（分 读写分离；数据库分表、数据库切片（分 布式），也考虑使用相应缓存服务帮助 布式），也考虑使用相应缓存服务帮助 MySQL MySQL 缓解访问 缓解访问 压力 压力 系统优化 系统优化  配置合理的 配置合理的 MySQL 1024 MySQL 服务器同时处理的数据库连接的最大 数量 query_cache_size 0 ( 不打开 ） 128M 查询缓存区的最大长度，按照当前需求，一 倍一倍增加，本选项比较重要 sort_buffer_size 512K 128M 每个线程的排序缓存大小，一般按照内存可 以设置为 2M 以上，推荐是 16M ，该选项对 排序 order by ， group by 起作用 record_buffer

方案架构图 2.3 方案优缺点 优点：  安装配置简单，实现方便，高可用效率好，可以根据服务与系统的可用性 多方面进行切换。  可以将写 VIP 和读 VIP 分别进行设置，为读写分离做准备。  扩展不是很方便。  可以在后面添加多个从服务器，并做到负载均衡。 缺点：  在启动或者恢复后会立即替换掉定义的 sorry_server，因此如果要实现指 定 定条件替换或者不替换需要通过其他方式实现，比如：临时更改 mysql 的端口等。  切换需要 1s 左右的时间。 2.4 方案实战 2.4.1 适用场景 这个方案适用于只有两台数据库服务器并且还没有实现数据库的读写 分离的情况，读和写都配置 VIP。这个方案能够便于单台数据库的管理 维护以及切换工作。比如进行大表的表结构更改、数据库的升级等都是 非常方便的。 2.4.2 实战环境介绍 服务器名 IP VIP 3.2 方案架构图 3.3 方案优缺点 优点：  实现方便，高可用效率好，可以根据服务与系统的可用性多方面进行切换。  可以将写 VIP 和读 VIP 分别进行设置，为读写分离做准备。  扩展很方便。可以在后面添加多个从服务器，并做到负载均衡。 缺点：  在启动或者恢复后会立即替换掉定义的 sorry_server，因此如果要实现指 定条件替换或者不替换需要通过其他方式实现，比如：临时更改

持久化（fsync）、⼀致性（ack: all）、多Topic • IO不隔离：消费者读Backlog的时候会影响其他⽣产者和消费者 streamnative.io Apache Pulsar 特性 • 云原⽣架构： • 存储计算分离 • 分层 + 分⽚ • ⾼性能 + 强⼀致性 • ⽀持统⼀的 Queue 和 Stream 的接⼝。 • 丰富的企业级特性 • 多租户隔离 — 百万Topics — 跨地域复制 — 鉴权认证 Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储： BookKeeper streamnative.io Pulsar： 云原⽣的架构 —— 分层 + 分⽚ • 存储和计算分离 • 节点对等 • 独⽴扩展 • 灵活扩容 • 快速容错 streamnative.io Broker 容错 ⽆感知容错 零数据catchup streamnative.io Bookie容错 数据备份数⽬, 等待刷盘节点数⽬） • openLedger(5, 3, 2) streamnative.io 企业级流存储层： 读写⾼可⽤性（容错） streamnative.io 企业级流存储层： 稳定的 IO 质量 ⾼性能、强⼀致性、读写隔离、灵活SLA • Pulsar 的根本不同 • Apache Pulsar 简介 • Pulsar 的云原⽣架构 • 企业级流存储：

"writeQueueNums":1 }, "TopicTest":{ "perm":6, // 100 读权限 , 10 写权限 6 是 110 读写权限 "readQueueNums":8, "topicFilterType":"SINGLE_TAG", "topicName":"TopicTest", 文件实际偏移量 （2） size 就是指消息大小 （3） 消息 tag 的哈希值 ConsumeQueue 文件组织： (1) topic queueId 来组织的，比如 TopicA 配了读写队列 0, 1,那么 TopicA 和 Queue=0 组 成一个 ConsumeQueue, TopicA 和 Queue=1 组成一个另一个 ConsumeQueue. (2) 按消费端 请求方会 new 一个 ResponseFuture 对象缓存起来 ConcurrentHashMap，并且设置 opaque 值 Broker 接收请求将 opaque 直接把这个值设置回响应对象，客户端接收到这个响应，通 过 opaque 从缓存查找对应的 ResponseFuture 对象 1

OnDelete WorkQueue List/Watch - CRD - Pod Write Informer Worker ReadOnly • Informer：监听事件并触发回调函数的二级缓存工具包 • WorkQueue：事件合并、过滤、延时、限速 Operator CRD 里有什么 MySQL CRD • Spec：配置 & 期望状态 • Status：当前状态 MySQL 数据存储 分布式存储 • 使用 Ceph RBD，基于产品线 创建 StorageClass • 优点：可靠性高，容器漂移时 数据不变 • 缺点：读写延迟较高 本地存储 • 基于 Host Path Volumes • 优点：读写延迟低 • 缺点：单点数据，容器漂移时 数据丢失 踩到的坑 • 现象：执行 docker 命令时，docker daemon 无响应，/var/log/messages

• 搜索和管理您的文件：为文件分级并按其分级搜索。 • 打开您计算机的特殊位置：访问本地网络并保存您的文件。 • 向 CD 或 DVD 写入数据 • 使用两种模式导航： − 空间模式：允许您在分离的窗口中打开各个文件夹。这样能帮助您打开处于不 同位置物理对象的文件。您可以同时查看各文件夹的内容。 − 浏览模式：在单一窗口中打开您的文件夹。在浏览模式中只打开一个文件管理 器，当您点击文件管理器中的另一个文件夹时，其内容将更新。 的默认桌面。您可以使用系统菜单中的首选项来自定义 Ubuntu 桌面的外观。 自定义桌面和应用程序 305 Ubuntu 桌面培训 目录 • 您可以使用 Nautilus 文件管理器管理您的文件系统。使用空间模式在分离的窗口 中打开每个文件夹并同时查看各个文件夹的内容。使用浏览模式在单一窗口中打开 文件夹。 • 软件中心是安装或卸载软件包最简单易用的工具。 • 您可以使用新立得软件包管理器来安装或卸载无法使用软件中心安装的高级应用程 ，其可以被认为是系统内存 的扩展。 或者，可以创建多个大小不同的分区，不同类型的应用程序、库和数据可以分别放在 其中。这经常用于多用户或服务器环境，此时用户数据和系统程序、日志文件及配置 文件保持分离。这样做的一个显著好处可以在系统出错、日志文件开始增长时看到。 这个案例中，日志文件(位于一个分区中)将不会消耗掉所有可用磁盘空间，因为它们将 被限制在物理磁盘中它们自己的(小)分区中。 分区方案

拉消息（正常消费），消息直接从 PAGECACHE（数据在物理内存）转入 socket，到达 consumer， 丌经过 java 堆。返种消费场景最多，线上 96G 物理内存，挄照 1K 消息算，可以在物理内存缓存 1 亿条消 息。 (5). Consumer 拉消息（异常消费），消息直接从 PAGECACHE（数据在虚拟内存）转入 socket。 (6). Consumer 拉消息（异常消费），由亍 9.3 连接复用 同一个网络连接，客户端多个线程可以同时収送请求，应答响应通过 header 中的 opaque 字段来标识。 9.4 超时连接 如果某个连接超过特定时间没有活劢（无读写事件），则自劢关闭此连接，幵通知上局业务，清除连接对应的 注册信息。 10 RocketMQ 服务发现（Name Server） Name Server 是与为 RocketMQ 设计的轻量级名称服务，代码小亍 20 消费线程池数量 consumeConcurrentlyMaxSpan 2000 单队列并行消费允许的最大跨度 pullThresholdForQueue 1000 拉消息本地队列缓存消息最大数 pullInterval 0 拉消息间隔，由于是长轮询，所以 为 0，但是如果应用为了流控，也 可以设置大于 0 的值，单位毫秒 consumeMessageBatchMaxSize

家机制，解决了专家模块工作量不平 衡的问题。 混合专家（MoE）架构 通过低秩压缩减少推理时的内存占用， 同时保持与传统多头注意力（MHA） 相当的性能。MLA在训练中减少了 内存和计算开销，在推理中降低了 KV缓存占用空间。 多头潜在注意力（MLA）机制 通过序列化预测未来多个令牌，增强 模型的上下文建模能力，并支持推测 解码加速推理。MTP在特定场景下同 时预测多个令牌，提高信号密度，减 少上下文漂移和逻辑连贯性问题。 其他国际大公司的训练成本。这种低成本策略使得更多企业和开发 者能够负担得起高性能 AI 模型的训练和使用。  调用成本：DeepSeek R1 的 API 服务定价为每百万输入 tokens 1 元（缓存命中）/4 元（缓存未命中），每百万输出 tokens 16 元， 输出 API 价格仅为 OpenAI o1 的 3%。这种低廉的 API 价格进一 步降低了使用门槛。 DeepSeek R1 采用 MIT 6万美元 0.14美元（缓存未命中） / 0.014美元（缓存命中） 0.28美元 DeepSeek-R1 未明确（推测低于V3） 0.14美元（缓存命中） / 0.55美元（缓存未命中） 2.19美元 OpenAI GPT-4o 10亿美元 2.5美元（缓存未命中） / 1.25美元（缓存命中） 10美元 OpenAI o1 未明确 （推测高于GPT-4o） 15美元（缓存未命中） / 7

............................................................................................7 3.8 缓存参数调优............................................................................................... I/O，Network I/O，如果是某个硬件指标有问题，需要深入的进行分析。 4. 如果硬件指标都没有问题，需要查看数据库相关指标，例如：等待事件、内存命 中率等。 5. 如果以上指标都正常，应用程序的算法、缓冲、缓存、同步或异步可能有问题， 需要具体深入的分析。 瓶颈点 说明 硬件/规格 一般指的是CPU、内存、磁盘I/O方面的问题，分为服务器硬件瓶 颈、网络瓶颈（对局域网可以不考虑）。 操作系统 一般指 3.2 网卡中断绑核 3.3 关闭numa_balancing 3.4 关闭sched_autogroup 3.5 关闭唤醒抢占 3.6 网络参数调优 3.7 IO 参数调优 3.8 缓存参数调优 3.9 内核优化 3.10 mysql进程绑核 3.1 关闭 irqbalance 目的 关闭irqbalance，通过手动绑定中断的方法优化性能。 方法 步骤1 停止irqbalance服务。

⼤数据存储的需求 能否提供⾼并发读取和写⼊ 是否兼容主流API，如HDFS/S3 是否可以扩展⾄数百PB的存储容量，数千个 物理节点以及数⼗亿个对象 扩展性 API 兼容性 性能 是否⽀持存算分离架构同时也可以兼容存算耦合 架构 应⽤对接 安全 加密 HDFS现有的⼀些解决⽅案 Namenode Federation Router Based Federation 是否需要⼀个新的⼤数据存储？