1.5B 模型通过与 高通 GenAI 扩展的联合优化，在搭载骁龙 8 Gen 4 处理器的手机上实现了每秒 65 个 tokens 的推理速度，接近人类语音的平均输出速率。尽管存在电池续航和内存占用过大等挑战， 端上模型代表了 AI 技术隐私保护和成本优化的未来方向。中国在这一领域的探索，为行业提供 了宝贵经验。 推理扩展法则的潜力释放 通过推理扩展法则，模型性能可通过延长“思考时间”而进一步优化。这一技术模拟了人类 个人，多半也已经在寻觅了半 年机会之后放弃了继续探索，这一点在和他们交流，以及他们朋友圈的内容变化中可以明显感知。 49 / 111 图：技术采用生命周期。现阶段的 AI 大模型市场似乎正处于过高期望之后的下坡过程中 但是这并不是坏事，上图已经告诉我们，这是必然规律。 （二）价值开始显现 目前还奔跑在 AI 大模型应用赛道的公司，很多已经开始创造出客户价值，有了自己的优势。 包括在海外风生水起的 者进一步细分为事件记忆、语义记忆和程序记忆，并基于此抽象出一套记忆管理 SDK。Zep 通 过时态知识图谱管理和更新用户信息，跟踪事实变化并提供最新数据线索。MemGPT 借鉴了计 64 / 111 算机操作系统内存管理机制，模拟虚拟内存工作原理，构建了一套记忆管理系统。这些项目使 AI 应用能够记住对话历史，提供更个性化、上下文感知的交互体验，极大地增强了用户的满意 度。 此外，代理应用的另一个探索方向是多个代理之间的协同工作。开源社区中出现了许多解决

使用闭源产品时，如果在使用一段时间后想要 转换使用另一个软件，需要重新进行硬件、数据等的部署，造成不小的转移成本，因此当用户选择使用 闭源软件时，可能会由于软件后期开发情况不满足需求或者转移成本过高而放弃对软件的继续使用。 2021 中国开源年度报告 79 图表 7 ：开源项目可以为软件的开发和产品获客提供杠杆 资料来源：云启资本 2.2.3 开源可以带来技术和业务创新的良性循环 动数据库及同步平台 MongoDB Realm。公司对于不同产品采用不同的定价方式，企业版按服务器节点 订阅，云产品按需付费。以云数据库产品 MongoDB Atlas 为例，公司面向小型团队提供共享集群，共 享内存和算力，并根据不同的存储空间按使用时长计费 ; 面向专业开发团队提供专属集群，根据不同的 RAM、算力和存储空间按使用时长计费。 2021 中国开源年度报告 109 图表 53 ：Atlas r 共 128 发布了四个版本，分别是 20.03 LTS 版本、20.09 创新版本、21.03 创新版本和 21.09 创新版本。 2021 年 3 月，openEuler 在内核热升级和内存分级管理上做了创新，21.03 创新版本推出 ；9 月， 21.09 创新版本发布，该版本不仅增强了服务器和云计算场景能力，还实现了对于边缘计算和嵌入式 场景的支持。 2021 年 11 月，华为

兼容 GitHub API、Actions、操作语法生态 + 本地化部署 简单易用 多种操作系统和数据库部署方式 简单的使用方式，多种的集成方式 卓越性能 采用 Go 语言编写，资源占用仅 为 GitLab 的 1/4，运行速度约为 GitLab 的 3 倍 高可配置 100+ 配置项，40+ 模块配置， 通过灵活的配置满足不同应用场景的需求 安全稳定 被⼴泛验证，39k+ 与其他系统或工具集成，实现高效的工作流程。 集成简单 多种操作系统和数据库部署方式 简单的使用方式，多种的集成方式 简单易用 采用 Go 编写，资源占用为 GitLab的 1/4，运行速度为 GitLab 的 3 倍 相同机器配置：2C4G • 无负载时内存占用：GitLab 约 3GB，Gitea 约 200MB； • 启动时间（从启动到可以接收请求）：GitLab 约 2 分 钟，Gitea

闭源产品 时，如果在使用一段时间后想要转换使用另一个软件，需要重新进行硬件、数据等的部署，造 成不小的转移成本，因此当用户选择使用闭源软件时，可能会由于软件后期开发情况不满足需 求或者转移成本过高而放弃对软件的继续使用。 Finally, in the retention phase, open source software protects users from the risk 和移动数据库及同步平台 MongoDB Realm。公司对于不同产品采用不 同的定价方式，企业版按服务器节点订阅，云产品按需付费。以云数据库产品 MongoDB Atlas 为例，公司面向小型团队提供共享集群，共享内存和算力，并根据不同的存储空间按使用时长 计费;面向专业开发团队提供专属集群，根据不同的 RAM、算力和存储空间按使用时长计费。 MongoDB is the world's leading NoSQL 放。开源近两年，openEuler 共发布了四个版本，分别是 20.03 LTS 版本、20.09 创新版 本、21.03 创新版本和 21.09 创新版本。2021 年 3 月，openEuler 在内核热升级和内存 分级管理上做了创新，21.03 创新版本推出；9 月，21.09 创新版本发布，该版本不仅增强了 服务器和云计算场景能力，还实现了对于边缘计算和嵌入式场景的支持。 On December 31

单点问题。⼤模型时代，实现个性化的⼀种⽅式是微调，但我认为微调可能不是本质的⽅法，⻓期来 看可能不会存在模型的微调。为什么？当你的模型指令跟随能⼒、推理能⼒、上下⽂⼀致性能⼒越来 越强时，所有东西只需要放在内存⾥就可以。⽐如你的⼤模型内存有⼀堆
prefix
这样的东西⽤来
follow，成本可以降到⾮常低。最终，你对模型个性化的过程实际上就是你所有的交互历史，也是⼀ 个包含了你的偏好和反馈的集合，这些反馈会⽐上 ntext
这个决策是怎么做出来的？
杨植麟：我觉得最重要的还是以终为始地思考这个事。⼤模型作为新的计算机肯定也需要很⼤的内 存，因为旧的计算机的内存在过去⼏⼗年的时间⾥⾯⾄少增⻓了⼏个数量级，⽽且旧的计算机也是⼀ 开始的时候只有很少的内存。第⼆点就在于
AI
的终极价值是个性化。

海外独⻆兽：OpenAI
其实也有⼀定的
long-context
了。
杨植麟：它还没有把⽤⼾的 ⽂本处理能⼒，该 产品⽀持约20万字中⽂的上下⽂⻓度，使得整体表现⾮常惊艳。杨植麟认为，如今基于Transformer架 构的⼤模型，是“新时代的计算机”，参数数量决定计算复杂度，上下⽂⻓度决定内存⼤⼩⸺因此， 上下⽂⻓度是毫⽆疑问的关键所在。 上下⽂⻓度也正是近期AI圈中的⽐拼热点，各家都在这⼀指标上你追我赶。但这背后的核⼼问题在 于：什么才是真正有效的规模化？ 在演讲中，杨植麟表⽰

Apache 2.0 许可下 发布。 Dragonfly 1.0 完全支持 Redis 最常见的数 据类型和命令，以及快照、主从复制和高可用 等特性。 DragonflyDB 是一个现代化的开源内存数据 库，兼容 Redis 和 Memcached API，迁移时 无需修改任何代码，可作为两者的替代方案。 Slint 1.0 于 2023 年 4 月发布，标志着项目已顺利从开发阶段 “毕业”， Doris 2.0.0 版本正式发布 sudo-rs 是互联网安全研究小组 (ISRG) 发起的 Prossimo 项目——用 Rust 重写 sudo 和 su，目标是提升它们在内存方面的安全性，确保它们不再遭 受内存安全漏洞的困扰，并进一步增强 Linux 和开源生态系统的安全性。 Bun 发布 1.0 正式版本 2023 年 9 月 8 日，JavaScript 运行时 Bun 正式发布 的主要开发者。 Nim v2.0 于 2023 年 8 月正式发布，这是一门指令式、通用、多范式、 静态类型、编译型的编程语言。 2.0 是 Nim 的一次进化，新版本的一项重要特性是将 ORC 内存管理作为 默认设置，以及许多其他新功能和改进。 JetBrains 编程工具“全家桶” Java 21 / JDK 21 (LTS) GA Java 21 / JDK 21 于 2023 年

测试 行业解决方案 治理类 职能组织 社区基础设施 版本发行 社区生态管理 服务器 云计算 边缘计算 智能终端 桌面 … 操作系统应用场景 处理器 … 服务器 端设备 内存 系统软件 … 数据库管 理软件… 应用软件 编译软件 开源促进“更好的”操作系统被“更好地”使用 硬件适配 软件适配 19 ©2023.11 iResearch Inc. 对数据库外层能力的优化给 予贡献。同时，由于国内数 据库大多基于国外数据库内 核，开发者生态随开源项目 分布较为分散 开发者生态分散 项目1 生态1 项目2 生态2 … … SQL 引擎 内存 引擎 26 ©2023.11 iResearch Inc. 分布式解决方案 2022.09 Preview 3.1 资源池化 数据安全生命周期自动化管理 2023.09 Release 5.1 可插拔数据库引擎PDE 多样性算力 内存池化服务DMS 内存互联 储存池化服务DSS 多样性存储 智能运维 资源管理 安装部署 数据迁移 数据建模 数据开发 openGauss DataPod 资源池化架构 全站可观测、可追踪、全加密