2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态，我们使用了 对开源社区的生态评 估体系，希望通过这些数据洞察中国开源开发者在 GenAI 扩展的联合优化，在搭载骁龙 8 Gen 4 处理器的手机上实现了每秒 65 个 tokens 的推理速度，接近人类语音的平均输出速率。尽管存在电池续航和内存占用过大等挑战， 端上模型代表了 AI 技术隐私保护和成本优化的未来方向。中国在这一领域的探索，为行业提供 了宝贵经验。 推理扩展法则的潜力释放 通过推理扩展法则，模型性能可通过延长“思考时间”而进一步优化。这一技术模拟了人类

《HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace》，介绍了一个大模型协作系统。该系统提出了一种让 LLM 充 当控制器的新方法，让 LLM 来管理现有的 AI 模型，来完成多模态的复杂 AI 任务，并且使用语言作为通用接口。 2023 年 2 月，谷歌首席执行官 Sundar Pichai 宣布，他们将在未来几周内面 Bard——与流 行的 ChatGPT 展开直接竞争。 与此同时，微软开源了基于论文实现的项目 JARVIS。其自我描述是用于连 接 LLM 和 AI 模型的协作系统。该系统由 LLM（大语言模型）作为控制器和 许多 AI 模型作为协作执行者（来自 HuggingFace Hub）组成。 7 月 13 日，京东全面推出京东言犀大模型， 服务千行百业，拥抱产业智能。言犀大模型 融合了 70%的通用数据与 30%京东数智供 2023 年 4 月，陈天奇团队(MLC)发布了一个可将大型语言模型和基于 LLM 的聊天机器人引入 Web 浏览器的项目：Web LLM。一切都在浏览器内运行， 无需服务器支持，并使用 WebGPU 加速。 用 ChatGPT 控制 AI 模型 陈天奇团队发布 Web LLM 用浏览器跑大模型 微软开源 JARVIS（贾维斯） 依托大模型能力，京东云言犀为客户提供涵 盖客户服务、营销导购、多模态数字人等多

Schulman亲⾃邀请加盟。
iv. 基础设施⽅⾯。团队核⼼成员曾带领数⼗⼈从零开发世界领先的深度学习框架，也具备数千 卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模（数⼗PB数据、百万台机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。202
海外独⻆兽：context
length
的提升存在什么规律？有技术可预⻅性吗？
杨植麟：我⾃⼰感觉存在
context
length
的摩尔定律。但需要强调：给定⻓度下的准确率也⾮常重 要，需要同时优化⻓度和准确率（⽆损压缩）两个指标。 在保证模型能⼒和智商的情况下，我觉得⼤概率
context
length
的提升是指数级增⻓的。
多模态：⼤部分架构不值得被

scale
up

海外 er
才会有
tech
vision？
杨植麟：核⼼是两点，⼀个是抓⼤放⼩，⼀个是终局思维。我跟很多
researcher
合作过，容易出现的 ⼀个问题就是过分雕花，容易在局部⾥看到有很多可以优化的东西，⽐如我们发现
transformer
解决 了
LSTM
的
context
length
问题，但如果再跳出来⼀层，就会发现本质上每⼀代技术都是在提升
context
length。

的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， 为用户与应用程序提供交互接口 数据库：通过对数据的访问与管理，支 持各种应用程序和业务的需求 编程语言：人与计算机交互的“语言”， 含编译器、基础编程语言、IED等 社区协作：鼓励各方在开放平台上协作 贡献，推动开源内容的发展 创新改进：通过资源共享与协作共生， 提升开源内容质量，并产生新的内容 自由共享：开源内容可以免费被任何人 查看、学习、使用 iresearch.com.cn 开源产业链关系 以开源社区及代码托管平台为中心，各方合力促进产业源与端共生共长 发起者可以将源代码放在代码托管平台上，结合开发者的代码贡献进一步提升源代码质量。在这个代码优化的过程中，也有其他力 量辅助：1）开源基金会可选择性接受项目的捐赠并运营项目；2）开源技术论坛通常会提供更广阔的开发者交流平台，提升开发者 能力水平；3）开源社区评估机构可对开源社区进行评分，辅助开 主研究及绘制。 法务服务 社区 治理 社区 运营 代码 审核 开源 开发 生态 合作 法务 合规 开源企业发起者内的多组织协作 开源开发 战略合作 社区运营 代码审核 软件优化 选择适合开源项目的开源协 议，依据企业对项目的开源 方案审定协议中个别条款 向上对接高校及研究机构， 加紧基础技术共建；向下对 应发行版ISV厂商，将软件向 更多行业及场景渗透 规划开源软件迭代方向，包

1998-2010 2010至今 • 2010年之前，全球ICT龙头中的部 分企业已经为开源软件产业领域提 供了丰富的经验，例如在1993年成 立的RedHat公司以及在2008年开 源的谷歌Chromium浏览器内核架 构，本报告后文将有进一步介绍。 2010年之后互联网经济进入蓬勃发 展期，云计算、大数据计算、AI等 新兴技术的发展越来越多地开始基 于开源技术，开源对于企业打磨产 品、构建生态的战略意义也开始突 引流产生广告收入 直接 商业化 渠道化 为互补产品宣传、导流 提升企业市场声量 产业级影响 促进协同产品出现和创新 构建开源产业基金会 e.g. Linux发行版 e.g. Google浏览器 e.g. 开源数据库托管 产 业 协 同 软件开源核心运营 e.g. Kubernetes 11 ©2022.2 iResearch Inc ，艾瑞咨询研究院根据公开资料研究及绘制。 企业开源的战略意义（二） 开源在企业中的使用率提升，带来多维度战略价值 除前文所述的商业价值和成本优化之外，开源软件产业对企业的战略意义还体现在以下三方面：1）技术价值，对具备技 术优势的头部企业而言，开源可加强同业间的交流，实现产品优化，走向国际；对技术能力较弱的企业来说，开源可实现 社会协作，缩小与业界头部企业的技术差距，扩大市场份额。2）品牌价值，企业建立开源社区可实现对技术、人才的网

Foundation）」官⽅正式对外发声，⼤家对此抱有多重期望：推⼴开源的理念，开源⽂化 教育和社区建设，建⽴开源⽣态体系，对开源项⽬进⾏早期的孵化和扶持，帮助中国开源 社区进⾏资源的整合和优化，并接轨国际开源社区。 3、开发者群体特征 3.1 参与者普遍年轻且学历较⾼，男性占⽐⼋成 参与者的年龄集中在 20-39岁，受教育程度普遍在本科及以上，其中男性占⽐约为 84%，⼥ 性为 16%，与去年持平。 Linux。 作为当时开源项⽬的主战场，Linux 操作系统、 桌⾯办公软件（GNOME， OpenOffice）和浏览器（Mozilla）掀起了第⼀波开源的浪 潮；近年来随着互联⽹的兴起，开源的项⽬和技术越来越百花⻬放，从数据库到中间 件，从前端到后端，从编程语⾔到编译器，从物联⽹到微服务，从⼤数据到⼈⼯智能， 开源的技术和项⽬越来越丰富和多样化。 4、开源⼯作现状 4.1 接触开源的时间 中国成⽴开源基⾦会的作⽤ 参与者们⼀致认为中国成⽴开源基⾦会是⾮常有意义的，可以推⼴开源的理念，开源⽂化教 育，社区建设，建⽴开源⽣态体系，利于开源项⽬早起的孵化和扶持，帮助中国开源社区进⾏ 资源的整合和优化，也有助于接轨国际开源社区。 【专家点评】 蒋涛：在全球科技竞争和中国开源核心技术发展态势下，从开源生态制高点着眼，建设和发展 中国开源基金会意义重大。通过中国开源基金会的发展壮大，不断鼓励国内巨头科技企业和社

升级轻舟云原生软件生产力平台及有数全链路数据生产力平台；发布金融分布式、金融大数据、零售大数据、制造业智慧供应链等行业解决方案。 发布轻舟低代码平台 2.0 。 大数据开源项目 Kyuubi 全票进入 Apache 软件基金会孵化器。 有数 BI 个人版永久免费；发布机器学习平台、消费者运营平台、标签画像、流量分析等产品。 2020 2021 发布轻舟云原生软件生产力平台、有数全链路数据生产力平台。 网易云品牌升级为网易数帆，发力数字化转型基础软件。 服务，打破企业软件应用中数 据孤岛等现状。 敏捷 通过小步快跑的方式敏捷迭 代，不断适应市场与业务需求 的变化，摆脱缓慢的大版本更 新与业务需求脱节的窘境。 高效 通过自动化与生产协作方式 的优化，多环节提升软件生产 的效率。 开放 基于开放的技术体系，打造开 放的软件架构。 轻舟云原生软件生产力平台 2.0 能力全景图 轻舟优势 搭建云原生技术底座，助力企业与时俱进实现云上软件创新，支撑业务高速发展。 建模进行指导。 统一指标管理 基线智能预警 海量任务运维和管理，提供 异常基线报警处理，辅助任务 运维人员完成工作。 数据资产360 建立集安全、价值、成本、质 量、标准于一体的健康评估指 标体系和优化工具，打造360° 无死角数据资产治理体系。 指标建设流程规范化，消除指 标口径二义性，帮助企业进行 指标规范化管理，提高数据输 出效率。 数据安全保障 内置细粒度权限管控和一体 化权限申请，帮助企业提升数

涨，学校里老师 们也鼓励和重视开源；另一方面，也说明现有的 IT 从业人员在开源领域投入的比例偏小。开源领域资深专家 的比例偏低，技术人员梯度不够合理，也是国内各大开源社区在吸引贡献者方面，可以优化的地方。 段夕华：近些年来，学生在开源人群中占比持续增多到今天接近一半，可能也是因为用人单位越来越认可学生 在开源中所展现出的编程技能、沟通能力及合作精神，因此这其中应该也不乏各种刷榜行为，需要开源项目所 的优势。客观来看，这对开源的发 展有利有弊。利的一面在于，技术产品的提供方，在相关的开源领域的贡献可以被视为技术竞争力；弊的一面 在于让部分厂商为了取得差异化的竞争优势，把本应开源出来的特性或者优化，来闭源处理，从而不利于开放 式创新，也降低了可维护性。更为健康的针对开源产品的采购模式，应该平衡产品指标，技术竞争力以及产品 本身的可维护性。 段夕华：不知道 21 年底所爆发的 log4j 中国开源年度报告 83 未来开源 4.0 时代 Serverless 将成为开源与云计算结合的新模式。无服务器（Serverless）是一种云原生开发模型，可 使开发者在无需管理服务器的情况下专注构建和运行应用。无服务器方案将服务器从应用开发中抽 离，由云供应商负责置备、维护和扩展服务器基本架构，而开发者则可仅将代码打包到容器中进行 部署。Serverless 的全球规模保持着比较高的增速。据沙利文报告统计，2020

情高涨，学校里老师们也鼓励和重视开源；另一方面，也说明现有的 IT 从业人员在开源 领域投入的比例偏小。开源领域资深专家的比例偏低，技术人员梯度不够合理，也是国内 各大开源社区在吸引贡献者方面，可以优化的地方。 Du Junping: More than 40% of the developers participating in open source projects are students 指标上的优势。客观来看，这对开源的发展有利有弊。利的一面在于，技术产品的提供 方，在相关的开源领域的贡献可以被视为技术竞争力；弊的一面在于让部分厂商为了取得 差异化的竞争优势，把本应开源出来的特性或者优化，来闭源处理，从而不利于开放式创 新，也降低了可维护性。更为健康的针对开源产品的采购模式，应该平衡产品指标，技术 竞争力以及产品本身的可维护性。 Du Junping: Due to the Future Open Source 4.0 Serverless 将成为开源与云计算结合的新模式。无服务器（Serverless）是一种云原生开发模 型，可使开发者在无需管理服务器的情况下专注构建和运行应用。无服务器方案将服务器从应 用开发中抽离，由云供应商负责置备、维护和扩展服务器基本架构，而开发者则可仅将代码打 包到容器中进行部署。Serverless 的全球规模保持着比较高的增速。据沙利文报告统计，

近日，Prometheus v2.44.0发布，版本特性更 新如下： • 将每次发送的默认样本数提高到2000； • 支持处理原生直方图数据； • 在命令行中添加用于检查Prometheus服务 器健康状态和可用性的功能； • 添加所有查询加载的样本总数指标。 OpenYurt v1.3.0发布 OpenYurt是由阿里云开源的基于原生Kuberne- tes构建的、业内首个对于Kubernetes非侵入式 底发布了基于全新存储层的2.0版本，能更好地 与容器平台、云平台配合。 全球开源态势洞察｜第十期 05 Contour v1.25.0发布 Contour是基于Kubernetes的Ingress控制 器，通过将Envoy代理部署为反向代理和负载 均衡器来实现其功能。Contour提供开箱即用 的动态配置更新机制，同时保持了轻量级的配 置文件结构。此外，Contour引入全新入口 API HTTPProxy，该API通过自定义资源定义 修复了新漏洞CVE-2023-24932。微软称，该 漏洞可能被拥有物理访问系统或管理员权限的 攻击者所利用。该修复措施与许多优先级较高 的Windows修复措施存在显著差异，新补丁不 会默认启用，它涉及到对Windows启动管理器 进行永久性的更改，最终将导致现有的Win- dows启动媒介无法启动。 为避免突然导致用户系统无法启动，补丁将会 分三个阶段推出更新。直到2024年第一季度将 发布第三阶段的更新，该更新将默认启用修复