大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 年 AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 1：中国开源开发者生态数据 04 | Gitee 数据篇 Part 3：国内 GenAI 生态高亮瞬间 104 | 型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM Agent，以及检索增强生成（RAG）等多个关键技术栈。 为了更全面客观地展示中国大模型 LLM 开发技术栈的开源 社区生态，我们使用了 对开源社区的生态评 估体系，希望通过这些数据洞察中国开源开发者在

用，它们突破了传统图像生成方式的局限，仅需要用户提供 文字描述，就可以生成高质量的数字艺术作品。它们的图像 生成质量、样式多样性和用户便捷性都是极大的突破。这为 广大的个人用户和创意行业提供了强有力的工具，彻底改变 了数字艺术内容的创作方式。同时，它们也引发了人工智能 在创作领域的伦理和法律讨论。LLM 杀进多媒体领域。往 后 DALL-E 3 模型升级、Adobe 产品整合 LLM 能力、 工程建立了一套“人机交互语法”，来更精准地向 LLM 传 达想要它生成何种输出的指令。这为人们与 LLM 之间建立 高效、准确的“沟通桥梁”提供了可能性。什么“链式思考 1 1 （CoT）”、“自动推理并使用工具（ART）”、“思维 树（ToT）”……甚至运用心理学对 LLM 进行“情绪提 示（EmotionPrompt）”，提示词工程俨然在将 LLM 一 点一点解剖，试图让人类成为可以将其掌控的“咒术师”。 首先明确用户的目标，然后围绕目标进行技术研发和应用设 计，并且它带有“整体解决”、“解决的不只是某个单点问题” 的含义。只有这样，才能确保 LLM 能够真正解决实际问题， 而不是成为“应付式”的工具。 “应付式”问题主要表现在以下几个方面：  LLM 往往是“一刀切”的，无法根据用户的具体需求进 行个性化定制。  LLM 往往是“碎片化”的，无法提供完整的解决方案。  LLM

具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， 为用户与应用程序提供交互接口 数据库：通过对数据的访问与管理，支 持各种应用程序和业务的需求 编程语言：人与计算机交互的“语言”， 含编译器、基础编程语言、IED等 iresearch.com.cn 开源产业链关系 以开源社区及代码托管平台为中心，各方合力促进产业源与端共生共长 发起者可以将源代码放在代码托管平台上，结合开发者的代码贡献进一步提升源代码质量。在这个代码优化的过程中，也有其他力 量辅助：1）开源基金会可选择性接受项目的捐赠并运营项目；2）开源技术论坛通常会提供更广阔的开发者交流平台，提升开发者 能力水平；3）开源社区评估机构可对开源社区进行评分，辅助开 主研究及绘制。 法务服务 社区 治理 社区 运营 代码 审核 开源 开发 生态 合作 法务 合规 开源企业发起者内的多组织协作 开源开发 战略合作 社区运营 代码审核 软件优化 选择适合开源项目的开源协 议，依据企业对项目的开源 方案审定协议中个别条款 向上对接高校及研究机构， 加紧基础技术共建；向下对 应发行版ISV厂商，将软件向 更多行业及场景渗透 规划开源软件迭代方向，包

，艾瑞咨询研究院根据公开资料研究及绘制。 企业开源的战略意义（二） 开源在企业中的使用率提升，带来多维度战略价值 除前文所述的商业价值和成本优化之外，开源软件产业对企业的战略意义还体现在以下三方面：1）技术价值，对具备技 术优势的头部企业而言，开源可加强同业间的交流，实现产品优化，走向国际；对技术能力较弱的企业来说，开源可实现 社会协作，缩小与业界头部企业的技术差距，扩大市场份额。2）品牌价值，企业建立开源社区可实现对技术、人才的网 总量持续上升，项目类型反映市场需求与热度 全球对开源的热情不减，开源项目数量持续攀升。Apache基金会目前为350多个开源项目及社区提供支持，从项目类型上 看，2020年Apache开源社区旗下的工具库类型开源项目占比最多，达到22.9%，其次为大数据以及网络服务器类型。 Linux基金会已经向累计多于750个开源项目及社区提供服务，2021年Linux基金会中云计算、容器和虚拟化开源项目的占 比最大，达到22 云原生概念在2013年之后在全球市场得到了广泛关注和流行，docker是这一构建新型云基础架构的核心工具。创造docker 的公司DotCloud推出的这一产品在2010-2013年期间并没有受到充分关注，正是在该公司将其改名为docker并开源后才受 到了业界的欢迎，这也直接推动了云原生架构的加速创新。当前云原生领域的另一核心工具Kubernetes（K8s）容器编排 平台在2014年由谷歌开源，2015年谷歌和

服务，打破企业软件应用中数 据孤岛等现状。 敏捷 通过小步快跑的方式敏捷迭 代，不断适应市场与业务需求 的变化，摆脱缓慢的大版本更 新与业务需求脱节的窘境。 高效 通过自动化与生产协作方式 的优化，多环节提升软件生产 的效率。 开放 基于开放的技术体系，打造开 放的软件架构。 轻舟云原生软件生产力平台 2.0 能力全景图 轻舟优势 搭建云原生技术底座，助力企业与时俱进实现云上软件创新，支撑业务高速发展。 需要掌握开发语言 （JAVA、C++、Python） 灵活性强 可满足95%业务研发需求 开发速度慢、周期长 效率低下人员成本高 可灵活集成 公司现有研发资源 通常自行管理代码、 安装包等、耗费人力 工具本质 人员基础要求 适用业务 研发效率和成本 对现有体系影响 应用管理平台 对比项 轻舟低代码 基于通用标准语言封装而成的 可视化开发语言 熟悉IT概念，思维逻辑清晰 大中专计算机专业即可 业务流程覆盖数据收集、加工、分析、应用等全链路环节，内置可视化报告、自助式 ETL 、自助取数、驾驶舱、数据 大屏、复杂报表、数据填报、智能决策等数据应用，支撑企业智能化决策。 通过信通院“大数据产品能力评测”商务智能工具评测 产品荣誉 文件类（CSV/TXT） 关系型/分布式数据库 API 接口 填报数据 大数据平台 数据连接 数据接入 SQL语句数据建模 可视化数据建模 轻量化 ETL 建模

数据库……………………………………………………………………………………………… 25 3.16 版本控制工具 …………………………………………………………………………………… 26 3.17 AI 开发框架 ……………………………………………………………………………………… 26 3.18 云原生组件 / 工具 ………………………………………………………………………………… 27 4 开源社区参与现状 开源项目是否集成 RPA（机器人流程自动化） ………………………………………………… 36 4.10 开源活动 ………………………………………………………………………………………… 37 4.11 聊天运维工具 …………………………………………………………………………………… 38 4.12 度量开源社区的必要性…………………………………………………………………………… 39 4.13 参与者所了解的基金会 涨，学校里老师 们也鼓励和重视开源；另一方面，也说明现有的 IT 从业人员在开源领域投入的比例偏小。开源领域资深专家 的比例偏低，技术人员梯度不够合理，也是国内各大开源社区在吸引贡献者方面，可以优化的地方。 段夕华：近些年来，学生在开源人群中占比持续增多到今天接近一半，可能也是因为用人单位越来越认可学生 在开源中所展现出的编程技能、沟通能力及合作精神，因此这其中应该也不乏各种刷榜行为，需要开源项目所

情高涨，学校里老师们也鼓励和重视开源；另一方面，也说明现有的 IT 从业人员在开源 领域投入的比例偏小。开源领域资深专家的比例偏低，技术人员梯度不够合理，也是国内 各大开源社区在吸引贡献者方面，可以优化的地方。 Du Junping: More than 40% of the developers participating in open source projects are students 指标上的优势。客观来看，这对开源的发展有利有弊。利的一面在于，技术产品的提供 方，在相关的开源领域的贡献可以被视为技术竞争力；弊的一面在于让部分厂商为了取得 差异化的竞争优势，把本应开源出来的特性或者优化，来闭源处理，从而不利于开放式创 新，也降低了可维护性。更为健康的针对开源产品的采购模式，应该平衡产品指标，技术 竞争力以及产品本身的可维护性。 Du Junping: Due to the open source projects have a particular preference for Vue initiated by the Chinese. 3.15 版本控制工具 / 3.15 Version Control Tools 毫无疑问的是，Git 一枝独秀，具有绝对性优势。SVN、TFS、CVS 目前仍有不少参与者在使 用。 There is no doubt

配条件的支持； • 支持内部重定向； • 对基于HTTPProxy资源的路由实现了HTTP 查询参数匹配功能。 Flagger v1.31.0发布 Flagger是基于Kubernetes的开源工具，用 于实现持续交付和自动化部署。它提供流量分 配管理、故障检测和回滚机制等功能，帮助开 发人员和运维团队实现高效可靠的应用程序部 署和管理。Flagger于2020年7月加入云原生 计算基金会（CNCF）。 ·警报内容包括根本信息分析（RCA）和解决 方案建议； • ·完全支持Istio； • ·支持ARM64机器； • ·支持外部Load Balancer。 Trivy v0.41.0发布 Trivy是一款专业的容器漏洞扫描工具，旨在帮 助用户识别并解决容器镜像中的安全漏洞。它 支持多种容器镜像格式和操作系统，并提供全 面的漏洞扫描功能。Trivy能检测操作系统和软 件组件的漏洞，以及配置错误等安全问题。此 外，Trivy还具备对容器镜像中的文件权限和可 Japan组织的代理主任Hal Seki负 责。现已将源代码上传至其创建的GitHub公开存 储库中，使当地社区能够利用该平台。 Code for Japan组织致力于在日本公共部门中推 广开源作为公民参与社会和民主变革的工具。作 为更广泛的Code for all网络的一部分，Code for Japan在日本各地组织了90多个地方团体，这使 得解决方案能够在全国范围内轻松地被广泛复用。 自2020年10月，日本兵库县加古川市政府采用

Schulman亲⾃邀请加盟。
iv. 基础设施⽅⾯。团队核⼼成员曾带领数⼗⼈从零开发世界领先的深度学习框架，也具备数千 卡集群全⾃动化硬件运维告警、数百亿特征检索、⼤规模（数⼗PB数据、百万台机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。202
海外独⻆兽：context
length
的提升存在什么规律？有技术可预⻅性吗？
杨植麟：我⾃⼰感觉存在
context
length
的摩尔定律。但需要强调：给定⻓度下的准确率也⾮常重 要，需要同时优化⻓度和准确率（⽆损压缩）两个指标。 在保证模型能⼒和智商的情况下，我觉得⼤概率
context
length
的提升是指数级增⻓的。
多模态：⼤部分架构不值得被

scale
up

海外 er
才会有
tech
vision？
杨植麟：核⼼是两点，⼀个是抓⼤放⼩，⼀个是终局思维。我跟很多
researcher
合作过，容易出现的 ⼀个问题就是过分雕花，容易在局部⾥看到有很多可以优化的东西，⽐如我们发现
transformer
解决 了
LSTM
的
context
length
问题，但如果再跳出来⼀层，就会发现本质上每⼀代技术都是在提升
context
length。

Foundation）」官⽅正式对外发声，⼤家对此抱有多重期望：推⼴开源的理念，开源⽂化 教育和社区建设，建⽴开源⽣态体系，对开源项⽬进⾏早期的孵化和扶持，帮助中国开源 社区进⾏资源的整合和优化，并接轨国际开源社区。 3、开发者群体特征 3.1 参与者普遍年轻且学历较⾼，男性占⽐⼋成 参与者的年龄集中在 20-39岁，受教育程度普遍在本科及以上，其中男性占⽐约为 84%，⼥ 性为 16%，与去年持平。 中国成⽴开源基⾦会的作⽤ 参与者们⼀致认为中国成⽴开源基⾦会是⾮常有意义的，可以推⼴开源的理念，开源⽂化教 育，社区建设，建⽴开源⽣态体系，利于开源项⽬早起的孵化和扶持，帮助中国开源社区进⾏ 资源的整合和优化，也有助于接轨国际开源社区。 【专家点评】 蒋涛：在全球科技竞争和中国开源核心技术发展态势下，从开源生态制高点着眼，建设和发展 中国开源基金会意义重大。通过中国开源基金会的发展壮大，不断鼓励国内巨头科技企业和社 提升，更好地满⾜⼴⼤ AI 开 发者的使⽤需求，也让⼴⼤开发者形成了更强的社区认同感。 深度学习框架在 AI 技术栈中处于承上启下的位置，向下对接芯⽚，向上承接应⽤，与芯⽚⼴ 泛适配、深度融合优化⾄关重要。因此⻜桨跟硬件⼚商建⽴了紧密合作关系，很多芯⽚⼚商直 接在⻜桨社区贡献代码，为⻜桨⽣态发展做了⼤量贡献。⻜桨也持续与各⼤开源组织、AI 社 区深度合作，并得到启智（OpenI）社区的⽀持成为其中重要⼀员。通过