i. ⼤模型⽅⾯。团队成员发明了RoPE相对位置编码，是Meta
LLaMa和Google
PALM等⼤多数 主流模型的重要组成部分；发明了group
normalization，是Stable
Diffusion等AI模型成功 的关键组件；发明了
Transformer-XL，是历史上第⼀个在词级别和字级别都全⾯超越RNN 的注意⼒语⾔模型，解决了语⾔建模上下⽂⻓度的关键问题，定义了语⾔建模的新标准；曾 机器）分 布式系统数量级性能优化的经验。
c. ⽬前团队⼈数超过
80
⼈，每个⽉都有在全球某个领域有显著影响⼒的⼈加⼊。
2.
团队聚焦底层技术创新，技术Vision强
a. 引领⼤模型的“⽆损⻓上下⽂”时代。2023年10⽉上旬，在产品
Kimi
智能助⼿中实现“⽆损 ⻓上下⽂窗⼝（Lossless
Long
Context
Window）”，⽀持
20
万汉字输⼊，实现对⻓⽂本的⽆ 和中⽂能⼒上
Kimi
智能助⼿依然领先。
b. 聚焦底层技术创新，不⾛技术捷径。最早提出“Lossless
Long
Context
可以解决
90%
以上的 模型定制问题”，坚持对数据的⽆损压缩，实现模型能⼒的提升，不⾛技术捷径（通过滑动窗 ⼝、降采样、⼩模型等技术实现上下⽂窗⼝延⻓，都是“技术捷径”）
c. 通过这篇⽂章，您可以了解更多技术⽅⾯信息：专访⽉之暗⾯杨植麟：lossless
long
context
is

观 点 编委会 21 | 2024 年中国开源模型：崛起与变革 26 | 开源模型未必更先进，但会更长久 30 | 大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 72 | 2024:大模型背景下知识图谱的理性回归 77 | 人工智能与处理器芯片架构 89 | 大模型生成代码的安全与质量 93 | 2024 年 AI 大模型如何影响基础软件行业中 的「开发工具与环境」 98 | 推理中心化：构建未来 AI 基础设施的关键 Part 高瞻，Gitee AI 运营 设计：张琪 开发者是开源生态的重要支柱。 本章结合 、 的数据分 析，勾勒 2024 年中国开源开发者的整体画像趋势轮廓，主要 反映中国开源开发者使用开源大模型概况、开源项目/组织健康 度，以及中国开源社区的生态评估等情况。 Gitee 数据篇 本报告数据来源：2024年1月至2024年12月 Gitee及Gitee AI平台相关公开数据 4 / 111

Azure CNI Overlay Azure CNI Overlay可以利用覆盖的网络来降低 IP地址的使用率，同时提供更好的性能和可扩 展性。借助该功能，AKS集群可以扩展至非常 大的规模，并且用户定义的私有CIDR还可以在 不同AKS集群中重复使用，从而大幅扩展了 AKS中运行的容器化应用程序可用的IP空间。 02 前沿技术 全球开源态势洞察｜第十期 04 Envoy Gateway v0 添加对基于IP子网的速率限制的支持； • 支持自定义Envoy代理引导配置、Envoy代理 镜像和服务配置注释、资源和安全上下文设 置等； • 添加EDS支持（Endpoint Discovery Service)。 近日，OpenYurt v1.3.0发布，版本特性更新如下： • 重构Openyurt控制平面组件； • 允许用户为静态Pod定义Pod模板和升级模 型； • NodePort Service支持节点池隔离。 器，通过将Envoy代理部署为反向代理和负载 均衡器来实现其功能。Contour提供开箱即用 的动态配置更新机制，同时保持了轻量级的配 置文件结构。此外，Contour引入全新入口 API HTTPProxy，该API通过自定义资源定义 （CRD）来实现。其主要目标是扩展Ingress API的功能，以提供更丰富的用户体验并解决 原始设计中的局限性。 近日，Contour v1.25.0发布，版本特性更新 如下： • Con

PRODUCT 基于可视化编程语言 基于通用语言封装的可视化开发语言，具 备完善的静态类型系统和组件扩展机 制，适合 80% 企业级应用开发，灵活性 高，可靠性强。 数据模型驱动 可视化构建实体、数据结构、枚举等低 代码数据模型，自动生成数据库表和页 面交互。 支持企业集成 能够通过 API 集成企业内部的服务，实 现应用组装。 业务与流程融合 流程引擎基于 BPMN2.0 规范，可视化 数仓设计中心 指标设计 模型设计 数据治理中心 数据质量 数据地图 数据资产 数据标准 UDF管理 任务开发 版本管理 任务运维 资源管理 任务上线 数据服务中心 智能BI 数据准备 大屏 自助取数 移动应用 数据填报 全渠道 数据融合 会员 标签管理 用户分群 营销 活动管理 投放数据 追踪 活动数据 分析 特征治理 模型管理 交互式建模 可视化建模 API管理 支持数据产品研发 无代码平台，与 BI 、数据填报、复杂报 表、智能决策深度融合。 开放与集成能力 以标准类接口开放所有资源，支持集 成，兼容性强。 内置增强分析 内置高级分析模型，如预测、聚类，离 散；支持智能问答、智能分析等多种分 析场景。 产品特色 产品能力 业务流程覆盖数据收集、加工、分析、应用等全链路环节，内置可视化报告、自助式 ETL 、自助取数、驾驶舱、数据

www.iresearch.com.cn 开源：定义 开放源代码为基本内涵，还需符合修改、传播等方面的规范 软件的“源”即其源代码，“开源”的核心概念是软件的编写者将源代码（通常）免费提供给使用者。然而，软件行业内 所谓的“开源”概念还包含其他诸 可以二次开发后“商用”？ “完全可以” Apache-2.0 MIT BSD 2-clause BSD 3-clause “完全不可以” 如果一种开源协 议 满 足 OSI 组 织 的定义并得到其 认可，那么这种 开源协议一定允 许商用。 “可以，但不完全可以” GPL：允许商用，但必须在出售的同时公开软件源代码，从某种意义上说这就等同于二 次开发后的产品是“自愿付费”的，或者说 LGPL：如果类库引用（链接，不修改）则可以闭源商用，否则不能够闭源商用。 EPL：没有修改过，可以直接商用；有修改过，必须在公布源代码的条件下商用，这种 情况下与GPL的发布条件类似。 • 从定义上看，所有的开源协议本质上都是允许“商用”的，之所以在实践中存在一系列开源软件商用后的侵权问题，本质上说 是由于开源许可证的“传染性”。带有“传染性”开源许可证的软件要求企业/个人在对其进行修改发布时保留原来的开源许

1 1 /*使用电脑阅读，获得最佳体验 1 1 序 毫无疑问，开源开发者圈子来看，2023 年是大模型 LLM 年、生成式 AI GenAI 年。 一、 这自然要从 OpenAI 说起，前一年年底，ChatGPT 的横 空出世，标志着对话式 LLM 开始进入公众视野，为人们 提供了全新的人机交互方式。而 2023 年 3 月，同系 GPT-4.0 的发布则将 LLM 的规模和能力提升到一个新 的规模和能力提升到一个新 的台阶，为 LLM 的广泛应用奠定了基础。再之后的 11 月份，OpenAI 再发力，GPTs 的到来，“用户自定义 ChatGPT”的能力，更是让世人领略了 OpenAI 作为 LLM 一哥的宏大叙事能力与强劲技术实力。 二、 New Bing（Bing AI）代表了微软在 LLM 领域的野心和 决心，它首次把当时世人能想到最有价值又可行的 LLM 应用场景——“ Google 紧随其后推出 Bard，作为其首次亮相的对话 LLM 产品，无疑具有其里程碑意义，尽管它的首秀并不尽 如人意，车翻了又翻。 三、 Claude 2、PaLM 2、Llama 等模型与产品也展现了 LLM 在语言理解和多模态处理能力方面的探索，甚至 Claude 2 还一度被誉为实力可以硬刚 ChatGPT。而 Meta 开源的 Llama 2 更成为了 LLM 领域开源势力的典型代表，它的

国内基础软件开源界定 基础软件 具备能衍生出并支撑 多个技术簇的一类根 技术软件，拥有技术 门槛高、衍生场景复 杂等特点 中间件：不同系统和应用程序之间交互 与协作的桥梁 AI框架：具备构建和部署人工智能模型 的基础的全套开发工具 操作系统：是软硬件资源的资源管理者， 为用户与应用程序提供交互接口 数据库：通过对数据的访问与管理，支 持各种应用程序和业务的需求 编程语言：人与计算机交互的“语言”， 提出加强保护支持产权，鼓励产 学研结合等鼓励措施 推进商用密码检测认证体系建设， 明确商用密码检测机构的资质 • 科研 • 检测 规范对采用商用密码技术提供电 子认证服务的行为和资质认定 定义需要实时进口许可、出口管 制的商用密码 鼓励公民、法人和其他组织使用 规范商用密码保护网络信息安全 督促商用密码建成协作监督机制， 推进信用体系建立 条例重点规范活动与相关监督管理 强调商用密码人才培养，鼓励行 中国开发者主流人工智能框架使用率排名 海外AI框架开源时间 2016年底，飞 桨宣布开源 AI产业的迅速成长，将顶层（应用层）需求向底层（开发层）传 导，开发侧需求既包括本报告讨论的开源AI框架，也包括开源AI 大模型以及其他开源工具。 33 ©2023.11 iResearch Inc.

年共计 8.74亿条），相较 2019 年的 5.46 亿条增⻓约 60%。并对分析出的部分项⽬进⾏⼈⼯标注，挑选出中国的个⼈开发 者和企业组织，同时构建了科学合理的数学模型进⾏分析。 在开发者活跃度与项⽬活跃度的定义下，本次统计得到 2020 年总活跃项⽬数量约 5,373万 个，相较 2019 年的约 3,972 万 增⻓约 35.3%；2020 年 GitHub 总开发者数为 5,600多 TypeScript 的受欢迎程度急剧攀升有关。 指标名称 含义 language 项⽬开发使⽤的主要语⾔ activity 项⽬活跃度（通过加权计算得到） developer_count 在活跃度定义下参与该项⽬的开发者⼈数 issue_comment 项⽬所有 Issue 和 PR 在 2020 年获得的评论总数 open_issue 项⽬ 2020 年新增的 issue 数量 open_pull 活跃度，也可以看出其社区的活跃程度。 百度在⼈⼯智能领域的表现⾮常不错，其深度学习平台 PaddlePaddle 占据了 6 个项⽬，分 别是核⼼框架 Paddle 以及相关⼯具库、扩展版本和模型库 Models；此外开放⾃动驾驶平台 ApolloAuto/apollo 也榜上有名。 中国的 Top50 项⽬列表中，包括阿⾥的 Ant-Design 组件库，京东基于 React 前端框架的

increase their talent pool to accelerate product development. 2.2.2 开源软件具有的 Product-Led Growth（PLG）模型特征可以促进付费转化 The Product-Led Growth (PLG) model features of open source software could facilitate 互联网公司对技术的垄断，开发者自 发地开发了可以自由使用的“自由软件”。自由软件运动的发起人，也是 GNU 操作系统开发 人及自由软件基金会创始人的 Richard Stallman 将自由软件定义为“用户可以自由地运行、复 制、分发、研究、更改和改进的软件”。在这个时期出现了首批开源许可证 GNU（通用许可证， 现在通常称为“GPL”）和 BSD 许可证。 Open source originated Licensing 限制性许可——通过提供一个带有稍带限制的开源许可证来激励使用 者进行付费。GPL 和 AGPL 许可，以及新创建的 Commons Clause（被某些 Redis 模块采 用）都是这种模型的例子。特别是 AGPL 和 Commons Clause（以及 MongoDB 推出的新 SSPL）也是旨在防御公共云提供商的许可证。这种方法的最大缺点是这些许可证会影响软件采 用，通常会流失

的工作地点与模式， 提高自身的人才储备来加速产品开发。 图表 5 ：开源提高开发人员生产力 资料来源：GitHub 2.2.2 开源软件具有的 Product-Led Growth（PLG）模型特征可以促进付费转化 PLG 模式主要通过自下而上的销售模式进行获客，产品是整个销售过程的核心。PLG 模式的增长飞轮 有三个主要阶段 ：获客、转化、留存。在这三个阶段中，开源都有着区别于传统商业模式的优势。 互联网公司对技术的垄断，开发者自发地开发了 可以自由使用的“自由软件”。自由软件运动的发起人，也是 GNU 操作系统开发人及自由软件基金会创始 人的 Richard Stallman 将自由软件定义为“用户可以自由地运行、复制、分发、研究、更改和改进的软件”。 在这个时期出现了首批开源许可证 GNU（通用许可证，现在通常称为“GPL”）和 BSD 许可证。 2021 中国开源年度报告 81 资料来源：各公司公告，云启资本 2021 中国开源年度报告 83 未来开源 4.0 时代 Serverless 将成为开源与云计算结合的新模式。无服务器（Serverless）是一种云原生开发模型，可 使开发者在无需管理服务器的情况下专注构建和运行应用。无服务器方案将服务器从应用开发中抽 离，由云供应商负责置备、维护和扩展服务器基本架构，而开发者则可仅将代码打包到容器中进行 部署。Serverless