视觉⽅⾯。团队成员发明了MoCo，引爆了基于对⽐学习的视觉预训练范式，也是过去三年 CVPR引⽤量最⾼的⼯作；发明了ShuffleNet，最⾼效的视觉⽹络结构之⼀；主导开发了 detectron2，⼀个被⼴泛使⽤的视觉开源项⽬并被集成到Meta全线VR/AR产品中。
iii. 强化学习⽅⾯。团队成员作为⼀作提出了基于关系学习的少样本⽅法，得到斯坦福⼤学、 Google、MIT、Amazon等团队的使 g
the
Limits
of
Language
Modeling》，但是你会发现最终的结果就是⼀⽆所获。
因为当模型变⼤之后，你 并不能得到⼀个更好的模型，训练损失不会更低，也不能得到更好的泛化的结果。⽽只有Transformer 架构是能够被scale（扩⼤规模）的。所以本质上，我们是需要⼀个可被规模化的⽹络架构，就是 Transformer。
本质上，正是因为这三个因素在这个时间点刚好汇聚起来，使得说AGI出现了⼀些苗 型的基础。 现在，有很多模型的上下⽂⻓度变得越来越⻓，但并不都是真实的规模化，⾥⾯有⼀些技术捷径。 ⽐如说，有些模型可能是个⾦⻥模型，我可能是在⼀个很短的窗⼝上去训练，把它去泛化，⽐如说推 到⼀个相对⻓的窗⼝，在泛化到很⻓的窗⼝的时候，他就可能会出现记忆损失，就像⾦⻥⼀样，可能 是只有7秒钟的记忆。
它也有可能是⼀个蜜蜂模型，通过检索或者降采样的⽅式，只关注局部，⽐如其中的某⼀⼩段的内

ETL 、自助取数、驾驶舱、数据 大屏、复杂报表、数据填报、智能决策等数据应用，支撑企业智能化决策。 通过信通院“大数据产品能力评测”商务智能工具评测 产品荣誉 文件类（CSV/TXT） 关系型/分布式数据库 API 接口 填报数据 大数据平台 数据连接 数据接入 SQL语句数据建模 可视化数据建模 轻量化 ETL 建模 对接数据中台模型 数据建模 数据分析 报告 智能图表推荐 年千言计划短文本相似度第一名 计算机视觉：2021 年 ICDAR 比赛语种识别3项第一名 产品荣誉 产品能力 提供丰富的AI原子能力，涵盖语音技术、自然语言处理、计算机视觉等领域，可广泛应用于泛娱乐、客服、电商、 教育和政企服务等行业。 易智语音/NLP/CV能力组件 语音技术 提供一句话识别、录音文件转写、实时语 音识别等语音技术。具备开放灵活的接 入和部署方式，可应用于语音质检、语音 管理。 客户收益： 更准确、规范的产出数据 任务运维方便，数据事故减少 提升智能投研智慧化水平 国内大型、综合性保险资产管理机构。 泰康资产 由中国银监会批准成立，并持有消费金融牌照的科技驱动型金融机构。 马上消费金融 CASE 金融行业 34 客户需求： 改变老旧腐化的IT系统 解决跨系统数据一致性问题 满足快速地个性化开发，支持创新 解决方案： 打造统一技术中台解决方案 实现业务中台分布式服务化建设

堡垒机的典型⾏业应⽤场景 ⾦融 银⾏、证券、基⾦、保险等⾦融机构⻓期遵循着严格的安全审计规范，堡垒机已经成为其企业 IT 系统建设的必备组件。 制造 制造业已经完成了从集中式制造向分布式制造的演进，⼤型制造企业往往在境内外拥有多个⽣产基地，需要借助堡垒机实现 分布式 IT 资产的统⼀运维安全审计。 政府及国有企业 政府机构及国有企业拥有⼤量机密信息，运维的安全等级要求很⾼，堡垒机是提⾼其安全合规⽔平的必备选择。 注：以上为 JumpServer 堡垒机企业版部分⽤户。 强⼤的市场影响⼒：堡垒机 = JumpServer JumpServer 堡垒机的特⾊功能 体验极佳的 Web Terminal ⼴泛的 多云管理⽀持 超⼤规模 分布式资产⽀持 全⾯的数据库 运维安全审计⽀持 ⽀持审计录像 的云端存储 内置多组织体系 强⼤的 远程应⽤发布能⼒ 灵活的 软件 / 硬件 Web Terminal 特⾊功能⼀ SFTP Web Terminal DB Web Terminal（Chen） ⽆需插件 ⼿机访问 JumpServer 堡垒机 特⾊功能⼀ ⼴泛的多云管理⽀持 ⾃动同步与纳管 特⾊功能⼆ JS - 1 统⼀存储 缓存 A.jms.com 离散⼊⼝分布式部署⽅案 区域 A 区域 B 超⼤规模分布式资产⽀持 - ⽀持多分⽀、多区域的集群分布式互联部署

目 录 Part 2： TOP101-2024 大 模 型 观 点 编委会 21 | 2024 年中国开源模型：崛起与变革 26 | 开源模型未必更先进，但会更长久 30 | 大模型撞上“算力墙”，超级应用的探寻之路 36 | AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 本章节数据来源：2024年1月至2024年12月 OSS Compass 平台相关公开数据 15 / 111 OSS Compass Insight 2024 中国开源开发者报告重点聚焦大模型，本章节以大模 型 LLM 开发技术栈作为切入点，将深入探讨以下中国 AI 大模型领域的代表性开源项目社区。 这些开源项目社区覆盖了深度学习框架、向量数据库、AI辅 助编程、LLM 应用开发框架、模型微调、推理优化、LLM 大模型云服务，主动权在开发者这里。 与之相对，开源的方法至少可以相当程度地省去为了拓展开发者生态而付出的大模型运行成 本。开发者免费下载大模型以后，会在自己的计算机资源上进行大模型应用的开发和调试。大模 型厂商提供一些技术支持即可。同时因为大模型运行在本地，开发者在构建大模型应用时，为了 物理部署上的便利，很可能会在应用与模型之间创造出物理部署上的耦合性。 当然这种“开源策略”不是进攻的方法，而是“先为不可胜，以待敌之可胜”。目标是以最

ElmFE/element 作为 前端组件，表现也⼗分突出。 PingCAP 在开源领域的表现也是⾮常地亮眼。Top50 项⽬中上榜的项⽬有 6 个，包括由其 ⾃主设计、研发的开源分布式关系型数据库 pingcap/tidb，分布式事务型的键值数据库 tikv/tikv，⽂档项⽬ pingcap/docs-cn、pingcap/docs 等，表明 PingCAP 很重视项⽬⽂档 的建设。值得关注的项⽬是 量得到保障和持续提升，更好地满⾜⼴⼤ AI 开 发者的使⽤需求，也让⼴⼤开发者形成了更强的社区认同感。 深度学习框架在 AI 技术栈中处于承上启下的位置，向下对接芯⽚，向上承接应⽤，与芯⽚⼴ 泛适配、深度融合优化⾄关重要。因此⻜桨跟硬件⼚商建⽴了紧密合作关系，很多芯⽚⼚商直 接在⻜桨社区贡献代码，为⻜桨⽣态发展做了⼤量贡献。⻜桨也持续与各⼤开源组织、AI 社 区深度合作，并得到启智（Op 4-5 点，当地时间 12-13 点左右，开发者的⼯作量锐减。 5、案例分析——LF AI&Data 5.1 简介 LF AI＆Data 是 Linux Foundation 下的⼀个综合型基⾦会，⽀持⼈⼯智能、机器学习、深度 学习和数据⽅⾯的开源创新。创建 LF AI＆Data 的⽬的是⽀持开源⼈⼯智能、机器学习、深 度学习和数据，并创建⼀个可持续的开源⼈⼯智能⽣态系统，使得能够使⽤开源技术轻松地创

发展活跃，从最初的百度文心一言“硬 刚”ChatGPT，到后来各式各样的大模型与产品出现，覆 盖了不同的领域和场景，构建了多元化的大模型生态。 大模型方面，百花齐放：百度的文心一言、抖音的云雀大模 型、智谱 AI 的 GLM 大模型、中科院的紫东太初大模型、 百川智能的百川大模型、商汤的日日新大模型、MiniMax 的 ABAB 大模型、上海人工智能实验室的书生通用大模型、腾 讯的混元大模型、蚂蚁的百灵大模型等。 大模型创业公司 “零一万物”。 11 月，零一万物推出 Yi-34B 和 Yi-6B 两个开源大模型，对学术研究完全开放。 2023 年 3 月，由清华技术成果转化的公司智谱 AI 宣布开源中英双语对话模 型 ChatGLM-6B，支持在单张消费级显卡上进行推理使用。 Sam Altman 被“逐出”OpenAI 如此突发的重磅消息震惊了全世界，有人称之为美国硅谷史上最大的“夺权” 事件。经历 105 HuggingFace Hub）组成。 7 月 13 日，京东全面推出京东言犀大模型， 服务千行百业，拥抱产业智能。言犀大模型 融合了 70%的通用数据与 30%京东数智供 应链原生数据，致力于面向知识密集型、任 务型产业场景，解决真实产业问题。 2023 年 6 月，百度智能云推出了基于大模型的 “Comate”代码助手。 借助文心大模型的理解、推理能力，“Comate” 可实现代码的快速补齐、自然语言推荐代码、

1% 2021 中国开源年度报告 17 3.4 受访者所在的企业类型 受访者所在的企业类型多为国内初创公司和国内大型互联网企业， 占比分别是 39% 和 25%。 专家点评 段夕华： 科技型初创公司用开源来实现技术能力展现，吸引潜在合作伙伴，这个趋势不容忽视。这其中国内 最为抢眼的就是 PingCAP/TiDB，其开源策略、战术均值得大家学习借鉴。 堵俊平：这两年，一个很明显的趋势是 开源软件商业化成功的底层驱动因素 近年来，开源软件商业化的成功已经成为共识。不论是相关公司在二级市场上持续走高的 市值，又或是一级市场上资本的不断涌入，都显示着开源软件商业化模式正得到越来越广 泛的认可。 marketing@yunqi.vc 2021 中国开源年度报告 75 开源软件商业化的成功不是空穴来风。我们认为，开源软件之所以 可以成功进行商业化发展，是由于开源模式在软件开发、销售等阶 的优势。 78 图表 6 ：开源软件增长飞轮 资料来源：云启资本 首先在获客阶段，开源运营模式降低了获客成本，并且使获客流程更具针对性。开发人员的相互交流、 GitHub 等平台带来的社区型协作，加速了传播获客。开源产品的初始客户定位通常为开源社区的参与者， 他们往往是企业里的开发者或者 IT 人员。培育了这些优质潜在客户，也就具备了“群众基础”。社区帮 助打开企业的边界，让好的开源

语言编写，资源占用仅 为 GitLab 的 1/4，运行速度约为 GitLab 的 3 倍 高可配置 100+ 配置项，40+ 模块配置， 通过灵活的配置满足不同应用场景的需求 安全稳定 被⼴泛验证，39k+ GitHub Star、40万+ 安装量、 1000+ 贡献者，覆盖 1000万+ 开发者 Gitea 优势总结 极佳体验 • 在 UI 上与 GitHub 采用类似的风 格设计； GitLab 卓越性能 100+ 配置项，40+ 模块配置， 通过灵活的配置满足不同场景的需求 涵盖用户认证、安全、任务、迁移、代理、仓库、服务、存储、会话、邮件等内容 高可配置 被⼴泛验证，39k+ GitHub Star、约 40万 安装量、1000+ 贡献者 长久稳定迭代 快速持续发展 •日均 clones：800+； •日均 views：7000+； •日均 unique

www.iresearch.com.cn 中国开源数据库图谱 来源：根据专家访谈、公开资料，由艾瑞咨询研究院自主研究及绘制。 关系型数据库 时序数据库 图数据库 键值数据库 向量及空间数据库 数据库 内核 中国开源数据库 多数基于国外成 熟的数据库内 核，仅少部分厂 商自研 24 ©2023.11 iResearch Inc 千行百业，主要用户包括上海证券交易所、比亚迪集团、国家电网、中 国联通等行业领军企业，同时云和恩墨、南大通用等国内多家主流数据库厂商成为openGauss合作伙伴。openGauss系产品覆盖关 系型集中式数据库、键值数据库、地理空间数据库、时序数据库等多样形态。未来，openGauss仍将不断汇聚开发者力量，持续攻 坚数据库领域，共创数智产业未来。 28 ©2023.11 iResearch Inc www.iresearch.com.cn 中国开源AI框架行业分层 国内市场中，AI框架可分为通用型与垂直型两类。互联网及技术巨头基于自身基础设施布局以及资源投入优势成为通用型AI框架的 主要厂商，其中飞桨与MindSpore具有较为领先的位置，提供覆盖全场景的AI开发要素。AI企业基于自身业务将底层框架开放，以 及科研机构自主研发是垂

Internet companies, accounting for 39% and 25%, respectively. 【专家点评】/ [Expert Comment] 段夕华： 科技型初创公司用开源来实现技术能力展现，吸引潜在合作伙伴，这个趋势不 容忽视。这其中国内最为抢眼的就是 PingCAP/TiDB，其开源策略、战术均值得大家学习 借鉴。 Duan Xihua: Technology Flywheel Source: Yunqi Partners 首先在获客阶段，开源运营模式降低了获客成本，并且使获客流程更具针对性。开发人员的相 互交流、GitHub 等平台带来的社区型协作，加速了传播获客。开源产品的初始客户定位通常为 开源社区的参与者，他们往往是企业里的开发者或者 IT 人员。培育了这些优质潜在客户，也就 具备了“群众基础”。社区帮助打开企业的边界，让好的开源项目和产品的口碑传播得以可能。 Partners 未来开源 4.0 时代 Future Open Source 4.0 Serverless 将成为开源与云计算结合的新模式。无服务器（Serverless）是一种云原生开发模 型，可使开发者在无需管理服务器的情况下专注构建和运行应用。无服务器方案将服务器从应 用开发中抽离，由云供应商负责置备、维护和扩展服务器基本架构，而开发者则可仅将代码打 包到容器中进行部署。Serverless