AI 的三岔路口：专业模型和个人模型 40 | 2024 年 AI 编程技术与工具发展综述 45 | RAG 的 2024：随需而变，从狂热到理性 51 | 大模型训练中的开源数据和算法：机遇及挑战 57 | 2024 年 AI 编程工具的进化 62 | AI 开发者中间件工具生态 2024 年总结 66 | AI Agent 逐渐成为 AI 应用的核心架构 68 | 谈开源大模型的技术主权问题 最受喜爱开源组织指2024年获得 Star 数最多的开源组织（成员5人及以上） 收获 Star 数方面，更加注重创 新和技术探索「民间」开源组织 更加「接地气」，受到了更多开 发者的喜爱。 虽然面临资源的挑战，但它们的 灵活性和社区驱动力使得它们获 得了更多开发者的支持。 9 / 111 本年度最活跃的开源组织 不同开源组织在 Issue 解决 和 PR 处理数量上的差异，反映了它 们在开发活跃度、社区参与度和 模型通过与 高通 GenAI 扩展的联合优化，在搭载骁龙 8 Gen 4 处理器的手机上实现了每秒 65 个 tokens 的推理速度，接近人类语音的平均输出速率。尽管存在电池续航和内存占用过大等挑战， 端上模型代表了 AI 技术隐私保护和成本优化的未来方向。中国在这一领域的探索，为行业提供 了宝贵经验。 推理扩展法则的潜力释放 通过推理扩展法则，模型性能可通过延长“思考时间”而进一步优化。这一技术模拟了人类

是⼀个统计概率模型，它能通往
AGI
吗？
杨植麟：统计模型没有什么问题。当
next
token
prediction
⾜够好的时候，它能够平衡创造性和事实 性。 事实性⼀般是对统计模型的挑战，但是今天的语⾔模型可以有⾮常尖峰的分布。让它回答“中国的⾸ 都”，模型对“北”这个字能给出
99%
的概率。同时，如果我今天让它写⼀本⼩说，那它可能下⼀个 词的概率分布就会很均匀。概率其实是⼀ 如果限定了问题，⽐如数学或者写代码，数据是相对好⽣成的。通⽤的问题现在还没有完全的解法， 但是存在⼀些⽅向可以去探索。
海外独⻆兽：2025
年的瓶颈会是能源？因为到时候单个集群规模很⼤，对能源带来挑战。
杨植麟：这些问题其实是连在⼀起的，最后可能是多模态解决数据问题，合成数据解决能源问题。 到了
GPT-6
这⼀代，掌握合成数据技术的玩家会体现出明显差距。因为数据其实有两种，⼀种是做
我们平时看⽉亮，都只能看到发光的⼀⾯，看不到背后，但是你会有⼀种很强的冲动，想要去探索神 秘的⽉球背⾯。 这和⼤模型很相似，你很想去探索⼀个神秘的、未知的东西。它很难，很有挑战性，同时⼜可以结合 很多摇滚的底层精神，不断地创新，不断地挑战事物已有的形状，去想象接下来可能会是什么样。 我们当时想了各种名字，最终选择了⽉之暗⾯和
Moonshot（登⽉计划）的中英⽂组合，它可以⽐较 好地去反映我们对于

常见陷阱与应对：新手必知的提示语设计误区 挖掘反向思维：从非传统角度切入 创新设计策略： ▪ 设定逆向任务：提示语可以引导AI从相反的角度处理问题，提供不同于传统生成的内容。 ▪ 挑战预设思维模式：通过打破任务的常规设定，促使AI生成具有挑战性和创新性的内容。 灵活运用任务开放性：给AI自由发挥的空间 创新设计策略： ▪ 设定基本框架，留出探索余地：提示语应提供一个结构化的框架，包含具体的生成目标，但不应过度限制表 请从一个全新的角度重新思考[问题/主题]，并提出与众不同的见解。 2. 请将其他领域中与此不相关的概念结合起来，探索其在[主题]上的应用。 3. 请设定一个全新的情境，讨论在此情境下[问题/主题]会有怎样的发展。 4. 请挑战现有的常规观点，从反面角度思考[问题/主题]，并提出新的可能性。 5. 请结合不同学科的理论，提出一个创新的解决方案。 6. 请从结果出发，倒推可能的原因和过程，探索新的解决途径。 提示语链的作用机制（二） 与图像和数据可视化 结合起来。 6. 请选用合适的数据可视化工具，并详细描述其使用方法，生成可视化内容。 7. 请将具体案例与数据分析相结合，生成一份包含案例分析的多模态报告。 类别 优势 挑战 结构化思维 引导AI按照预设逻辑进行创作 设计合理的逻辑结构需要经验和技巧 内容深度 通过多步引导，实现更深入的内容 探讨 控制每个步骤的输出深度，避免冗余 创意激发 多角度提示激发AI的创造性思维

常见陷阱与应对：新手必知的提示语设计误区 挖掘反向思维：从非传统角度切入 创新设计策略： ▪ 设定逆向任务：提示语可以引导AI从相反的角度处理问题，提供不同于传统生成的内容。 ▪ 挑战预设思维模式：通过打破任务的常规设定，促使AI生成具有挑战性和创新性的内容。 灵活运用任务开放性：给AI自由发挥的空间 创新设计策略： ▪ 设定基本框架，留出探索余地：提示语应提供一个结构化的框架，包含具体的生成目标，但不应过度限制表 请从一个全新的角度重新思考[问题/主题]，并提出与众不同的见解。 2. 请将其他领域中与此不相关的概念结合起来，探索其在[主题]上的应用。 3. 请设定一个全新的情境，讨论在此情境下[问题/主题]会有怎样的发展。 4. 请挑战现有的常规观点，从反面角度思考[问题/主题]，并提出新的可能性。 5. 请结合不同学科的理论，提出一个创新的解决方案。 6. 请从结果出发，倒推可能的原因和过程，探索新的解决途径。 提示语链的作用机制（二） 与图像和数据可视化 结合起来。 6. 请选用合适的数据可视化工具，并详细描述其使用方法，生成可视化内容。 7. 请将具体案例与数据分析相结合，生成一份包含案例分析的多模态报告。 类别 优势 挑战 结构化思维 引导AI按照预设逻辑进行创作 设计合理的逻辑结构需要经验和技巧 内容深度 通过多步引导，实现更深入的内容 探讨 控制每个步骤的输出深度，避免冗余 创意激发 多角度提示激发AI的创造性思维

Prompts（指令） 跨学科融合：将“舆论分析”概念与其他领域的最新具有突破性的理论深度结合，提出极其具有创新的交叉领域的十个问题。 探索“舆论分析”概念的基础理论、哲学基础或科学原理等深层次原理，提出挑战这些基础的前所未有的突破性十个问题。 舆论分析这个概念在最前沿科技或理论中的潜在应用，列出十个充满想象力和震撼性，前所未有的应用。 如果要量化研究审美智能概念，请提出一个合理的，有效的，各指标不 文本较为学术，内容涵盖引言、 各层面的分析，总结与展望、 参考文献 文本贴近学术综述，内容涵盖 了引言、研究现状、参考文献 文本倾向于事实现状，内容包 括历史背景、当前趋势、应用 领域、挑战与局限、未来方向 等，结构清晰，适合用于行业 分析和趋势预测 参考文献管理 参考文献数量相对更多，涵盖 国内外学术文献，参考文献标 注格式规范，引用的文献来自 真实数据源，确保内容的准确 照不同研究领域和主题进行 分类，逻辑性强 报告整体呈现出总分总的逻 辑架构，语言描述清晰，避 免冗长，使用简短的句子表 达复杂的信息 报告整体架构严谨，以引言、 技术原理、应用现状、技术 挑战、未来展望等部分进行 层层递进。语言中多使用中 性描述，客观呈现研究进展 与问题 语言逻辑严谨，条理清晰，各部分 之间逻辑关系明确。在历史背景和 当前趋势部分，按照时间顺序和技 术创新进行分类，逻辑性强

……………………… 14 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，为 推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工 智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险，制定本 进行标识分类、区 别对待，带来系统性、结构性的社会歧视与偏见。同时，拉大不同地区人工智 能鸿沟。 （b）挑战传统社会秩序的风险。人工智能发展及应用，可能带来生产工具、 生产关系的大幅改变，加速重构传统行业模式，颠覆传统的就业观、生育观、 教育观，对传统社会秩序的稳定运行带来挑战。 （c）未来脱离控制的风险。随着人工智能技术的快速发展，不排除人工 智能自主获取外部资源、自我复制，产生自我意识，寻求外部权力，带来谋求 认知域 风险 加剧“信息茧房”效应风险 4.2.3 （b） 用于开展认知战的风险 4.2.3 （a）（b）（c） 伦理域 风险 加剧社会歧视偏见、扩大智能 鸿沟的风险 4.2.4 （a） 挑战传统社会秩序的风险 4.2.4 （a）（b） 未来脱离控制的风险 4.2.4 （b）

恢复和集群等功能通常是专有的）。开放核心模式通过允许开源公司在专有代码库中保留某 些功能以此来抵御公共云厂商的竞争。但是，这种模式存在两个挑战。首先，开源范围的尺度难以拿捏。 如果开源部分太多，专有功能的盈利就会变少 ；但如果开源提供的功能太少，那么开源项目可能无法得 到广泛采用。另一个挑战是，将开源与代码中的专有功能彻底分开有时比较困难。 Hybrid Licensing 开放核心 + 混合许可——混合许可 的重要因素。开源代码具有公开易获取的特点， 这为开发者提供便利的同时，也隐含着漏洞反馈和修复滞后的潜在风险。开源项目一旦被广泛使用，一 方面漏洞信息散落在各类开发者手中，能否及时被官方收录是一个挑战 ；同时另一方面，如果软件使用 者跟踪漏洞修复不及时，则其被攻击的风险将大大提升。 专家点评 姜宁：开源组件的使用并不是没有成本的。 一般来说开源软件许可中都包含了一个不提供质保的声明。 如果 Log4j 漏洞影响的企业网络的区域统计 资料来源：Check Point Research，云启资本 90 3.3.3 云厂商竞争风险 与使用开源项目但不回馈的公共云公司的竞争是多数软件供应商面临的挑战。云厂商通过 Fork 流行项 目的源代码，将其作为付费托管服务面向客户，用基于原供应商代码的项目与其竞争客户，造成了云厂 商与开源项目现在的摩擦现状。在 VansonBourne 的 2021

是专有的）。开放核心模式通过 允许开源公司在专有代码库中保留某些功能以此来抵御公共云厂商的竞争。但是，这种模式存 在两个挑战。首先，开源范围的尺度难以拿捏。如果开源部分太多，专有功能的盈利就会变少； 但如果开源提供的功能太少，那么开源项目可能无法得到广泛采用。另一个挑战是，将开源与 代码中的专有功能彻底分开有时比较困难。 Open-core: Vendors package proprietary 的重要因素。开源代码具有公开易获取 的特点，这为开发者提供便利的同时，也隐含着漏洞反馈和修复滞后的潜在风险。开源项目一 旦被广泛使用，一方面漏洞信息散落在各类开发者手中，能否及时被官方收录是一个挑战；同 时另一方面，如果软件使用者跟踪漏洞修复不及时，则其被攻击的风险将大大提升。 Security risks arising from vulnerabilities in open source Yunqi Partners 3.3.3 云厂商竞争风险 Risks of competition from cloud vendors 与使用开源项目但不回馈的公共云公司的竞争是多数软件供应商面临的挑战。云厂商通过 Fork 流行项目的源代码，将其作为付费托管服务面向客户，用基于原供应商代码的项目与其竞争客 户，造成了云厂商与开源项目现在的摩擦现状。在 VansonBourne 的 2021

献的原因中，提升自身知识技术水平、提高自我认同、获得职业发 展机会排名前三，这也与开发者参与开源的方式相互印证。 7.7% 13.3% 18.2% 31.5% 33.6% 47.6% 挑战技术难题 维护程序问题/可拓展性 获得经济收益 了解前沿技术 实现互惠互利、共建共享 获得职业发展机会 提高自我认同 提升自身知识技术水平 占比（%） 56.6% 53.9% 参与开源贡献的原因 海外框架，海外框架由此获得先发优势。目前来看，海外框架在国内的使用率仍然领先。2016年底，以飞桨为代表的国产AI框架陆 续进入市场，为AI企业提供技术自主、性能高效的开发工具，成为海外框架的有力挑战者。 开发者关注的开源技术领域中AI处于领先位置 18% 17% 22% 22% 22% 29% 33% 34% 45% 其他 元宇宙 操作系统 数据库 大前端 云原生 PaddlePaddle 11% OneFlow 3% MXNet 2% MegEngine 2% Jittor 1% 其他 6% 2016 2020 AI产业发展释放底层开发需求，国产开源框架不惧挑战奋起直追 中国开发者主流人工智能框架使用率排名 海外AI框架开源时间 2016年底，飞 桨宣布开源 AI产业的迅速成长，将顶层（应用层）需求向底层（开发层）传 导，开发侧需求既包括本报告讨论的开源AI框架，也包括开源AI

⽤能⼒。 客户挑战 ⼀周的时间内成功 将 JumpServer 堡 垒机从⽼版本升级 ⾄新版本。 ＜1 周 版本升级 过万 台资产 ⽆缝过渡 迁 移 过 程 快 速 平 稳，超过 10,000 台 的 IT 资产安全、完 整迁移⾄新平台。 ⼤规模资产迁移 JumpServer 既有 的授权规则和使⽤ 部⻔的应⽤体验⽆ 缝迁移⾄新平台。 管理体验平滑过渡 客户收益 客户挑战 • 农信社多分⾏的模式