处理领域的卓越表现，成为推动语言理解、生成和应用的引 擎。 LLM 在多个领域都取得了令人瞩目的成就。在自然语言处 理领域，GPT 系列模型在文本生成、问答系统和对话生成 等任务中展现出色的性能。在知识图谱构建、智能助手开发 等方面，LLM 技术也发挥了关键作用。此外，它还在代码 生成、文本摘要、翻译等任务中展现了强大的通用性。 本报告从技术人视角出发，将深入探讨 LLM 技术的背景、 基础设施、应用现状，以及相关的工具和平台。 向量数据库  数据库向量支持  大模型框架、微调 (Fine Tuning)  大模型训练平台与工具 基础设施 LLM Agent  备案上线的中国大模型  知名大模型  知名大模型应用 大模型 算力 工具和平台  LLMOps  大模型聚合平台  开发工具 AI 编程  插件、IDE、终端  代码生成工具 编程语言 3 / 32 LLM 技术背景 Transformer (Generative Pre-trained Transformer) 的提出标志着 LLM 技术的飞速发展，其预训练和微调的 方法为语言任务提供了前所未有的性能，以此为基础，多模态融合的应用使得 LLM 更全面地处理各种 信息，支持更广泛的应用领域。 图源：https://postgresml.org/docs/.gitbook/assets/ml_system.svg 4 / 32 LLM 基础设施

空间的AI  从解决现实问题的AI，走向解决科学问题的科学型AI 大模型AI 智能体AI 物理AI 科学AI 10政企、创业者必读 面对全球大模型产业之争，要打赢「三大战役」 AGI之战 应用场景之战 大模型安全之战 • 探索超越人类的超级人工 智能AGI • 不仅是科技之争，更是国 运之争 • 不发展是最大的不安全， 发挥举国体制优势，打赢 追赶之战 • 大模型带来前所未有安全 结合场景才能发挥价值 • 中国拥有最完整的产业链、 最全的工业门类、最丰富 的场景 • 发挥场景优势，加速传统 产业数转智改，打赢弯道 超车之战 AGI是全球少数玩家的游戏，政府、企业、创业者更多创新的机会在应用之路 11政企、创业者必读 把大模型拉下神坛！ 走入千家万户、百行千业，才能掀起新工业革命 • 当年IBM做出超级电脑，并没有带来工业 革命，因为只有少数人用 • IBM甚至声称，全世界只用5台电脑就够了 具备强大推理能力，思维过程更加缜密，智能性提升 用起来更像真人，写作能力更强，想象力更丰富 31政企、创业者必读 DeepSeek-R1用户体验改善的作用  R1在零广告投入下7天增长1亿用户，创最快应用破亿里程碑  把人工智能从不可用、凑合用，变成大家都能用、都爱用  推动市场加速发展，在中国用户、企业和政府彻底普及了一次AI  中国可能成为全球AI普及率、渗透率最高的国家， 加速了中国爆

清华大学新闻学院与人工智能学 院双聘教授 沈阳团队博士后 何静 能做什么？ 要怎么做？ 效果如何？ 一 能做什么？ 数据挖掘 数据分析 数据采集 数据处理 数据可视化 AIGC 数据应用 通过编写爬虫代码、访问数据库、读取文件、调用API等方式，采 集社交媒体数据、数据库内容、文本数据、接口数据等。 通过数据清洗、数据集成、数据变换、特征工程等方式，实 现数据纠错、数据整合、格式转换、特征提取等。 于客户细分、信用评分、社交媒体营销、股价预测等。 将数据转化为统计图、热力图、网络关系图、词云、树形 图等，用于揭示数据中蕴含的模式、趋势、异常和洞见。 本质：以多agent实现从数据采集到可视全流程 模型特点 Claude 3.5 sonnet  平衡性能：在模型大小和 性能之间取得平衡，适合 中等规模任务。  多模态支持：支持文本和 图像处理，扩展应用场景。  可解释性：注重模型输出 的可解释性和透明性。 的可解释性和透明性。 DeepSeek R1  高效推理：专注于低延迟和 高吞吐量，适合实时应用。  轻量化设计：模型结构优化， 资源占用少，适合边缘设备 和移动端。  多任务支持：支持多种任务， 如文本生成、分类和问答。 Kimi k1.5  垂直领域优化：针对特定领域 （如医疗、法律）进行优化， 提供高精度结果。  长文本处理：擅长处理长文本 和复杂文档，适合专业场景。

. . . . . . . . 34 5.6 MaxKB 配置本地 llama3 . . . . . . . . . . . . . . . . . . . . . . 37 5.7 创建知识库应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3 1 AI 大模型基础 1.1 AIGC AIGC 是指使用人工智能 AI 大模型，AIGC 和 AGI 关系 4 1.2 AGI AGI（Artificial General Intelligence，人工通用智能）是一种理论上的人工智能， 它可以理解、学习和应用知识跨越各种不同领域，功能上等同于人类智能。 与专用人工智能（AI）不同，AGI 能够执行任何智力任务，具备自我意识和 自适应学习能力。AGI 的研发目标是创造出可以广泛地模拟人类认知能力的智 能系统。 ChatGPT 经过特别训练，可以理解和生成人类语言，从而在多种应用场景中提 供辅助，包括聊天机器人、写作辅助、信息查询等。 2.1.2 Claude Claude 是 Anthropic 公司开发的一系列大型语言模型，它设计用于执行多种涉 及语言、推理、分析和编码的任务。 2.1.3 通义千问 通义千问（Qwen）是阿里云开发的一系列预训练的大型语言模型，用于聊天、 生成内容、提取信息、

据特定业务需求对模 型进行微调，以适应特定任务，如行业术语、企业内部知识库等。 3. 离线运行，适用于无网络环境。可在离线环境下运行：适用于无互联网 连接或网络受限的场景。提高系统稳定性：即使云服务宕机，本地大模型依 然可以正常工作，不受外部因素影响。 本教程搭建 DeepSeek 好处 本地搭建 DeepSeek 三个比较实际的好处： • 本教程接入的是 DeepSeek 推理模型 LLM））的兴起。LLM 在自然语言处理（NLP）领域 发挥着越来越重要的作用，广泛应用于智能问答、文本生成、代码编写、机 器翻译等任务。LLM 是一种基于深度学习的人工智能模型，其核心目标是 通过预测下一个单词来理解和生成自然语言。训练 LLM 需要大量的文本数 据，使其能够掌握复杂的语言模式并应用于不同任务。 接下来，咱们先从较为基础的概念开始。 2.1 LLM 基础概念 模型 知识迁移能力和 多任务处理能力，从而展现出“无所不知、无所不晓”的特性。相比之下， 我们基于单一数据集训练的模型通常具有较强的针对性，但其知识范围仅 限于该数据集的领域或问题。因此，这类模型的应用范围较为局限，通常只 能解决特定领域或单一任务的问题。 Scaling Laws 大家可能在很多场合都见到过。它是一个什么法则呢？大 模型之所以能基于大量多样化的数据集进行训练，并最终“学得好”，核

32B 壁彻算⼒平台+昇腾910B集群 科研计算与多模态处理 四、云端部署替代⽅案 1. 国内云服务商推荐 平台 核⼼优势 适⽤场景 硅基流动 官⽅推荐API，低延迟，⽀持多模态模型 企业级⾼并发推理 腾讯云 ⼀键部署+限时免费体验，⽀持VPC私有化 中⼩规模模型快速上线 PPIO派欧云 价格仅为OpenAI 1/20，注册赠5000万tokens 低成本尝鲜与测试 2. 国际接⼊渠道（需魔法或外企上⽹环境 DeepSeek-R1-UD- IQ1_M 158 GB ≥200 GB 消费级硬件（如Mac Studio） DeepSeek-R1-Q4_K_M 404 GB ≥500 GB ⾼性能服务器/云GPU 下载地址： HuggingFace模型库 Unsloth AI官⽅说明 2. 硬件配置建议 硬件类型 推荐配置 性能表现（短⽂本⽣成） 消费级设备 Mac Studio（192GB统⼀内存） cn/i/OBklluwO 4. 字节跳动⽕⼭引擎：https://console.volcengine.com/ark/region:ark+cn-beijing/experience 5. 百度云千帆：https://console.bce.baidu.com/qianfan/modelcenter/model/buildIn/list 6. 英伟达NIM：https://build.nvidia

• DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 创建适应不同场景的元提示语 批判性思考 客观评估AI输出，识别潜在偏见和错误 设计反事实提示语，测试AI理解深度 构建验证机制，确保AI输出的可靠性 创新思维 探索非常规的提示语方法 结合最新AI研究成果，拓展应用边界 设计实验性提示语，推动AI能力的进化 伦理意识 在提示语中嵌入伦理考量 设计公平、包容的AI交互模式 预防和缓解AI可能带来的负面影响 掌握提示语设计：AIGC时代的必备技能 提示语设计的进阶技能 创建适应不同场景的元提示语 批判性思考 客观评估AI输出，识别潜在偏见和错误 设计反事实提示语，测试AI理解深度 构建验证机制，确保AI输出的可靠性 创新思维 探索非常规的提示语方法 结合最新AI研究成果，拓展应用边界 设计实验性提示语，推动AI能力的进化 伦理意识 在提示语中嵌入伦理考量 设计公平、包容的AI交互模式 预防和缓解AI可能带来的负面影响 提示语设计的核心技能体系不仅涵盖了技术层面的专

• DeepSeek-R1是其开源的推理模型，擅长处理复杂任务且可免费商用。 Deepseek可以做什么？ 直接面向用户或者支持开发者，提供智能对话、文本生成、语义理解、计算推理、代码生成补全等应用场景， 支持联网搜索与深度思考模式，同时支持文件上传，能够扫描读取各类文件及图片中的文字内容。 文本生成 表格、列表生成（如日程安排、菜谱） 代码注释、文档撰写 结构化生成 文章/故事/诗歌写作 创建适应不同场景的元提示语 批判性思考 客观评估AI输出，识别潜在偏见和错误 设计反事实提示语，测试AI理解深度 构建验证机制，确保AI输出的可靠性 创新思维 探索非常规的提示语方法 结合最新AI研究成果，拓展应用边界 设计实验性提示语，推动AI能力的进化 伦理意识 在提示语中嵌入伦理考量 设计公平、包容的AI交互模式 预防和缓解AI可能带来的负面影响 掌握提示语设计：AIGC时代的必备技能 提示语设计的进阶技能 创建适应不同场景的元提示语 批判性思考 客观评估AI输出，识别潜在偏见和错误 设计反事实提示语，测试AI理解深度 构建验证机制，确保AI输出的可靠性 创新思维 探索非常规的提示语方法 结合最新AI研究成果，拓展应用边界 设计实验性提示语，推动AI能力的进化 伦理意识 在提示语中嵌入伦理考量 设计公平、包容的AI交互模式 预防和缓解AI可能带来的负面影响 提示语设计的核心技能体系不仅涵盖了技术层面的专

……………………………… 3 3.2 人工智能应用安全风险 ……………………………… 5 4. 技术应对措施 ……………………………………………… 7 4.1 针对人工智能内生安全风险 ………………………… 7 4.2 针对人工智能应用安全风险 ………………………… 9 5. 综合治理措施 ……………………………………………… 10 6. 人工智能安全开发应用指引 ……………………………… 12 6.1 模型算法研发者安全开发指引 ……………………… 12 6.2 人工智能服务提供者安全指引 ……………………… 13 6.3 重点领域使用者安全应用指引 ……………………… 14 6.4 社会公众安全应用指引 ……………………………… 15 目 录- 1 - 人工智能安全治理框架 人工智能是人类发展新领域，给世界带来巨大机遇，也带来各类风险挑战。 落实《全球人工智能治理倡议 体安全责任，打造全过程全要素治理链条，培育安全、可靠、公平、透明的人 工智能技术研发和应用生态，推动人工智能健康发展和规范应用，切实维护国 家主权、安全和发展利益，保障公民、法人和其他组织的合法权益，确保人工 智能技术造福于人类。 1.1 包容审慎、确保安全。鼓励发展创新，对人工智能研发及应用采取 包容态度。严守安全底线，对危害国家安全、社会公共利益、公众合法权益的 风险及时采取措施。

和数字中国发挥重要的支撑作用。人工智能产业链包括基础 层、框架层、模型层、应用层等 4 个部分。其中，基础层主 要包括算力、算法和数据，框架层主要是指用于模型开发的 深度学习框架和工具，模型层主要是指大模型等技术和产 品，应用层主要是指人工智能技术在行业场景的应用。近年 来，我国人工智能产业在技术创新、产品创造和行业应用等 方面实现快速发展，形成庞大市场规模。伴随以大模型为代 2 表的 表的新技术加速迭代，人工智能产业呈现出创新技术群体突 破、行业应用融合发展、国际合作深度协同等新特点，亟需 完善人工智能产业标准体系。 二、总体要求 以习近平新时代中国特色社会主义思想为指导，全面贯 彻党的二十大和二十届二中全会精神，认真落实中央经济工 作会议和全国新型工业化推进大会部署要求，完整、准确、 全面贯彻新发展理念，统筹高质量发展和高水平安全，加快 赋能新型工业化，以抢抓人工智能产业发展先机为目标，完 坚持创新驱动。优化产业科技创新与标准化联动机制， 加快人工智能领域关键共性技术研究，推动先进适用的科技 创新成果高效转化成标准。 坚持应用牵引。坚持企业主体、市场导向，面向行业应 用需求，强化创新成果迭代和应用场景构建，协同推进人工 3 智能与重点行业融合应用。 坚持产业协同。加强人工智能全产业链标准化工作协 同，加强跨行业、跨领域标准化技术组织的协作，打造大中 小企业融通发展的标准化模式。