 DeepSeek-V2: A Strong, Economical, and Efficient
Mixture-of-Experts Language Model4K 4K 32K # Activated Params 6.9B 2.8B 2.4B # Total Params 6.9B 16.4B 15.7B # Training Tokens 2T 2T 5.7T English MMLU 48.2 45.0 58.3 BBH 39.5 38.9 44.1 TriviaQA 59.7 64.8 64.2 NaturalQuestions 22.2 25 During pre-training, we set the maximum sequence 29 length to 4K, and train DeepSeek-V2-Lite on 5.7T tokens. We leverage pipeline parallelism to deploy different layers of it on different devices, but 4K 4K 32K # Activated Params 6.9B 2.8B 2.4B # Total Params 6.9B 16.4B 15.7B # Training Tokens 2T 2T 5.7T English MMLU 49.7 47.2 55.7 BBH 43.1 42.2 48.1 TriviaQA 59.5 63.3 65.2 NaturalQuestions 32.7 350 码力 | 52 页 | 1.23 MB | 1 年前3 DeepSeek-V2: A Strong, Economical, and Efficient
Mixture-of-Experts Language Model4K 4K 32K # Activated Params 6.9B 2.8B 2.4B # Total Params 6.9B 16.4B 15.7B # Training Tokens 2T 2T 5.7T English MMLU 48.2 45.0 58.3 BBH 39.5 38.9 44.1 TriviaQA 59.7 64.8 64.2 NaturalQuestions 22.2 25 During pre-training, we set the maximum sequence 29 length to 4K, and train DeepSeek-V2-Lite on 5.7T tokens. We leverage pipeline parallelism to deploy different layers of it on different devices, but 4K 4K 32K # Activated Params 6.9B 2.8B 2.4B # Total Params 6.9B 16.4B 15.7B # Training Tokens 2T 2T 5.7T English MMLU 49.7 47.2 55.7 BBH 43.1 42.2 48.1 TriviaQA 59.5 63.3 65.2 NaturalQuestions 32.7 350 码力 | 52 页 | 1.23 MB | 1 年前3
 普通人学AI指南. . . . . . . . . . . . 34 5.6 MaxKB 配置本地 llama3 . . . . . . . . . . . . . . . . . . . . . . 37 5.7 创建知识库应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3 1 AI 大模型基础 1.1 AIGC AIGC 47所示,对应填写,然后点击添加: 38 Figure 47: MaxKB 配置 Ollama3 续 添加成功后,会显示下面界面,如图 48所示: Figure 48: MaxKB 配置 Ollama3 续 39 5.7 创建知识库应用 这是最后一步了,回到 MaxKB 界面,如图 49所示: Figure 49: 创建知识库应用 点击应用,然后创建应用,填写应用名称、应用描述,AI 模型这里,选择我 们刚才创建的0 码力 | 42 页 | 8.39 MB | 8 月前3 普通人学AI指南. . . . . . . . . . . . 34 5.6 MaxKB 配置本地 llama3 . . . . . . . . . . . . . . . . . . . . . . 37 5.7 创建知识库应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3 1 AI 大模型基础 1.1 AIGC AIGC 47所示,对应填写,然后点击添加: 38 Figure 47: MaxKB 配置 Ollama3 续 添加成功后,会显示下面界面,如图 48所示: Figure 48: MaxKB 配置 Ollama3 续 39 5.7 创建知识库应用 这是最后一步了,回到 MaxKB 界面,如图 49所示: Figure 49: 创建知识库应用 点击应用,然后创建应用,填写应用名称、应用描述,AI 模型这里,选择我 们刚才创建的0 码力 | 42 页 | 8.39 MB | 8 月前3
 人工智能安全治理框架 1.0推进人工智能可解释性研究。从机器学习理论、训练方法、人机 交互等方面组织研究人工智能决策透明度、可信度、纠错机制等问题,不断提 高人工智能可解释性和可预测性,避免人工智能系统意外决策产生恶意行为。 5.7 人工智能安全风险威胁信息共享和应急处置机制。持续跟踪分析 人工智能技术、软硬件产品、服务等方面存在的安全漏洞、缺陷、风险威胁、 安全事件等动向,协调有关研发者、服务提供者建立风险威胁信息通报和共享0 码力 | 20 页 | 3.79 MB | 1 月前3 人工智能安全治理框架 1.0推进人工智能可解释性研究。从机器学习理论、训练方法、人机 交互等方面组织研究人工智能决策透明度、可信度、纠错机制等问题,不断提 高人工智能可解释性和可预测性,避免人工智能系统意外决策产生恶意行为。 5.7 人工智能安全风险威胁信息共享和应急处置机制。持续跟踪分析 人工智能技术、软硬件产品、服务等方面存在的安全漏洞、缺陷、风险威胁、 安全事件等动向,协调有关研发者、服务提供者建立风险威胁信息通报和共享0 码力 | 20 页 | 3.79 MB | 1 月前3
 Trends Artificial Intelligence
Egypt Brazil Indonesia USA Country % of Global Users (4/25) 13.5% 3.0% 3.5% 3.9% 5.4% 5.7% 8.9% Germany 3.0% France Vietnam 2.9% 2.6%317 DeepSeek Mobile App @ 54MM MAUs in Four Months0 码力 | 340 页 | 12.14 MB | 4 月前3 Trends Artificial Intelligence
Egypt Brazil Indonesia USA Country % of Global Users (4/25) 13.5% 3.0% 3.5% 3.9% 5.4% 5.7% 8.9% Germany 3.0% France Vietnam 2.9% 2.6%317 DeepSeek Mobile App @ 54MM MAUs in Four Months0 码力 | 340 页 | 12.14 MB | 4 月前3
共 4 条
- 1













