12/24: OpenAI announces o3, its highest-ever performing model 1/25: Alibaba unveils Qwen2.5-Max, which surpasses the performance of other leading models (GPT- 4o, Claude 3.5) on some AI overviews to augment its search functions 9/24: Alibaba releases 100 open-source Qwen 2.5 models, with performance in line with Western competitors 1/25: DeepSeek releases its 2021-2025, per NVIDIA 2.5MM 6MM 0 3 6 Number of Developers (MM) 7K 27K 0 15 30 2021 2025 Number of AI Startups (K) Number of Applications Using GPUs (K) 1.7K 4K 0 2.5 5 +2.4x +3.9x +2

. . . . . . . . . . . . 10 2.4.10 通义灵码 . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.5 AI 指令编写工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.5.1 FlowGPT . . . . . . . . 由 GitHub 推出的开源 AI 编程助手，能够根据代码库提供编程建议和代码片 段。 10 2.4.10 通义灵码 阿里巴巴开发的开源编程工具，利用 AI 技术提升代码生成和分析能力。 2.5 AI 指令编写工具 Figure 7: AI 指令辅助工具 2.5.1 FlowGPT 网址：https://flowgpt.com/ Figure 8: FlowGPT 包括各种工具提示词

相比原始 的DeepSeek-R1（671B参数），计算复杂度显著降低。 • 性能优化：在代码和数学基准测试中，蒸馏技术显著提升了模 型性能。例如，在基准测试中，蒸馏后的DeepSeek-V2.5模 型在Pass@1和Length指标上均显著优于基线模型。 教师模型生成数据 学生模型训练 微调与优化 策略优化：开源特性，成本优势  开源策略  成本优势 DeepSeek 通过技 014美元（缓存命中） 0.28美元 DeepSeek-R1 未明确（推测低于V3） 0.14美元（缓存命中） / 0.55美元（缓存未命中） 2.19美元 OpenAI GPT-4o 10亿美元 2.5美元（缓存未命中） / 1.25美元（缓存命中） 10美元 OpenAI o1 未明确 （推测高于GPT-4o） 15美元（缓存未命中） / 7.5美元（缓存命中） 60美元 Claude 3

0 1 2 3 SSD_MobileNet1.0 SSD_ResNet50 Yolov3 w/o w/ Acer aiSage Speedup 0 0.5 1 1.5 2 2.5 SSD_MobileNet1.0 SSD_ResNet50 Yolov3 w/o w/ NVIDIA Jetson Nano AWS DeepLens Acer aiSage NVIDIA

# Shots Small MoE Small MoE Large MoE Large MoE w/ MHA w/ MLA w/ MHA w/ MLA # Activated Params - 2.5B 2.4B 25.0B 21.5B # Total Params - 15.8B 15.7B 250.8B 247.4B KV Cache per Token (# Element) - 110.6K