MiniMax 等。  其次是由 TogetherAI、Groq、Fireworks、Replicate、硅基流动等组成的 GPU 推理集群 服务提供商，它们处理扩展与缩减等技术难题，并在基本计算费用基础上收取额外费用，从 而让应用公司无需承担构建和管理 GPU 推理集群的高昂成本，而是可以直接利用抽象化的 AI 基础设施服务。  第三类是传统的云计算平台，例如亚马逊的 Amazon Vertex AI 等，允许应用开发者轻松部署和使用标准化或定制化的 AI 模型， 并通过 API 接口调用这些模型。  最后一类是本地推理，SGLang、vLLM、TensorRT-LLM 在生产级 GPU 服务负载中表现 出色，受到许多有本地托管模型需求的应用开发者的欢迎，此外，Ollama 和 LM Studio 也 是在个人计算机上运行模型的优选方案。 62 / 111 除模型层面外，应 软件，例如：微控制处理器（MCU）会运行实时操作系统或者直接运行某个特定程序；中央处 理器（CPU）往往会运行 Windows、Linux 等复杂操作系统作为底座支撑整个软件栈；图形 处理器（GPU）一般不加载操作系统而是直接运行图形图像处理程序，神经网络处理器 （NPU）则直接运行深度学习相关程序。 处理器芯片设计是一项很复杂的任务，整个过程犹如一座冰山。冰山水面上是用户或者大 众看到

GitHub, Yunqi Partners 5.4 Zilliz Zilliz 是研发面向人工智能的新一代数据处理和分析平台 ，其主要是为应用型企业提供底层技 术。Zilliz 研发的 GPU 加速的 AI 数据中台解决方案 Mega，其中包括数据 ETL 系统 MegaETL、数据库系统 MegaWise、面向 Hadoop 生态的模型训练系 MegaLearning 和特 征向量检索系统 intelligence that provides the underlying technology for application-oriented enterprises. Mega, Zilliz's GPU-accelerated AI data medium solution, Including data ETL system MegaETL, database system MegaWise announcement, Yunqi Partners Zilliz 的成功代表着基于 GPU 的大数据加速器为企业日益增长的数据分析需求提供了有效解 决方案。Zilliz 的核心项目向量相似度搜索引擎 Milvus 是全球首款 GPU 加速海量特征向量 匹配和检索引擎。Milvus 依托 GPU 加速，提供极速特征向量匹配以及多维度数据联合查询（特 征、标签、图片、视频、文本和语音等联

者友好的向导式操作界面和丰富的企业级功能，包括Kubernetes 多云与多集群管理、DevOps (CI/CD)、应用生命周期管理、边缘计算、微服务治理、多租户管理、可观测性、存储与网络 管理、GPU support等功能，目前已被国内数千家企业在生产环境采用，覆盖了银行、保险、在线教育、制造业、物流、 交通、能源等行业。同时，青云KubeSphere目前已经为中国人民银行、中国银行、光大银行、华夏银行、中金公司、陕 资源调度层(高可用、热迁移、快照、克隆、弹性伸缩) 计算资源 网络资源 存储资源 容灾备份 大屏监控 多云接入 服务目录 监控告警 第三方应用接入 资源管理 成本分析 …… 阿里云 天翼云 华为 VMware …… Intel 37 ©2022.2 iResearch Inc

(Safety)、 未来预测 (Predictions) 五个维度出发，对人工智能发展 现状和未来预期进行了深度分析。从中我们看到：  英伟达凭借各国、初创公司、大型科技公司和研究人员 对其 GPU 的巨大需求，跻身市值万亿美元俱乐部；  主要芯片供应商开发了不受出口管制影响的替代产品；  在 ChatGPT 的带领下，生成式 AI 的应用在图像、 视频、编码、语音等领域取得了突破性的进展，带动了 DebuggerX-DEV：开发人员的话听听就好不必那么当真，其实就是受限于 Mac 的封闭，有太多东西需要从头搞，没精力兼容 X11 了。我在 m1 上装 Asahi Linux， 用最新的 GPU 驱动和 Wayland，真就只是能简单用用，上上网写写文档，完成 度和体验还是差用 X.Org 的主力开发机一大截。 枫_林_海：奇怪的是现在 Wayland 还不稳定。很多应用也要依赖 X.org 大模型框架有哪些特点： ：大模型开发框架通过提供高 层次的 API 简化了复杂模型的构建过程。这 些 API 抽象掉了许多底层细节，使开发者能 够专注于模型的设计和训练策略。 ：这些框架经过优化，以充分利用 GPU、TPU 等高性能计算硬件，以加速模型 的训练和推理过程。 ：为了处理大型数据集和大规模参 数网络，这些框架通常设计得易于水平扩展， 支持在多个处理器或多个服务器上并行处理。 ：它们提供工具来有效地加

资料来源：GitHub，云启资本 资料来源：Crunchbase，云启资本 5.4 Zilliz Zilliz 是研发面向人工智能的新一代数据处理和分析平台 ，其主要是为应用型企业提供底层技术。Zilliz 研发的 GPU 加速的 AI 数据中台解决方案 Mega，其中包括数据 ETL 系统 MegaETL、数据库系统 MegaWise、面向 Hadoop 生态的模型训练系 MegaLearning 和特征向量检索系统 ：Zilliz 全球用户 资料来源：公司公告，云启资本 104 Zilliz 的成功代表着基于 GPU 的大数据加速器为企业日益增长的数据分析需求提供了有效解决方案。 Zilliz 的核心项目向量相似度搜索引擎 Milvus 是全球首款 GPU 加速海量特征向量匹配和检索引擎。 Milvus 依托 GPU 加速，提供极速特征向量匹配以及多维度数据联合查询（特征、标签、图片、视 频、文本和语音等联 月，OpenAI 宣布推出一种类似于 Python 的开源编程语言 Triton，并发布了 Triton 1.0 版本。目标是替代 Nvidia CUDA，可使没有 CUDA 经验的研究人员能够编写高效的 GPU 代码，且 大多数情况下可以与专家所能编写的代码质量媲美。 ● 2021 年 11 月，已经有文章报道《20 个开源低代码平台》，并总结了低代码平台的六大好处。 ● 2021 年 12

全流程管控 一站式覆盖数据导入、特征治理、模型 开发、模型训练、推理服务建模全流程， 提升 AI 建模效率。 轻量化、低成本 支持云原生架构，支持私有化部署，多形 态交付，按需扩展 CPU、GPU 等计算资 源，低成本落地 AI 应用。 实时计算产品率先实现批流一体，于2020年5月成功入选浙江省经信厅公布的浙江省软件产业高质量发展重点项目 产品荣誉 产品能力 产品能力 实时数据采集 主要应 用场景 大数据开发中心 离线开发 分布式计算引擎（MapReduce/Spark/Flink） 分布式储存引擎（HDFS） X86服务器 国产ARM服务器 国产AI生态的K8S集群 GPU/CPU/高性能计算集群 Infrastructure（产品化基础架构） AlgorithmEngine（大规模稀疏、图神经网络、分布式计算、计算框架服务） 实时开发 租户管理 调度管理

www.iresearch.com.cn MindSpore具有多种类模型库、数据集以及内置开发套件，可一站式满足AI开发需求。框架向下支持包括CPU、GPU、昇腾的多类 型算力，向上支持国内包括紫东·太初2、秦岭·翔语、CodeGeeX、鹏程·神农、空天·灵眸等50+大模型。MindSpore深耕学术应用， 在加速科学实验、启迪算法发现及促进计算优化方 图像分类 目标检测 文本分类 … 数据集 在线加载 快速上手官方样例仓库 完备使用教程 代码管理 在线训练 界面启动 Jupyter Notebook 在线推理 支持多种算力 CPU GPU Ascend MindPet 简化微调 MindFormers 简化AI开发流程 36 ©2023.11 iResearch Inc.

都不是问题”。
AGI：AI
本质就是⼀堆
scaling
law

海外独⻆兽：我们把
LLM
的训练⽐作登⽉，⽉之暗⾯的名字也和登⽉相关。你怎么看现在创业公司 的
LLM
训练，在
GPU
和算⼒资源有限的条件下，还能实现登⽉吗？
杨植麟：“登⽉”有⼏个不同的⽣产要素，算⼒肯定是⼀个核⼼，但还有其他的。 你需要⼀个同时满⾜
scalability
和
generality
这两 重挑战。
⽐如，计算量会随着上下⽂⻓度的增加呈平⽅级增⻓⸺⽐如上下⽂增加32倍时，计算量实际会增⻓ 1000倍；⽽在推理⽅⾯，即使是将单机显存配置拉到⽬前的最⾼⽔平（如配备8张80GB显存的GPU芯 ⽚），最多只能在千亿级模型上处理约5万汉字的⻓度。
但在Kimi
智能助⼿上，Moonshot团队通过创新的⽹络结构、改进算法策略等等，对模型训练的各个 环节进⾏了上百项的优化，从⽽在千

语言模型偏离正轨，执行创建者想要回避的操 作。在DEF CON大会期间，参与者将通过主办方 提供的笔记本电脑定时访问多个大语言模型。并 将会有一个夺旗式的积分系统，促进测试各种潜 在威胁。积分最高的参与者将获得英伟达高端 GPU作为奖品。AI Village公告中写道，“我们将 公布从此次竞赛中得到的启发，帮助其他想要做 类似尝试的人们。希望越来越多的人能知晓该如 何使用大语言模型，了解这些模型的局限性。” 注释：“红队”测试，是指安全专家尝试在组织系

milvus-io/milvus，Milvus 为海量特征向量的近似最近邻搜索（ANNS）⽽设计。相⽐ Faiss 和 SPTAG 这样的算⼦库，Milvus 提供完整的向量数据更新，索引与查询框架。 Milvus 利⽤ GPU（Nvidia）进⾏索引加速与查询加速，能⼤幅提⾼单机性能。  odpi/egeria  nnstreamer/nnstreamer，NNStreamer 是⼀组 Gstreamer 插件，为采⽤神经⽹络模