. . . . . . . . . 5 2.1 LLM 基础概念 . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Transformer 基础架构 . . . . . . . . . . . . . . . . . . . . . . 6 2.3 LLM 基本训练方法 . . . . . . . . . . . . . . billion，意思是十亿，7b 就是 70 亿，8b 就 是 80 亿，70 亿、80 亿是指大模型的神经元参数（权重参数 weight+bias）的 总量。目前大模型都是基于 Transformer 架构，并且是很多层的 Transformer 结构，最后还有全连接层等，所有参数加起来 70 亿，80 亿，还有的上千亿。 教程作者：郭震，工作 8 年目前美国 AI 博士在读，公众号：郭震 AI，欢迎关注获取更多原创教程。资 元化，模型最后就会越通用；即使包括噪声数据，模型仍能通过扩展规律提 取出通用的知识。而 Transformer 这种架构正好完美做到了 Scaling Laws， Transformer 就是自然语言处理领域实现扩展规律的最好的网络结构。 2.2 Transformer 基础架构 LLM 依赖于 2017 年 Google 提出的 Transformer 模型，该架构相比传统的 RNN（递归神经网络）和 LSTM（长短时记忆网络）具有更高的训练效率和

Maas（Model as a service）、Aaas（Agent as a service）这样的平台，如玩乐高一般搭建自己的 AI 云原生应用。 2. 算力层深挖定制化、低能耗的可能性，但固化 transformer 可能不是最优解 虽说智能体不需要太大的模型，但其运营成本（模型推理计算成本）仍然较高。在短时间内， 算力、能源仍然会是大模型领域令人头疼的高墙。 根据报告【1】，能源消耗将会是 2030 型底层技术的特性，产出针对性的芯片，尤其是加速运算和降低能耗。这是未来 AI 芯片领域的 最优竞争力。 那么，把 transformer“焊死”到板子上就是最佳方案吗？我知道你很急，但你先别急。大 模型底层框架还存在底层路线之争。 32 / 111 我们知道，Transformer 架构呈现了 O(n²)的理论计算复杂度，这里的 n 指的是大模型输入 序列的 token 数量，但其前任语言模型担当 最近，以 Mamba、RWKV 为代表的类 RNN 结构死灰复燃，公开挑战 transformer 地位。 更有最新研究【13】从理论上表明，RNN 对比 Transformer 的表达力，只差一个 in-context-retrieval。 在这个方向的持续投入下，我们很可能会迎接一个介于 RNN 和 Transformer 之间的“新王”。 因此，算力层短时间内的主题仍然是“半通用化”“高算力”“低能耗”。

High-Level 人 ORGREEE Te Conv2D mized RE -一 一 QQ octoML Transformer Improvements Transformer based models such as BERT have recently become very Popular and require first class instead. We wantto add this form of view as a relay intrinsic to enable highly fused and optimized transformer models. olo o o QQ octoML BERT has many reshape operations, which are currently implemented

MatMul BatchMatMul CuDNN w/ TensorCores tvm w/ TensorCores 1.4x better on emerging workloads Transformer related workloads Credit: Siyuan FengWhere are we goingUnified Runtime For Heterogeneous Devices

工具，其中很多都是开源！ 2.1 问答 2.1.1 ChatGPT ChatGPT 是一个由 OpenAI 开发的大型语言模型，它基于 GPT（Generative Pre-trained Transformer）架构。这种模型通过分析大量的文本数据来学习语 言结构和信息，使其能够生成连贯的文本、回答问题、撰写文章、进行对话等。 6 Figure 3: AI 问答工具 ChatGPT 经过特别

2024诺贝尔化学奖颁发给研发AlphaFold的两位AI专家 未来所有科学研究都将以AI为中心 过去如何做蛋白质研究 AlphaFold 1. X射线晶体衍射 2. 核磁共振 3. 冷冻电子显微镜 1. 利用Transformer的预测能力， 2. 直接从蛋白质的氨基酸序列 3. 中预测蛋白质的3D结构 靠肉眼观察，几年才能发现一个复杂蛋 白质结构，半个世纪预测了20多万种 从数年缩短到几分钟，解开了生物学密码 成功预测了地球存在的2亿种蛋白质结构

package contains the following modules: ast, consts, future, misc, pyassem, pycodegen, symbols, transformer, and visitor. 33.2 Limitations There are some problems with the error checking of the compiler compiler.transformer module. The transformer relies on the built-in Python parser to generate a concrete syntax tree. It generates an abstract syntax tree from the concrete tree. The transformer module number of modifications and improvements, but the basic form of the abstract syntax and of the transformer are due to Stein and Tutt. 33.3.1 AST Nodes The compiler.ast module is generated from a text

package contains the following modules: ast, consts, future, misc, pyassem, pycodegen, symbols, transformer, and visitor. 33.2 Limitations There are some problems with the error checking of the compiler compiler.transformer module. The transformer relies on the built-in Python parser to generate a concrete syntax tree. It generates an abstract syntax tree from the concrete tree. The transformer module number of modifications and improvements, but the basic form of the abstract syntax and of the transformer are due to Stein and Tutt. 33.3.1 AST Nodes The compiler.ast module is generated from a text

package contains the following modules: ast, consts, future, misc, pyassem, pycodegen, symbols, transformer, and visitor. 33.2 Limitations There are some problems with the error checking of the compiler compiler.transformer module. The transformer relies on the built-in Python parser to generate a concrete syntax tree. It generates an abstract syntax tree from the concrete tree. The transformer module number of modifications and improvements, but the basic form of the abstract syntax and of the transformer are due to Stein and Tutt. 33.3.1 AST Nodes The compiler.ast module is generated from a text