1.4 基础概念 1.4.1 上下文窗口 上下文窗口指的是模型一次可以处理的最大文本长度。这个长度通常用“to- kens”（标记）来表示，每个标记可以是一个单词、子词或单个字符，具体取决 于编码方式。 上下文窗口大小决定了模型在回答问题或生成文本时可以利用的上下文范 围。窗口越大，模型就能处理越长的上下文，对理解长文本内容非常重要。 较大的窗口允许模型处理更长的文本片段，从而提高在长文本任务中的表 Claude Claude 是 Anthropic 公司开发的一系列大型语言模型，它设计用于执行多种涉 及语言、推理、分析和编码的任务。 2.1.3 通义千问 通义千问（Qwen）是阿里云开发的一系列预训练的大型语言模型，用于聊天、 生成内容、提取信息、总结、翻译、编码、解决数学问题等多种任务。这些模型 在多种语言数据上进行预训练，包括中文和英文，覆盖广泛的领域。 2.2 图像 Figure 2.4.1 DEvv 程序员的新一代 AI 搜索引擎，专为编程和技术问题检索设计。 2.4.2 JetBrains AI AI 编程开发助手，集成在 JetBrains 系列开发工具中，提升编码效率。 9 Figure 6: AI 编程工具 2.4.3 AirOps 用于生成和修改 SQL 语句的工具，旨在简化数据库操作。 2.4.4 ChatDev 面壁智能开发的 AI 智能

多头注意力（Multi-Head Attention）：使用 多个注意力头同时分析不同的语义信息，使得模型的理解能力更强。3. 前 馈神经网络（FFN）：非线性变换模块，提升模型的表达能力。4. 位置编码 （Positional Encoding）：在没有循环结构的情况下，帮助模型理解单词的顺 序信息。 Transformer 结构的优势 1. 高效的并行计算：摒弃循环结构，使计算速度大幅提升。