2023年05月 深度学习-自然语言处理和词嵌入 黄海广 副教授 2 03 Word2Vec 04 GloVe 本章目录 01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 4 词汇表征和文本数据处理 8 2.词嵌入 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 9 2.词嵌入 “Sally Johnson is an orange farmer.” “Robert Lin is an apple farmer.” 10 2.词嵌入 如何用词嵌入做迁移学习的步骤。 如何用词嵌入做迁移学习的步骤。 第一步，先从大量的文本集中学习词嵌入。 第二步，你可以用这些词嵌入模型把它迁移到你的新的只有少量标注训练集的任 务中，比如说用这个300维的词嵌入来表示你的单词。这样做的一个好处就是你 可以用更低维度的特征向量代替原来的10000维的one-hot向量，现在你可以用 一个300维更加紧凑的向量。 第三步，当你在你新的任务上训练模型时，在你的命名实体识别任务上，只有少 量的标记数

1 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 8.2.2 词元化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 8.2.3 词表 357 9.5.1 下载和预处理数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358 9.5.2 词元化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359 9.5.3 词表 . . . . . . . . 378 10 注意力机制 381 10.1 注意力提示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382 10.1.1 生物学中的注意力提示 . . . . . . . . . . . . . . . . . . . . . .

这个政策好啊，利国利民 ---  电子税务局无法登陆，提示404。--- 税务局相关  个人所得税APP，注册的时候操作错误，怎么办？ --- 个税app相关 f(text)=label 词 句子 篇章 对话 5 文本分类方法简史-机器学习 特征提取 特征选择 输入 文本 模型训练 模型部署 评测 label 预测标签 词袋 TFIDF Ngram 词典 … 卡方 用语言模型 在目标语料上微调 语言模型 在目标语料上训练 分类器 … … BERT E[ C E1 T1 E2 T2 En Tn … … 模型： 数据： 目标： 预测mask词和下一句 … … BERT E[ C E1 T1 E2 T2 En Tn … … 分类器 模型： 数据： 手机不错，高大上 正面 手机太差劲了，又贵又卡 负面 续航给力，价格实在

•图像分类 •目标检测 •图像分割 •目标跟踪 •OCR文字识别 •图像滤波与降噪 •图像增强 •风格迁移 •三维重建 •图像检索 •GAN 12 深度学习-CV典型应用案例 翻译 传统翻译采用人工查词的方式，不但耗时长 ，而且错误率高。图像识别技术(OCR)的出 现大大提升了翻译的效率和准确度，用户通 过简单的拍照、截图或划线就能得到准确的 翻译结果。 体育赛事 计算机视觉还有助于比赛和策略分 Processing）是一门通过建 立形式化的 计算模型来分析、理解和处理自然语言的学科，也是 一门横跨语言学、计算 机科学、数学等领域的交叉学科。自然语 言处理，是指用计算机对自然语言 的形、音、义等信息进行处理 ，即对字、词、句、篇章的输入、输出、识别、 分析、理解、生 成等的操作和加工。自然语言处理的具体表现形式包括机器 翻译 、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识 别等。 可以说，自然语言处理就是要计算机理解自然语言，自然 付费的专业版。专业版额外增加了一些功能， 如项目模板、远程开发、数据库支持等。个人学习 Python 使用免费的社区版 已足够。 如果有edu邮箱，那么推荐使用专业版，edu邮箱是可以免费使用专业版的。 安装过程照着提示一步步操作就可以了。 注意：安装路径尽量不使用带有 中文或空格 的目录，这样在之后的使用过程 中减少一些莫名的错误。 Python 的环境的安装 55 Python 的主要数据类型 ⚫字符串

方 法 替 代。 这 里 使 用 了 apply_chat_template() 函数将消息转换为模型能够理解的格式。其中的 add_generation_prompt 参数用于在输入中添加生成提示，该提示指向 <|im_start|>assistant\n 。尤其需要注意的是，我们 遵循先前实践，对 chat 模型应用 ChatML 模板。而 max_new_tokens 参数则用于设置响应的最大长度。此 batch_decode() 函数对响应进行解码。关于输入部分，上述的 messages 是一个 示例，展示了如何格式化对话历史记录和系统提示。默认情况下，如果您没有指定系统提示，我们将直接使 用 You are a helpful assistant. 作为系统提示。 1.3.2 流式输出 借助 TextStreamer ，您可以将与 Qwen 的对话切换到流式传输模式。下面是一个关于如何使用它的示例： https://github.com/QwenLM/Qwen-Agent.git cd Qwen-Agent pip install -e ./ 1.14.2 开发您自己的智能体 Qwen-Agent 提供包括语言模型和提示词等原子级组件，及智能体等高级组件在内的多种组件。以下示例选 取助理组件进行展示，阐述了如何整合自定义工具以及如何迅速开发出一个能够应用这些工具的代理程序。 import json import os

11.7 RNN 短时记忆 11.8 LSTM 原理 11.9 LSTM 层使用方法 11.10 GRU 简介 11.11 LSTM/GRU 情感分类问题再战 11.12 预训练的词向量 11.13 参考文献 第 12 章 自编码器 12.1 自编码器原理 12.2 MNIST 图片重建实战 12.3 自编码器变种 12.4 变分自编码器 12.5 '"': 14 为了有效表达单词直接的语义相关性，通常需要将数字编码的单词转换为向量编码，即词 向量。这里通过 nn.Embedding 层将数字编码的单词转换为长度为 100 个词向量： 预览版202112 4.5 张量的典型应用 15 In [47]: # 创建词向量 Embedding 层，输入最大 10002 个单词，编码长度为 100 的向量 embedding # 打印批形状 word_vec = embedding(text) # 通过 Embedding 层获取词向量 print('after:', word_vec.shape) # 打印词向量的 shape Out[47]: before: torch.Size([80, 30]) torch.Size([30]) after: torch.Size([80, 30

的讲解方式，但我们对讲解顺序和内容，以及程序代码都做了大量的改进。说了那么多， 总之，我们的目标是写一个最好的最容易上手的 pytorch 入门教程——从全连接网络开始。 书中的示例代码在网站页面可以找到。每节末尾会提示“本节代码见 chapterX.py”。 20211006：完成本书第一版。 5 1. 准备章节 1.1 导入 pytorch 6 1.2 导入样本数据 7 本章节将神经网络训练之前的准 于不同版本的 pytorch 会依赖于不同的 cuda 工具，二是因为官网资料非常齐全，也有很多博客来 介绍，因此没有必要赘述。 1.1 导入 pytorch 首先我们需要明白一个术语：tensor。这个词被翻译为中文叫张量。1 维标量是一种 tensor； 向量也是一种 tensor；而一些微分量，例如梯度、导数等也都是 tensor；矩阵也是张量；多张矩 阵或者多张图像也是张量（3 维张量）。我们在做实验时，可以将

到下面图片，会首先看到什么内 容？当过载信息映入眼帘时，我 们的大脑会把注意力放在主要的 信息上，这就是大脑的注意力机 制。 8 1.Transformer介绍 每个词的Attention计算 每个词的Q会跟整个序列中每一个K计算得分，然后基于得分再分配特征 Q: query，要去查询的 K: key，等着被查的 V: value，实际的特征信息 9 1.Transformer介绍 各种向量或张量是怎样在模型的不同部分中，将输入转化为输出的。 像大部分NLP应用一样，我们首先将每个输入单词通过词嵌入算法转换为词向量。 每个单词都被嵌入为512维的向量，词嵌入过程只发生在最底层的编码器中。所 有的编码器都有一个相同的特点，即它们接收一个向量列表，列表中的每个向量 大小为512维。在底层（最开始）编码器中它就是词向量，但是在其他编码器中 ，它就是下一层编码器的输出（也是一个向量列表）。 向量列表 向量列表大小是我们可以设置的超参数:一般是我们训练集中最长句子的长度。 20 2.Transformer的工作流程 将输入序列进行词嵌入之后，每个单词都会流经编码器中的两个子层。 Transformer的一个核心特性，在这里 输入序列中每个位置的单词都有自己 独特的路径流入编码器。在自注意力 层中，这些路径之间存在依赖关系。 而前馈(feed-forward)层没有这些依赖 关系。因此在前馈(feed-forward)层时

深度学习探索  聊天机器人评测结果 6 • 语义词汇差异  理发器， 理发推子， 电推子  血糖计， 血糖仪  山地车，死飞，自行车，碟刹，折叠车，公路车， 单车 • 解决方案  同义词 ？  归一化 ？ 預報 =》预报， 五岁 =》 5岁 目前商品搜索中的一些问题 7 人工智能／深度学习在搜索中的应用：网页／电商搜索 • 基于深度学习的（Query, Document）分 号 • 亚马逊（Amazon／A9)电子商务搜索引擎中， 深度学习还在实验阶段， 尚未进入生产线。 8 • 搜索数值矢量化  传统搜索基于文字匹配， 商品包含搜索词或者不包含搜索词  利用深度学习技术， 将搜索词和商品全部数值矢量化， 将文字匹配转化为数值矢量计算  词语矢量化是进一步进行各种深度学习的基础。 • 矢量化模型介绍  Mikolov(Google员工)等人201 可以将短文中的词语聚类， 挑选具有代表 性的词语聚类结果， 来表示整个短文 • 传统聚类（如Kmeans)在几何距离的基础上进行聚类， 效果不好。 利用随机过程做词 语聚类可以解决这一问题 11 具体的生成cluster的流程如图： V[i]: 为产品信息里每个词的词语向量(word vector)分数 C[i]: 为聚类(cluster)的vector分数 N: 为cluster的数目 Sim(I, j):

模型的一个良好正则方法。 模型结构如下图所示： 让我们用函数式 API 来实现它。 主要输入接收新闻标题本身，即一个整数序列（每个整数编码一个词）。这些整数在 1 到 10,000 之间（10,000 个词的词汇表），且序列长度为 100 个词。 from keras.layers import Input, Embedding, LSTM, Dense from keras.models Input(shape=(224, 224, 3)) encoded_image = vision_model(image_input) # 接下来，定义一个语言模型来将问题编码成一个向量。 # 每个问题最长 100 个词，词的索引从 1 到 9999. question_input = Input(shape=(100,), dtype='int32') embedded_question = Embedding(input_dim=10000 连接问题向量和图像向量： merged = keras.layers.concatenate([encoded_question, encoded_image]) # 然后在上面训练一个 1000 词的逻辑回归模型： output = Dense(1000, activation='softmax')(merged) # 最终模型： vqa_model = Model(inputs=[image_input