可以用更低维度的特征向量代替原来的10000维的one-hot向量，现在你可以用 一个300维更加紧凑的向量。 第三步，当你在你新的任务上训练模型时，在你的命名实体识别任务上，只有少 量的标记数据集上，你可以自己选择要不要继续微调，用新的数据调整词嵌入。 11 2.词嵌入 ?king − ?queen = −0.95 0.93 0.70 0.02 − 0.97 0.95 0.69 0.01 = −1.92 −0 训练模型理解上文或给定条件，从概率层 面推测最符合要求的输出结果。其本质是 借助超大规模的训练参数猜测上下文的过 程 文本风格 主流思路是分离文本属性及文本内容 迁移 隐式方法即使用某类无监督学习学习或强化学 习模式将文本属性及内容自动分离，常见的有 生成对抗方式，即通过GAN实现目标属性和 文本量性完全由不同的编码控制的状态。 对话式文本生成适用于智能客服等任务型和闲聊型机器人等 图：Transformer典型技术场景下的原理介绍如下所述 Transformer 34 GPT-1：借助预训练，进行无监督训练和有监督微调 ◼ GPT-1模型基于Transformer解除了顺序关联和依赖性的前提，采用生成式模型方式，重点考虑了从原始文本中有效学 习的能力，这对于减轻自然语言处理（NLP）中对监督学习的依赖至关重要 ✓ GPT（Generative Pre-training Transform

clone https://github.com/casper-hansen/AutoAWQ.git cd AutoAWQ pip install -e . 假设你已经基于 Qwen1.5-7B 模型进行了微调，并将其命名为 Qwen1.5-7B-finetuned ，且使用的是你 自己的数据集，比如 Alpaca。若要构建你自己的 AWQ 量化模型，你需要使用训练数据进行校准。以下，我 们将为你提供一个简单的演示示例以便运行： device_map="auto",␣ �→safetensors=True) 接下来，您需要准备数据以进行校准。您需要做的就是将样本放入一个列表中，其中每个样本都是一段文 本。由于我们直接使用微调数据来进行校准，所以我们首先使用 ChatML 模板对其进行格式化。例如： data = [] for msg in messages: msg = c['messages'] text = tokenizer clone https://github.com/AutoGPTQ/AutoGPTQ cd AutoGPTQ pip install -e . 假设你已经基于 Qwen1.5-7B 模型进行了微调，并将该微调后的模型命名为 Qwen1.5-7B-finetuned ， 且使用的是自己的数据集，比如 Alpaca。要构建你自己的 GPTQ 量化模型，你需要使用训练数据进行校准。 以下是一个简单的演示示例，供你参考运行：

550 13.1.2 使用图像增广进行训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 554 13.2 微调 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 644 13.14.4 微调预训练模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 644 13.14.5 定义训练函数 . 650 14.1.1 为何独热向量是一个糟糕的选择 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 650 14.1.2 自监督的word2vec . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 651 14.1.3 跳元模型（Skip‐Gram）

1.1.2 机器学习 机器学习可以分为有监督学习(Supervised Learning)、无监督学习(Unsupervised Learning)和强化学习(Reinforcement Learning，简称 RL)，如图 1.2 所示。 机器学习 有监督学习 无监督学习 强化学习 图 1.2 机器学习的分类 有监督学习 有监督学习的数据集包含了样本?与样本的标签?，算法模型需要学习到 之间的误差来优化网络参数?，使得网络下一次能够预测更精准。常 见的有监督学习有线性回归、逻辑回归、支持向量机、随机森林等。 无监督学习 收集带标签的数据往往代价较为昂贵，对于只有样本?的数据集，算法需 要自行发现数据的模态，这种方式叫作无监督学习。无监督学习中有一类算法将自身作为 监督信号，即模型需要学习的映射为??: ? → ?，称为自监督学习(Self-supervised Learning)。在训练时，通过计算模型的预测值 Learning)。在训练时，通过计算模型的预测值??(?)与自身?之间的误差来优化网络参数?。 常见的无监督学习算法有自编码器、生成对抗网络等。 强化学习 也称为增强学习，通过与环境进行交互来学习解决问题的策略的一类算法。 与有监督学习、无监督学习不同，强化学习问题并没有明确的“正确的”动作监督信号， 预览版202112 1.2 神经网络发展简史 3 算法需要与环境进行交互，获取环境反馈的

. . . 159 13.2.3 从 VGG19 的任意中间层中抽取特征 . . . . . . . . . . . . . . . . . . . . . . 159 13.2.4 在新类上微调 InceptionV3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 13.2.5 通过自定义输入 tensor 构建 InceptionV3 上的一条新闻标题有多少转发和点赞数。模型的 主要输入将是新闻标题本身，即一系列词语，但是为了增添趣味，我们的模型还添加了其他的 辅助输入来接收额外的数据，例如新闻标题的发布的时间等。该模型也将通过两个损失函数进 行监督学习。较早地在模型中使用主损失函数，是深度学习模型的一个良好正则方法。 模型结构如下图所示： 让我们用函数式 API 来实现它。 主要输入接收新闻标题本身，即一个整数序列（每个整数编码一个词）。这些整数在 假设你有用于实例化模型的代码，则可以将保存的权重加载到具有相同结构的模型中： model.load_weights('my_model_weights.h5') 如果你需要将权重加载到不同的结构（有一些共同层）的模型中，例如微调或迁移学习，则 可以按层的名字来加载权重： model.load_weights('my_model_weights.h5', by_name=True) 例如： """ 假设原始模型如下所示：

黄海广 副教授 2 本章目录 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 3 1.无监督学习概述 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 4 1.无监督学习方法概述 监督学习 在一个典型的监督学习中，训练集有标签? ，我们的目标是找到能够 ，我们的目标是找到能够 区分正样本和负样本的决策边界，需要据此拟合一个假设函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签?，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 监督学习和无监督学习的区别 5 1.无监督学习方法概述 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction 什么商品呢？ 主要的无监督学习方法 6 1.无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例

嵌入式（Embedded），从 模型中自动选择特征，任何具有coef_或者 feature_importances_的 基模型都可以作为estimator参数传入 14 2.Scikit-learn主要用法 监督学习算法-回归 from sklearn.linear_model import LinearRegression 构建模型实例 lr = LinearRegression(normalize=True) Ridge ElasticNet linear_model.ElasticNet 回归树 tree.DecisionTreeRegressor 15 2.Scikit-learn主要用法 监督学习算法-分类 from sklearn.tree import DecisionTreeClassifier clf = DecisionTreeClassifier(max_depth=5) linear_model.LogisticRegression svm.SVC naive_bayes.GaussianNB neighbors.NearestNeighbors 监督学习算法-分类 17 2.Scikit-learn主要用法 监督学习算法-集成学习 sklearn.ensemble模块包含了一系列基于集成思想的分类、回归和离群值检测方法. from sklearn.ensemble import

如何预测上海浦东的房价？ ✓ 未来的股票市场走向？ 2. 机器学习的类型-监督学习 17 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的 空间中？ 2. 机器学习的类型-无监督学习 18 ✓ 强化学习（Reinforcement Learning） 模型的类别，大致有两种：一是概率模型(Probabilistic Model)和非概率模型 (Non-Probabilistic Model)。 在监督学习中，概率模型可被表示为?(?|?)，非概率模型则为? = ?(?)。 其中，?是输入，?是输出。 在无监督学习中，概率模型可被表示为?(?|?)，非概率模型则为? = ?(?)。 其中，?是输入，?是输出。 21 决策树、朴素贝叶斯、隐马尔科夫模型、高斯混合模型属于概率模型。

第四部分 目录 房价预测模型介绍 前置知识：监督学习（Supervised Learning） 监督学习是机器学习的一种方法，指从训练数据（输入和预期输出）中学到一个模型（函数）， 并根据模型可以推断新实例的方法。 函数的输出通常为一个连续值（回归分析）或类别标签（分类）。 训练数据 学习算法 模型 新数据 推断结果 前置知识：监督学习典型算法 • 线性回归（Linear Regression）

特征工程构造特征 • 不同领域定制优化成本高 • 常需要分类算法融合提升效果 深度学习（CNN，RNN等） • 端到端，无需大量特征工程 • 框架通用性好，满足多领域需求 • 可以使用非监督语料训练字词向量提升效果 文本分类 CNN RNN CLSTM 序列标注 传统机器学习（CRF） • 需要大量特征工程 • 不同领域需要反复调整 深度学习（Bi-LSTM+CRF） • Rouge指标优化 Reward 文本摘要候选集 生成 更新模型 反馈 增强学习优化 深度学习模型 评分 强化学习和深度学习相结合的学习方式 l 最优化词的联合概率分布：MLE（最大似然），有监督学习。在这里生成候选的摘要集。 l ROUGE指标评价：不可导，无法采用梯度下降的方式训练，考虑强化学习，鼓励reward高的模型，通过 给与反馈来更新模型。最终训练得到表现最好的模型。 生成式摘要 乔布斯) 输入：美 国 总 统 特 朗 普 将 考 察 苹 果 公 司 , 该 公 司 由 乔 布 斯 创 立。 05 总结&QA 总结：深度学习用于文本挖掘的优缺点 优点： 1，可以使用非监督数据训练字词向量，提升泛化能力 2，端到端，提供新思路 3，一些模型结构能够克服传统模型缺点 缺点： 1，小数据量效果不一定好 2，调参工作量有时不亚于特征工程 3，客户部署硬件环境限制 总结：一些实践经验