• API 完全兼容原生 Keras • 支持保存和加载 TensorFlow SavedModel • 支持 Eager Execution • 支持分布式训练 tf.data：功能强大的数据管理模块 支持多种数据处理 图像解码 Shuffle py_function 重采样 支持多种数据格式 图像文件 文本文件 CSV 文件 NumPy 数组 Python 生成器 TFRecord

1 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 8.2.2 词元化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 8.2.3 词表 学习语言模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303 8.3.2 马尔可夫模型与n元语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 8.3.3 自然语言统计 . . . . . . . 长短期记忆网络（LSTM） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342 9.2.1 门控记忆元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342 9.2.2 从零开始实现 .

感知机算法 03 BP算法 4 1.人工神经网络发展历史 发展历史 1943年，心理学家McCulloch和逻辑学家Pitts建立神经网络的数学模型， MP模型 神经元数学模型 神经元生理结构 输入层 输出层 隐藏层 5 1.人工神经网络发展历史 1960年代，人工网络得到了进一步地发展 感知机和自适应线性元件等被提出。 M.Minsky仔细分析了以感知机为代表的神 学习速度快 随机初始化输入权重??和偏置 ，只求解输出权重值??。 1 nx 1 ? ? i  n 1  i L  1  L  ny 1个输出 层神经元 ?个隐藏 层神经元 ?个输入 层神经元 9 2.感知器算法 01 发展历史 02 感知机算法 03 BP算法 10 2.感知机算法 感知机（Perceptron）是二分类问题的 线性分类模型。 jy ly ih v dh v 1 j w 2 j w hj w qj w . . . . . . 第ℎ个隐层神经元的输入 ?ℎ = ෍ ?=1 ? ??ℎ?? 第?个输出层神经元的输入 ?? = ෍ ℎ=1 ? ?ℎ??ℎ 隐层神经元 激活函数 1h v 神经网络模型 15 3.BP算法 常见激活函数选择： Sigmoid 函数 Tanh 函数 ReLU

1.2 神经网络发展简史 1.3 深度学习特点 1.4 深度学习应用 1.5 深度学习框架 1.6 开发环境安装 1.7 参考文献 第 2 章 回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 Walter Pitts 根据生物神经元(Neuron) 结构，提出了最早的神经元数学模型，称为 MP 神经元模型。该模型的输出?(?) = ℎ(?(?))，其中?(?) = ∑ ?? ? , ?? ∈ {0,1}，模型通过?(?)的值来完成输出值的预测，如图 1.4 所示。如果?(?) ≥ 0，输出为 1；如果?(?) < 0，输出为 0。可以看到，MP 神经元模型并 没有学习能力，只能完成固定逻辑的判定。 ? ∈ {0,1} ∈ {0,1} 图 1.4 MP 神经元模型 1958 年，美国心理学家 Frank Rosenblatt 提出了第一个可以自动学习权重的神经元模 型，称为感知机(Perceptron)，如图 1.5 所示，输出值?与真实值 之间的误差用于调整神经 元的权重参数{? , ? , … , ? }。Frank Rosenblatt 随后基于“Mark

样例可视化 MNIST Softmax 网络介绍 感知机模型 1957年，受 Warren McCulloch 和 Walter Pitts 在神经元建模方面工作的启发，心理学家 Frank Rosenblatt 参考大脑中神经元信息传递信号的工作机制，发明了神经感知机模型 Perceptron 。 二分类模型 神经网络 在机器学习和认知科学领域，人工神经网络（ANN），简称神经网络（NN）是一种模仿生物 网络（NN）是一种模仿生物 神经网络（动物的中枢神经系统，特别是大脑）的结构和功能的数学模型或计算模型，用于 对函数进行估计或近似。神经网络是多层神经元的连接，上一层神经元的输出，作为下一层 神经元的输入。 线性不可分 激活函数（Activation Function） 为了实现神经网络的非线性建模能力，解决一些线性不可分的问题，我们通常使用激活函数 来引入非线性因素。激活函数都采用 全连接层是一种对输入数据直接做线性变换的线性计算层。它是神经网络中最常用的一种层， 用于学习输出数据和输入数据之间的变换关系。全连接层可作为特征提取层使用，在学习特 征的同时实现特征融合；也可作为最终的分类层使用，其输出神经元的值代表了每个输出类 别的概率。 前向传播 前向传播 简化形式： 后向传播（ Back Propagation, BP） BP算法的基本思想是通过损失函数对模型参数进行求导， 并根据复合

因为下面的层可以自动地推断尺寸）需要接收关于其输入尺寸的信息。有几种方法来做到这一 点： • 传递一个 input_shape 参数给第一层。它是一个表示尺寸的元组 (一个整数或 None 的元 组，其中 None 表示可能为任何正整数)。在 input_shape 中不包含数据的 batch 大小。 • 某些 2D 层，例如 Dense，支持通过参数 input_dim 指定输入尺寸，某些 random.randint(10, size=(100, 1)), num_classes=10) model = Sequential() # Dense(64) 是一个具有 64 个隐藏神经元的全连接层。 # 在第一层必须指定所期望的输入数据尺寸： # 在这里，是一个 20 维的向量。 model.add(Dense(64, activation='relu', input_dim=20)) 它沿着空间维度裁剪，即宽度和高度。 参数 • cropping: 整数，或 2 个整数的元组，或 2 个整数的 2 个元组。 • 如果为整数：将对宽度和高度应用相同的对称裁剪。 • 如 果 为 2 个 整 数 的 元 组： 解 释 为 对 高 度 和 宽 度 的 两 个 不 同 的 对 称 裁 剪 值： (symmetric_height_crop, symmetric_width_crop)。 • 如果为 2

− ?(?(?))||2 2较小 如果?(?), ?(?)不是同一个人，则) = ||?(?(?)) − ?(?(?))||2 2较大 10 1.人脸识别概述 Triplet 损失 三元组损失，它代表你通常会同时看三张图片，你需要看Anchor图片 、Postive图片，还有Negative图片，我要把Anchor图片、Positive 图片和Negative图片简写成?、?、?。 看作是距离(distance)函数，这 也是为什么我们把它命名为?。 12 1.人脸识别概述 Triplet 损失 13 1.人脸识别概述 Triplet 损失 损失函数的定义基于三元图片组 就是||?(?) − ?(?)||2 − ||?(?) − ?(?)||2 + ? ≤ 0 为了定义这个损失函数，我们取这个和0的最大值： ?(?, ?, ?) = ???(||?(?) 照片，组成了整个数据集。 如果每个人只有1张照片，那么根本没法训练这个系统。 14 1.人脸识别概述 Triplet 损失 为了构建一个数据集，你要做的就是尽可能选择难训练的三元组?、? 和?。具体而言，你想要所有的三元组都满足这个条件 （?(?, ?) + ? ≤ ?(?, ?)） 学习算法会尽可能地使右边这个式子变大（?(?, ?)），或者使左边这个式子 （?(?, ?)）变小，这样左右两边至少有一个

的特征提取算法包括： 词频 TF-IDF 互信息 信息增益 期望交叉熵 主成分分析 … 特征工程需要手工寻找特 征，花费大量人力，特征的 好坏往往决定最终结果 深度学习基础结构 基础神经元结构 多个神经元连接组成神经网络 字词表示 计算机 电脑 [ 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, … ] [ 0, （NER）和一个 CNN 来进行关系分类（RC）。 基于联合标注的方法 把原来涉及到序列标注任务和分类任务的关系抽取完全变成了一个序 列标注问题。然后通过一个端对端的神经网络模型直接得到关系实体 三元组。 知识图谱关系抽取：基于联合标注 将抽取问题转换成标注任务 训练一个端到端标注模型来抽取关系 输入句子 标注框架 抽取结果 端到端标注模型 知识图谱关系抽取：基于联合标注 三类标签 • I(inside),E(end),S(single)} • 关系类型{CF,CP,...} • 关系角色{1(entity1),2(entity2)} 根据标签序列，将同样关系类型的实体合并成一个三元组作为最后的结果，如果一个句子包含一个以上同一类 型的关系，那么就采用就近原则来进行配对。 目前这套标签并不支持实体关系重叠的情况。 B-CP-1 O B-CP-2 E-CP-2 O B-CF-1

m. bias . data . zero_ () Chapter 3. 更完善的神经网络 17 注意 bias 是权重，因为当前层的 bias 会连接下一层的每个神经元，所以 bias 的 shape 是下 一层神经元个数。调用也很简单，定义网络对象后直接调用即可： model = NeuralNetwork () . to ( device ) model . weight_init Variable 形式才能用于训练。x_data,y_data 表示训练集的数据和标签；x_data2,y_data2 表示测试集的数据和标签。 网络结构相对来说比较简单，由于并不是图像数据，所以设置的网络神经元数量大大减少： import torch . nn as nn c l a s s NeuralNetwork (nn . Module ) : def __init__( s e l f ) :

1 ( ( )) d d g z tanh z z = − 8 3.激活函数 ReLu函数 ? = ???(0, ?) 在输入是负值的情况下， 它会输出0，那么神经元 就不会被激活。这意味着 同一时间只有部分神经元 会被激活，从而使得网络 很稀疏，进而对计算来说 是非常有效率的。 9 3.激活函数 Leaky ReLu函数 ? = ???(0.01?, ?) Leaky ReLu通常比Relu激活函数效果要好，