基础理论篇：TensorFlow 2 设计思想 • TensorFlow 2 设计原则 • TensorFlow 2 核心模块 • TensorFlow 2 vs TensorFlow 1.x • TensorFlow 2 落地应用 目录 TensorFlow 2 设计原则 TensorFlow - Infra of AI TensorFlow 2 设计原则 TensorFlow 2 简化概念 海纳百川 构建生态

的同一类模型。 例如，训练多层感知机模型时，我们可能希望比较具有不同数量的隐藏层、不同数量的隐藏单元以及不同的 激活函数组合的模型。为了确定候选模型中的最佳模型，我们通常会使用验证集。 验证集 原则上，在我们确定所有的超参数之前，我们不希望用到测试集。如果我们在模型选择过程中使用测试数据， 可能会有过拟合测试数据的风险，那就麻烦大了。如果我们过拟合了训练数据，还可以在测试数据上的评估 来判 (y)。那么对于标签为yi的任何训练样本i，我们可以使 用我们估计的p(yi)/q(yi)比率来计算权重βi，并将其代入 (4.9.5)中的加权经验风险最小化中。 概念偏移纠正 概念偏移很难用原则性的方式解决。例如，在一个问题突然从“区分猫和狗”偏移为“区分白色和黑色动物” 的情况下，除了从零开始收集新标签和训练，别无妙方。幸运的是，在实践中这种极端的偏移是罕见的。相 反，通常情况下，概 移不变性”。 2. 局部性（locality）：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔 较远区域的关系，这就是“局部性”原则。最终，可以聚合这些局部特征，以在整个图像级别进行预测。 让我们看看这些原则是如何转化为数学表示的。 6.1.2 多层感知机的限制 首先，多层感知机的输入是二维图像X，其隐藏表示H在数学上是一个矩阵，在代码中表示为二维张量。其 中

型； 2. 在数据集上迭代； 3. 通过神经网络处理输入； 4. 计算损失(输出结果和正确值的差值大小)； 5. 将梯度反向传播回网络的参数； 6. 更新网络的参数，主要使用如下简单的更新原则： weight = weight - learning_rate * gradient 原文链接：pytorch 入门笔记 -03- 神经网络 定义网络 开始定义一个网络： import torch

CP,...} • 关系角色{1(entity1),2(entity2)} 根据标签序列，将同样关系类型的实体合并成一个三元组作为最后的结果，如果一个句子包含一个以上同一类 型的关系，那么就采用就近原则来进行配对。 目前这套标签并不支持实体关系重叠的情况。 B-CP-1 O B-CP-2 E-CP-2 O B-CF-1 I-CF-1 O O O I-CF-2 O O 标签： E-CP-1 O

它有一些可学习的参数(或者权重); • 在数据集上迭代; • 通过神经网络处理输入; • 计算损失(输出结果和正确值的差距大小) • 将梯度反向传播回网络的参数; • 更新网络的参数,主要使用如下简单的更新原则: weight = weight - learning_rate * gradient 31 定义 网络 1 损失 函数 2 优化 3 深度学习的三个步骤 深度学习很简单…… 来源：李宏毅《1天搞懂深度学习》

4. 特征选择 32 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 原理：包裹式特征选择直接把最终将要使用的学习器的性能作为 特征子集的评价原则。其目的就是为给定学习器选择最有利于其 性能、量身定做的特征子集。 优点：直接针对特定学习器进行优化，考虑到特征之间的关联性 ，因此通常包裹式特征选择比过滤式特征选择能训练得到一个更 好性能的学习器。

−log? ? ? 机器学习的概念-损失函数 23 根据上述损失函数模型，我们可知，损失函数值越小，模型性能越好。给定一个数据集，我们将 训练数据集的平均损失称为经验风险。基于经验风险最小化原则，可构建全局损失函数求解最优 化问题： min ? 1 ? ෍ ?=1 ? L ??, ? ?? 机器学习的概念-损失函数 24 当样本数量足够大时，根据大数定理，经验风险会近似于模型的期望风险。此时，经验风险最

1.1 你恰好发现了 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 指导原则 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 快速开始：30 同时支持卷积神经网络和循环神经网络，以及两者的组合。 • 在 CPU 和 GPU 上无缝运行。 查看文档，请访问 Keras.io。 Keras 兼容的 Python 版本: Python 2.7-3.6。 1.2 指导原则 • 用户友好。Keras 是为人类而不是为机器设计的 API。它把用户体验放在首要和中心位置。 Keras 遵循减少认知困难的最佳实践：它提供一致且简单的 API，将常见用例所需的用户 操作 compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy']) 如果需要，你还可以进一步地配置你的优化器。Keras 的核心原则是使事情变得相当简单， 同时又允许用户在需要的时候能够进行完全的控制（终极的控制是源代码的易扩展性）。 model.compile(loss=keras.losses.categorical_crossentropy

只是向量 ，则 重要的是要记住，只有当函数是实值时，即如果函数返回标量值，才定义函数的梯度。例如， 相对于 ，我们不能取 的梯度，因为这个量是向量值。 它直接从偏导数的等价性质得出： 对于 ， 原则上，梯度是偏导数对多变量函数的自然延伸。然而，在实践中，由于符号的原因，使用梯度有时是 很困难的。例如，假设 是一个固定系数矩阵，假设 是一个固定系数向量。设 为 定义的函数，因此 。但现在考虑表达式，

80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95]]) 其中的参数−1表示当前轴上长度需要根据张量总元素不变的合法性原则自动推导，从而方 便用户书写。比如，上面的−1可以推导为 2 ∙ 4 ∙ 4 ∙ 3 2 = 48 再次改变数据的视图为[2,3,16]，实现如下： In [70]: x.reshape([2 29], [30, 30, 30], [31, 31, 31]],…) 可以看到，在普适性原则的指导下，Broadcasting 机制变得直观、好理解，它的设计是非常 符合人的思维模式。 来考虑一个不满足普适性原则的例子，如下图 4.9 所示。 ? ℎ ? 2 长度为2，不具备普适性 图 4.9 Broadcasting 失败案例 失败案例 在?维度上，张量已经有 2 个特征数据，新 shape 对应维度的长度为?(? ≠ 2，如?=3)，那么 当前维度上的这 2 个特征无法普适到长度为 3 的位置上，故不满足普适性原则，无法应用 Broadcasting 机制。将会触发错误，例如： In [88]: B = torch.arange(64).view(32,2) # 创建矩阵 XW = torch.randn(2