错误率，排名第一，相对于第二名在 Top-5 错误 率上降低了 10.9% [3]，这一巨大突破引起了业界强烈关注，卷积神经网络迅速成为计算机 视觉领域的新宠，随后在一系列的任务中，基于卷积神经网络的形形色色的模型相继被提 预览版202112 第 10 章 卷积神经网络 10 出，并在原有的性能上取得了巨大提升。 现在我们来介绍卷积神经网络层的具体计算流程。以 2D 图片数据为例，卷积层接受 情，也可能是最糟糕的事情。−史蒂芬•霍金 卷积神经网络利用数据的局部相关性和权值共享的思想大大减少了网络的参数量，非 常适合于图片这种具有空间(Spatial)局部相关性的数据，已经被成功地应用到计算机视觉领 域的一系列任务上。自然界的信号除了具有空间维度之外，还有一个时间(Temporal)维度。 具有时间维度的信号非常常见，比如我们正在阅读的文本、说话时发出的语音信号、随着 时间变化的股市参数等。这类数据 看到出来，对于平衡杆这种简单的游戏，PPO 算法显得游刃有余。 图 14.11 PPO 算法回报曲线 14.4 值函数方法 策略梯度方法通过直接参数化策略网络，来优化得到更好的策略模型。在强化学习领 域，除了策略方法外，还有另外一类通过建模值函数而间接获得策略的方法，我们把它统 称为值函数方法。 接下来我们将介绍常见值函数的定义，怎么估计值函数以及值函数是如何帮助产生策 略的。 14.4.1

归可以视为线性神经网络，这些知识将为本书其他部分中更复杂的技术奠定基础。 3.1 线性回归 回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。在自然科学和社会科学领 域，回归经常用来表示输入和输出之间的关系。 在机器学习领域中的大多数任务通常都与预测（prediction）有关。当我们想预测一个数值时，就会涉及到 回归问题。常见的例子包括：预测价格（房屋、股票等 max函数。这可能会导致什么问题？提示：尝试计 算exp(50)的大小。 2. 本节中的函数cross_entropy是根据交叉熵损失函数的定义实现的。它可能有什么问题？提示：考虑对 数的定义域。 3. 请想一个解决方案来解决上述两个问题。 4. 返回概率最大的分类标签总是最优解吗？例如，医疗诊断场景下可以这样做吗？ 5. 假设我们使用softmax回归来预测下一个单词，可选取的单词数目过多可能会带来哪些问题 变体为ReLU添加了一个线性项，因此即使参数是负的，某些信息仍然可以通过： pReLU(x) = max(0, x) + α min(0, x). (4.1.5) 4.1. 多层感知机 131 sigmoid函数 对于一个定义域在R中的输入，sigmoid函数将输入变换为区间(0, 1)上的输出。因此，sigmoid通常称为挤压 函数（squashing function）：它将范围（‐inf, inf）中的任意输入压缩到区间（0

com/MiuLab/TC-Bot Task-Bot: 其他框架 • SLU+DST+DPO+NLG  One Tsung-Hsien Wen (2016) Chitchat-Bot: 开域闲聊机器人 闲聊机器人 • Seq2seq+Attention Question 闲聊机器人 • 问题 • 容易产生“安全”的答案 • 目标函数中考虑 • 对话容易继续进行 • 降低产生“我不知道”这类答案的可能性 基于检索/排序的流程，历史悠久，技术成熟 • 引入深度学习，计入长效依赖，生成更好的语句表达 • Task-Bot（成熟度： ） • 解决任务型多轮问答 • 深度学习端到端？ • Chitchat-Bot（成熟度： ） • 开域聊天 • 深度学习在NLP里的新舞台 • 通向强人工智能之路？ 爱因互动 EIN+: 深度定制对话服务 爱因互动 EIN+ • 为企业提供人工智能对话解决方案 • Conversation as

9 10 11 P13 P4 P2 P1 P3 P9 P8 P5 P6 P7 P12 P11 P10 • 将距离不超过Eps=3的点相互 连接，构成一个簇，核心点邻 域内的点也会被加入到这个簇 中。 X Y 36 密度聚类-DBSCAN DBSCAN的超参数 DBSCAN超参数案例 图片编号 (a) (b) (c) (d) 评价指标 超参数 eps=0 (d) 这个案例中，当： eps=0.3，minPts=10的时候， DBSCAN达到最优效果。 37 港口发现算法 单拖船的作业规律比较 清晰，出港后，全速驶 向作业区域，在作业区 域拖网作业，一个航次 结束，全速驶向渔港， 我 们 设 计 了 一 种 基 于 DBSCAN和K-means的 混合FindPort算法 典型的单拖船一年的轨迹图 FindPort算法计算的渔港图

3个类组成。 可视化数据流图 工作流 创建 数据流图 创建 FileWriter 实例 启动 TensorBoard Which one is better？ VS ✅ 名字作用域与抽象节点 创建 FileWriter 实例 启动 TensorBoard 实战 TensorFlow 房价预测 实战 TensorFlow 房价预测 工作流 数据处理 设计模型 (数据流图)

基于统计机器学习技术 及语料库，使用统计模 型，NLP发展产生革新 多数自然语言处理系统 基于规则，人工修订等 方式，包括问答、翻译、 搜索等 深度学习起步、发展及 成熟，同样影响NLP领 域，从传统的机器学习 逐渐过渡到深度学习 NLP技术层次 日常工作中各类常见的文本形式 新闻文章 企业合同/公文 客户评论意见 企业产品手册 法律/人事/证券等专业文本 问答资料 02

二次型? = ?1, ?2, ⋯ , ?? = ????经过合同变换? = ??化为? = ???? = ?????? ? = σ?=1 ? ???? 2称为 ?(? ≤ ?)的标准形。在一般的数域内，二次型的标准形不是唯一 的，与所作的合同变换有关，但系数不为零的平方项的个数由?(?的秩)唯一确定。 6.二次型 36 (3) 规范形 任一实二次型?都可经过合同变换化为规范形 ? =

= (?1, ?2, ⋯ , ??) = ????经过合同变换? = ??化为? = ???? = ?????? ? = ∑ ???? 2 ? ?=1 称为 ?(? ≤ ?)的标准形。在一般的数域内，二次型的标准形不是唯一的，与 所作的合同变换有关，但系数不为零的平方项的个数由?(?的秩)唯一确定。 (3) 规范形 任一实二次型?都可经过合同变换化为规范形? = ?1 2 +

现在让我们考虑一种情况，我们找到一个函数相对于矩阵的梯度，也就是说，对于 ，我们要 找到 。回想一下我们对行列式的讨论： 所以： 从这里可以知道，它直接从伴随矩阵的性质得出： 现在我们来考虑函数 ， 。注意，我们必须将 的域限制为正定矩阵，因为 这确保了 ，因此 的对数是实数。在这种情况下，我们可以使用链式法则（没什么奇怪的，只 是单变量演算中的普通链式法则）来看看： 从这一点可以明显看出： 我们可以在最后一个表达式中删除转置，因为

model = load_model('my_model.h5', custom_objects={'AttentionLayer': AttentionLayer}) 或者，你可以使用 自定义对象作用域： from keras.utils import CustomObjectScope with CustomObjectScope({'AttentionLayer': AttentionLayer}):