务上获得了 50~90%的效果提升。常用的机器翻译模型有 Seq2Seq、BERT、GPT、GPT-2 等，其中 OpenAI 提出的 GPT-2 模型参数量高达 15 亿个，甚至发布之初一度以技术安全考 虑为由拒绝开源 GPT-2 模型。 聊天机器人(Chatbot) 聊天机器人也是自然语言处理的一项主流任务，机器自动学习与 人类对话，对于人类的简单诉求提供满意的自动回复，提高客户的服务效率和服务质量 性，但是对于大部分逻辑变换操作 而言，合理性都是可较好判断的。改变张量的存储顺序将在“交换维度”一节介绍。 在算法设计过程中，维度变换操作通常是连续反复进行的，为了保持合理的维度变 换，常用的技巧就是人为跟踪存储的维度顺序。例如根据“图片数量-行-列-通道”初始视 图保存的张量，存储也是按照“图片数量-行-列-通道”的顺序写入的。如果按着“图片数 量-像素-通道”的方式恢复视图，并没有与“图 total_correct/total) 通过简单的 3 层神经网络，训练固定的 20 个 Epoch 后，我们在测试集上获得了 87.25%的准确率。如果使用复杂的神经网络模型，增加数据增强环节，精调网络超参数等 技巧，可以获得更高的模型性能。模型的训练误差曲线如图 5.7 所示，测试准确率曲线如 图 5.8 所示。 图 5.7 MNIST 训练误差曲线 图 5.8 MNIST 测试准确率曲线

即上溢（overflow）。这将使分 母或分子变为inf（无穷大），最后得到的是0、inf或nan（不是数字）的ˆyj。在这些情况下，我们无法得到一 个明确定义的交叉熵值。 解决这个问题的一个技巧是：在继续softmax计算之前，先从所有ok中减去max(ok)。这里可以看到每个ok按 常数进行的移动不会改变softmax的返回值： ˆyj = exp(oj − max(ok)) exp(max(ok)) 们需要评估通过模型输出的概率。但是，我们没有将softmax概 率传递到损失函数中，而是在交叉熵损失函数中传递未规范化的预测，并同时计算softmax及其对数，这是 一种类似“LogSumExp技巧”57的聪明方式。 loss = nn.CrossEntropyLoss(reduction='none') 3.7.3 优化算法 在这里，我们使用学习率为0.1的小批量随机梯度下降作为优化算法。这与我们在线性回归例子中的相同，这 softmax回归的简洁实现 125 小结 • 使用深度学习框架的高级API，我们可以更简洁地实现softmax回归。 • 从计算的角度来看，实现softmax回归比较复杂。在许多情况下，深度学习框架在这些著名的技巧之外 采取了额外的预防措施，来确保数值的稳定性。这使我们避免了在实践中从零开始编写模型时可能遇 到的陷阱。 练习 1. 尝试调整超参数，例如批量大小、迭代周期数和学习率，并查看结果。 2.

黄海广 副教授 2 01 经典网络 02 深度残差网络 04 卷积神经网络使用技巧 本章目录 03 其它现代网络 3 01 经典网络 1.经典网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 4 经典网络-LeNet-5 • LeNet 分为两个部分组成： • 卷积层块：由两个卷积层块组成; 10 VGG16 VGG16 11 VGG16 12 01 经典网络 2.深度残差网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 13 2.深度残差网络 梯度消失和梯度爆炸问题 14 2.深度残差网络 Input Conv3-32 Conv3-32 Conv3-32 Max-Pool Conv3-32 ResNets使用了许多same卷积 R1 R2 R3 16 01 经典网络 3.其它现代网络 02 深度残差网络 03 其它现代网络 04 卷积神经网络使用技巧 17 3.谷歌Inception网络 1×1 卷积（Network in Network） 1×1卷积层就是这样实现了一些重要功能的（doing something pretty non-trivial），它给神经网络添加

其中：0 < ?? ∗ < ? 21 4.线性不可分支持向量机 01 支持向量机概述 02 线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 22 核技巧 在低维空间计算获得高维空间的计算结果，满足高维，才能在高维下线性可分。 我们需要引入一个新的概 念：核函数。它可以将样本从原始空间映射到一个更高维的特质空间中，使得样本在新的空间中线性可分 。这样我们就可以使用原来的推导来进行计算，只是所有的推导是在新的空间，而不是在原来的空间中进 行，即用核函数来替换当中的内积。 4.线性不可分支持向量机 线性不可分 高维下线性可分 23 核技巧 用核函数来替换原来的内积。 4.线性不可分支持向量机 即通过一个非线性转换后的两个样本间的内积。具体地，?(?, ?)是一个核函数，或正定核， 意味着存在一个从输入空间到特征空间的映射，对于任意空间输入的

1)相乘得到(?ሾ1], 1)，和?ሾ1]维度相同， ?ሾ1]′(?ሾ1])的维度为(?ሾ1], 1)，这就变成了两个都是(?ሾ1], 1)向量逐元素乘积。 17 4.反向传播算法 实现反向传播有个技巧，就是要保证矩阵的维度相互匹配。最后得 到??ሾ1]和??ሾ1]： ??ሾ1] = ??ሾ1]??, ??ሾ1] = ??ሾ1] 可以看出??ሾ1] 和??ሾ2] 非常相似，其中?扮演了?ሾ0]的角色，

stopping的优点是，只运行 一次梯度下降，你可以找出?的较小 值，中间值和较大值，而无需尝试?2 正则化超级参数?的很多值。 27 正则化 大部分的计算机视觉任务使用很多的数据 ，所以数据增强是经常使用的一种技巧来 提高计算机视觉系统的表现。计算机视觉 任务的数据增强通常以下方法实现： (1) 随意翻转、镜像。 (2) 随意裁剪。 (3) 扭曲变形图片。 (4) 颜色转换，然后给R、G和B三个通道上

cn 2017.10.20 SACC2017 360电脑安全产品 月活跃数达到4.42亿 360手机安全产品 移动端用户总数已达约1.49亿 360浏览器 月活跃用户数量为3.03亿 360导航 日均独立访问用户为8900万人 日均点击量约为4.51亿次 360搜索 稳定拥有35%以上的市场份额 中国最大的互联网安全公司 360智能硬件 智能摄像头超400万，儿童手表超 350万，行车记录仪超300万 350万，行车记录仪超300万 SACC2017 奇虎360 安全 ——360的基因 SACC2017 【万物互联的新时代】 线上安全 线下安全 泛 安 全 安全 ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ ｜ 老幼安全—穿戴 家人安全—家居 出行安全—车辆 …… 电脑安全 手机安全 企业安全 …… 新时代的奇虎360 SACC2017 万物互联的新时代 交通 智能家居 机器人 AR/VR/MR 智能手机 穿戴设备 SACC2017 万物互联的核心技术 视觉感知 语音感知 语义理解 人工智能 大数据分析 物

验证 • 扩展了物理安全控制的 应用领域 • 客人对VIP 设施的使用 • 在线考试以及民意调查 时的用户验证 人脸识别 通过针对存储的面部向量的集合找到输入面部图像的最接近 的匹配来识别图像中的人 • 社交应用、消息类应用 中加入朋友标签 • 协助找到始终人口 • 确定可以访问敏感区域 的员工 • 在历史和媒体的档案中 找到“名人” 应用案例：公共安全领域的智能应用 人工智能的时代已经到来

SIFT 特征的图像总数: 1200万 扩展：目标检测更多应用场景介绍 目标检测应用：仓库流水审计 目标检测应用：仓库流水审计 目标检测应用：仓库盘点 无人智能盘点 人工盘点 目标检测应用：安全防护检测 目标检测应用：内容审核 目标检测应用：车流统计 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

scheduling Go语言在高性能系统中的实践经验 • 为什么用Go - 比起C++，更易于实践各种并发模式 - 比起Java，更加简洁，更易于与C/C++交互 - 比起脚本语言，类型和内存安全，保证重构效率与产品质量 - 完善的配套工具，如go test, gofmt, go lint, race-detector Go语言在高性能系统中的实践经验 • Go在开发高性能应用上也有一些不足，