1 2023年04月 深度学习-人脸识别和风格迁移 黄海广 副教授 2 01 人脸识别概述 02 神经风格迁移 本章目录 3 01 人脸识别概述 1.人脸识别概述 02 神经风格迁移 4 1.人脸识别概述 人脸验证（face verification） 人脸识别（face recognition） • 有一个K个人的人脸数据库 • 获取输入图像 01 人脸识别概述 2.神经风格迁移 02 神经风格迁移 20 2.神经风格迁移 21 2.神经风格迁移 22 2.神经风格迁移 深度学习=表示学习+浅层学习 23 多层卷积能抽取复杂特征 浅层学到的特征为简单的边缘、角 点、纹理、几何形状、表面等 深层学到的特征则更为复杂抽象，为狗 、人脸、键盘等等 24 2.神经风格迁移 ?(?) = ??content( content(?, ?) + ??style(?, ?) 两个超参数?和?来确定内容代价和风格代价 给你一个内容图像?，给定一个风格图 片?，而你的目标是生成一个新图片? 25 2.神经风格迁移 • 随机初始化生成图像?，如100×100×3，500×500×3，又或者是任何你想要的尺寸。 • 然后使用代价函数?(?)，使用梯度下降的方法将其最小化，更新?: = ? − ? ?? ?(?)。在

读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 3.2.3 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.4 定义模型 . . . . . 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.3.4 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.5 定义损失函数 . . . 网络架构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.3 全连接层的参数开销 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107 3.4.4 softmax运算 . . .

机器学习的分类 有监督学习 有监督学习的数据集包含了样本?与样本的标签?，算法模型需要学习到 映射关系??: ? → ?，其中??代表模型函数，?为模型的参数。在训练时，通过计算模型的预 测值??(?)与真实标签?之间的误差来优化网络参数?，使得网络下一次能够预测更精准。常 见的有监督学习有线性回归、逻辑回归、支持向量机、随机森林等。 无监督学习 收集带标签的数据往往代价较为昂贵，对于只有样本 身作为 监督信号，即模型需要学习的映射为??: ? → ?，称为自监督学习(Self-supervised Learning)。在训练时，通过计算模型的预测值??(?)与自身?之间的误差来优化网络参数?。 常见的无监督学习算法有自编码器、生成对抗网络等。 强化学习 也称为增强学习，通过与环境进行交互来学习解决问题的策略的一类算法。 与有监督学习、无监督学习不同，强化学习问题并没有明确的“正确的”动作监督信号， 年，美国心理学家 Frank Rosenblatt 提出了第一个可以自动学习权重的神经元模 型，称为感知机(Perceptron)，如图 1.5 所示，输出值?与真实值 之间的误差用于调整神经 元的权重参数{? , ? , … , ? }。Frank Rosenblatt 随后基于“Mark 1 感知机”硬件实现感知 机模型，如图 1.6、图 1.7 所示，输入为 400 个单元的图像传感器，输出为 8

8.1 评价函数的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 8.1.1 参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137 8.1.2 返回值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 9.2 Keras 优化器的公共参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139 9.2.1 SGD [source] . . . . 传递一个 input_shape 参数给第一层。它是一个表示尺寸的元组 (一个整数或 None 的元 组，其中 None 表示可能为任何正整数)。在 input_shape 中不包含数据的 batch 大小。 • 某些 2D 层，例如 Dense，支持通过参数 input_dim 指定输入尺寸，某些 3D 时序层支持 input_dim 和 input_length 参数。 • 如果你需要为你的输入指定一个固定的

含有特定目标的 部分 高级处理 验证得到的 数据是否匹 配前提要求 ，估测特定 系数，对 目 标进行分类 •图像分类 •目标检测 •图像分割 •目标跟踪 •OCR文字识别 •图像滤波与降噪 •图像增强 •风格迁移 •三维重建 •图像检索 •GAN 5 图像分类 6 目标检测 目标检测结合了目标分类和定位两个任务。 one-stage(YOLO,YOLO9000,YOLOV3,YOLOV4, YOLOV5 MAXPOOL 10x10x16 MAXPOOL 5x5x16 POOL2 F C F C FC3 FC4 S O F T M A X 120 84 10 激活维度 激活尺寸 参数个数 输入 （32,32,3） 3072 0 CONV1 （f=5, s=1,6filter） （28,28,6） 6272 456=(3 x 5x5+1) x6 POOL1 （14,14,6） （120,1） 120 10164=120x84+84 FC4 （84,1） 84 850=84 x10+10 Softmax （10,1） 10 0 F C 400 26 卷积神经网络作用 参数共享 10 10 10 10 10 10 10 10 10 10 10 10 10 0 10 0 10 0 10 0 10 0 10 0 0 0 0 0 0 0 0 0

词语或语段，让神经网络自主学习复原被 遮挡部分，从而拥有“猜测”缺失内容的 能力，产出预训练模型。再通过大规模预 训练模型理解上文或给定条件，从概率层 面推测最符合要求的输出结果。其本质是 借助超大规模的训练参数猜测上下文的过 程 文本风格 主流思路是分离文本属性及文本内容 迁移 隐式方法即使用某类无监督学习学习或强化学 习模式将文本属性及内容自动分离，常见的有 生成对抗方式，即通过GAN实现目标属性和 文本量性完全由不同的编码控制的状态。 习在不需要明确监督的情 况下执行数量惊人的任务 ✓ 在GPT-2阶段，OpenAI去掉了GPT-1阶段的有监督微调（fine-tuning），成为无监督模型。 ✓ 大模型GPT-2是一个1.5B参数的Transformer，在其相关论文中它在8个测试语言建模数据集中的7个数据集上实现了当时最先进的结果。 模型中，Transfomer堆叠至48层。GPT-2的数据集增加到8 million的网页、大小40GB的文本。 品区分开来 ◼ GPT-3对GPT-2追求无监督与零次学习的特征进行了改进 ◼ GPT-3利用了过滤前45TB的压缩文本，在诸多NLP数据集中实现了强大性能 ✓ GPT-3是一个具有1750亿个参数的自回归语言模型，比之前的任何非稀疏语言模型多10倍。对于所有任务（在few-shot设置下测试其 性能），GPT-3都是在没有任何梯度更新或微调的情况下应用的，仅通过与模型的文本交互来指定任务和few-shot演示。

小时，就可以用 pytroch 搭建一个有模有样的神经网络系统了。 几年前，我在 Mooc 的《人工智能实战——Tensorflow 笔记》这门课上入门了 tensorflow，我 很喜欢这种讲授的风格。尽管这门课讲到后面，代码量也因为过于巨大从而导致上课节奏不好控 制，但它的目的达到了——学习者可以快速入门 tensorflow。而后来，因为很多项目的源码都是基 于 pytorch 的，我也开始转战 gray ” ) plt . show () datasets 是 torchvision 的对象，它返回的数据就是 pytorch 的 Dataset 类型的。 参数 transf orm 表示导出的数据应该怎么转换，我们还可以使用参数 target_transf orm 表 示导出的数据标签应该怎么转换。 注意显示时我们调用了 squeeze() 函数，这是因为原来的数据维度是 (1,28,28) 初始化网络权重-方法二和三 17 本章我们的目标是把神经网络做的更完善。 3.1 模型的加载与保存 有时候我们希望将训练了一定轮数的模型参数保存起来，这个时候我们就需要保存和恢复模 型了。 model.state_dict() 函数可以得到模型的状态字典，里面包含了模型的参数权重与 bias 等信 息，我们可以用下面的代码来保存和恢复模型： # 保 存 模 型 torch . save ( model

含有特定目标的 部分 高级处理 验证得到的 数据是否匹 配前提要求 ，估测特定 系数，对 目 标进行分类 •图像分类 •目标检测 •图像分割 •目标跟踪 •OCR文字识别 •图像滤波与降噪 •图像增强 •风格迁移 •三维重建 •图像检索 •GAN 12 深度学习-CV典型应用案例 翻译 传统翻译采用人工查词的方式，不但耗时长 ，而且错误率高。图像识别技术(OCR)的出 现大大提升了翻译的效率和准确度，用户通 ? = 0,1, ⋯ , ? (3) Poisson分布:?(?)： ?(? = ?) = ?? ?! ?−?, ? > 0, ? = 0,1,2 ⋯ Poisson分布的期望和方差都等于参数? 49 概率论与数理统计-常见分布 (4) 均匀分布?(?, ?)：?(?) = ൝ 1 ?−? , ? < ? < ? 0, (5) 正态分布:?(?, ?2): ?(?) = 1 iloc[row_loc, col_loc] 通过位置（自然数）选取行/列 66 Python模块-Pandas ⚫ 数据合并 pd.merge(left, right) 类数 据库的数据融合操作. 参数：how，融合方式，包括左连接、右连接、内连 接（默认）和外连接；on，连接键；left_on，左 键；right_on，右键；left_index，是否将left 行索引作 为左键；right_index，是否将right行

2016 深度学习全面爆发 2016 - 讯飞，搜 狗，阿里 演示了实 时语音识 别翻译 2016 优图实时 美颜美妆 在众多直 播，小视 频场景大 量应用 深度学习实现 的图像风格化， 带动时光相册 等一大批风格 化软件流行 SACC2017 深度学习 – 相对于传统机器学习方法的突破 图像表示：Gabor, SIFT, HOG, LBP, POEM, LGBP, LPQ 图像集表示：Manifold

Rotate Rotate Scale Crop Part Noise ▪ Data argumentation will help ▪ But not too much 下一课时 艺术风格迁移 Thank You.