2023年04月 深度学习-目标检测 黄海广 副教授 2 01 目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 本章目录 3 01 目标检测概述 1.目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 4 1.目标检测概述 分类（Classification） 类别的信息，用事先确定 好的类别(string)或实例ID 来描述图片。这一任务是 最简单、最基础的图像理 解任务，也是深度学习模 型最先取得突破和实现大 规模应用的任务。 检测（Detection） 分类任务关心整体，给出的 是整张图片的内容描述，而 检测则关注特定的物体目标 ，要求同时获得这一目标的 类别信息和位置信息。 分割（Segmentation） 分割包括语义分割（semantic segmentation）和实例分割（ 分离开具有不同语义的图像部 分，而后者是检测任务的拓展 ，要求描述出目标的轮廓（相 比检测框更为精细）。 5 目标检测和识别 • 怎样检测和识别图 像中物体，如汽车、 牛等？ 1.目标检测概述 6 目标识别的应用 1.目标检测概述 7 难点之一: 如何鲁棒识别？ 1.目标检测概述 8 类内差异（intra-class variability） 1.目标检测概述 9 类间相似性（inter-class

商品检测篇：使用 RetinaNet 瞄准你的货架商品 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 基础：目标检测问题定义与说明 • 基础：R-CNN系列二阶段模型综述 • 基础：YOLO系列一阶段模型概述 • 基础：RetinaNet 与 Facol Loss 带来了什么 • 应用：检测数据准备与标注 • 应用：划分检测训练集与测试集 • 应用：生成CSV 训练 RetinaNet • 应用：使用 RetinaNet 检测货架商品 • 扩展：目标检测常用数据集综述 • 扩展：目标检测更多应用场景介绍 目录 基础：目标检测问题定义与说明 目标检测问题 目标检测评估：Ground Truth 目标检测评估： Intersection over Union (IoU) 目标检测评估：Intersection over Union (IoU) Truth ??? = ???????????? ????? = Bounding Box Ground Truth 目标检测评估：准确率与召回率（以GT为中心） 目标检测评估：mean Average Precision（mAP） 基础：深度学习在目标检测的应用 目标检测近20年发展 Ref: Zou, Z., Shi, Z., Guo, Y. and Ye, J., 2019. Object

网络和深度学习可认为是相同的。 现在简单来比较一下深度学习算法与其它算法的特点。如图 1.3 所示。基于规则的系 统一般会编写显式的检测逻辑，这些逻辑通常是针对特定的任务设计的，并不适合其他任 务。传统的机器学习算法一般会人为设计具有一定通用性的特征检测方法，如 SIFT、HOG 特征，这些特征能够适合某一类的任务，具有一定的通用性，但是如何设计特征，以及特 征方法的优劣性非常的关键，同时也 部分工作可以让机器自动完成学习，不需要人类干预。但是浅层的神经网络的特征提取能 力较为有限，而深层的神经网络擅长提取高层、抽象的特征，因此具有更好的性能表现。 针对特定任务 的检测逻辑 输出逻辑 人为设计的 特征检测方法 输出逻辑 特征提取网络 (浅层) 输出子网络 底层特征提取 网络 中层特征提取 网络 高层特征提取 网络 输出子网络 基于规则的系统 传统机器学习 浅层神经网络 一直是人类的共同愿 景。从目前来看，深度学习是最接近通用智能的算法之一。在计算机视觉领域，过去需要 针对具体的任务设计特征、添加先验假设的做法，已经被深度学习算法彻底抛弃了，目前 在图片识别、目标检测、语义分割、图像变换等方向，几乎都是基于深度学习端到端地训 练，获得的模型性能好，适应性强；在 Atria 游戏平台上，DeepMind 设计的 DQN 算法模 型可以在相同的算法、模型结构和超参数的设定下，在

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 6.2.3 图像中目标的边缘检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 6.2.4 学习卷积核 . . . . . . . . 热狗识别 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 559 13.3 目标检测和边界框 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 564 13.3.1 边界框 571 13.4.4 使用非极大值抑制预测边界框 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 576 13.5 多尺度目标检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 581 13.5.1 多尺度锚框

，I3链接到I1。 (这里根据项集的数量排序成I2、I1、I3) Null l2:1 l1:1 l3:1 ② 再次扫描数据库并检查事务。检查第一个事务并找出其中的项集。计数 最大的项集在顶部，计数较低的下一个项集，以此类推。这意味着树的 分支是由事务项集按计数降序构造的。 35 3.FP-Growth算法 构建FP树 1.考虑到根节点为空(null)。 2. T1:I1、I2 中， {I2,I1,I3,I4:1}，{I2,I3,I4:1}。因此，将I4作为后缀， 前缀路径将是{I2,I1,I3:1}，{I2,I3:1}。这形成了条件 模式基。 3.将条件模式基视为事务数据库，构造FP树。这 将包含{I2:2,I3:2}，不考虑I1，因为它不满足最小支 持计数。 Null l4:1 l2:5 l1:4 l3:1 l5:1 l3:3 l4:1 l5:1 I1,I2.I5 2 I2,I4 3 I2,I3 4 I1,I2,I4 5 I1,I3 6 I2,I3 7 I1,I3 8 I1,I2,I3,I5 9 I1,I2,I3 事务数据库的建立 扫描事务数据库得到频繁项目集F I1 I2 I3 I4 I5 6 7 6 2 2 定义minsup=20%,即最小支持度为2,重新排列F I2 I1 I3 I4 I5 7 6 6 2 2

howpublished={\url{https://github.com/keras-team/keras}}, } 3.3.3 如何在 GPU 上运行 Keras? 如果你以 TensorFlow 或 CNTK 后端运行，只要检测到任何可用的 GPU，那么代码将自动在 GPU 上运行。 如果你以 Theano 后端运行，则可以使用以下方法之一： 方法 1: 使用 Theano flags。 快速开始 27 THEANO_FLAGS=device=gpu lower: 布尔值。是否将文本转换为小写。 • split: 字符串。按该字符串切割文本。 返回 整数词索引列表（唯一性无法保证）。 0 是不会被分配给任何单词的保留索引。 由于哈希函数可能发生冲突，可能会将两个或更多字分配给同一索引。碰撞的概率与散列 空间的维度和不同对象的数量有关。 6.2.3 one_hot keras.preprocessing.text.one_hot(text /path/to/folder，则文件将被保存在该位置。 • hash_algorithm: 选择哈希算法来校验文件。可选的有’md5’, ’sha256’, 以及’auto’。默认 的’auto’ 将自动检测所使用的哈希算法。 工具 239 • extract: True 的话会尝试将解压缩存档文件，如 tar 或 zip。 • archive_format: 尝试提取文件的存档格式。可选的有’auto’

SACC2017 图像 视频 检测 识别 分割 跟踪 物 环境 数 据 核 心 云端 移动端 业 务 视觉感知模型 SACC2017 视觉感知核心问题 Object Segmentation Object Classification Person, Horse, Barrier, Table, etc Object Detection 检测 识别 分割 跟踪 核 心 视觉感知模型 分割 Forward Block Forward Block deconvolution deconvolution convolution convolution 检测 Forward Block Forward Block convolution convolution 识别 Forward Block Forward Block SACC2017 convolution 检测 Forward Block Forward Block convolution convolution 识别 Forward Block Forward Block Forward Block Forward Block deconvolution deconvolution 分割 convolution convolution 检测 识别 Single

从图像中提取 各种复杂度的 特征，如：线 ，边缘提取和 脊侦测，边角 检测、斑点检 测等局部化的 特征点检测 检测/分割 对图像进行分割 ，提取有价值的 内容，用于后继 处理， 如：筛 选特征点，分割 含有特定目标的 部分 高级处理 验证得到的 数据是否匹 配前提要求 ，估测特定 系数，对 目 标进行分类 •图像分类 •目标检测 •图像分割 •目标跟踪 •OCR文字识别 •图像滤波与降噪 •图像增强 •三维重建 •图像检索 •GAN 5 图像分类 6 目标检测 目标检测结合了目标分类和定位两个任务。 one-stage(YOLO,YOLO9000,YOLOV3,YOLOV4, YOLOV5,SSD等) two-stage(OverFeat，R-CNN，Fast R-CNN，Faster R-CNN 等) 7 目标检测 8 目标检测 9 图像分割 10 目标跟踪 11 计算机视觉 多层卷积能抽取复杂特征 浅层学到的特征为简单的边缘、角 点、纹理、几何形状、表面等 深层学到的特征则更为复杂抽象，为狗 、人脸、键盘等等 17 边缘检测 神经网络的前几层是通常检测边缘 的，然后，后面的层有可能检测到 物体的部分区域，更靠后的一些层 可能检测到完整的物体 3 × 1 0 × 0 1 × −1 1 × 1 5 × 0 8 × −1 2 × 1 7 × 0 2 × −1 = 3

从图像中提取 各种复杂度的 特征，如：线 ，边缘提取和 脊侦测，边角 检测、斑点检 测等局部化的 特征点检测 检测/分割 对图像进行分割 ，提取有价值的 内容，用于后继 处理， 如：筛 选特征点，分割 含有特定目标的 部分 高级处理 验证得到的 数据是否匹 配前提要求 ，估测特定 系数，对 目 标进行分类 •图像分类 •目标检测 •图像分割 •目标跟踪 •OCR文字识别 •图像滤波与降噪 •图像增强 13 深度学习入门-目标检测 目标检测结合了目标分 类和定位两个任务。 目标检测器的框架分为 one-stage(YOLO,YOLO9000,YOLOV3,YOLOV4, YOLOV5,SSD等) two-stage(OverFeat，R-CNN，Fast R-CNN，Faster R-CNN 等) 14 深度学习入门-目标检测 15 深度学习入门-目标检测 16 深度学习入门-图像分割

业务落地篇：实现货架洞察 Web 应用 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 串联 AI 流程理论：商品检测与商品识别 • 串联 AI 流程实战：商品检测与商品识别 • 展现 AI 效果理论：使用 OpenCV 可视化识别结果 • 展现 AI 效果实战：使用 OpenCV 可视化识别结果 • 搭建 AI SaaS 理论：Web 框架选型 • 搭建 AI 分钟快速掌握容器部署 • 交付 AI SaaS：部署和测试 AI SaaS 目录 串联 AI 流程理论：商品检测与商品识别 检测模型 RetinaNet 前向转换和使用 加载检测推理模型 detector 查看分类器 classifier 网络结构 串联 AI 流程实战：商品检测与商品识别 “Hello TensorFlow” Try it！ 展现 AI 效果理论：使用 OpenCV