2023年04月 深度学习-目标检测 黄海广 副教授 2 01 目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 本章目录 3 01 目标检测概述 1.目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 4 1.目标检测概述 分类（Classification） 好的类别(string)或实例ID 来描述图片。这一任务是 最简单、最基础的图像理 解任务，也是深度学习模 型最先取得突破和实现大 规模应用的任务。 检测（Detection） 分类任务关心整体，给出的 是整张图片的内容描述，而 检测则关注特定的物体目标 ，要求同时获得这一目标的 类别信息和位置信息。 分割（Segmentation） 分割包括语义分割（semantic segmentation）和实例分割（ 分离开具有不同语义的图像部 分，而后者是检测任务的拓展 ，要求描述出目标的轮廓（相 比检测框更为精细）。 5 目标检测和识别 • 怎样检测和识别图 像中物体，如汽车、 牛等？ 1.目标检测概述 6 目标识别的应用 1.目标检测概述 7 难点之一: 如何鲁棒识别？ 1.目标检测概述 8 类内差异（intra-class variability） 1.目标检测概述 9 类间相似性（inter-class

商品检测篇：使用 RetinaNet 瞄准你的货架商品 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 基础：目标检测问题定义与说明 • 基础：R-CNN系列二阶段模型综述 • 基础：YOLO系列一阶段模型概述 • 基础：RetinaNet 与 Facol Loss 带来了什么 • 应用：检测数据准备与标注 • 应用：划分检测训练集与测试集 • 应用：生成CSV 训练 RetinaNet • 应用：使用 RetinaNet 检测货架商品 • 扩展：目标检测常用数据集综述 • 扩展：目标检测更多应用场景介绍 目录 基础：目标检测问题定义与说明 目标检测问题 目标检测评估：Ground Truth 目标检测评估： Intersection over Union (IoU) 目标检测评估：Intersection over Union (IoU) Truth ??? = ???????????? ????? = Bounding Box Ground Truth 目标检测评估：准确率与召回率（以GT为中心） 目标检测评估：mean Average Precision（mAP） 基础：深度学习在目标检测的应用 目标检测近20年发展 Ref: Zou, Z., Shi, Z., Guo, Y. and Ye, J., 2019. Object

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224 6.2.3 图像中目标的边缘检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 6.2.4 学习卷积核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427 11.1.1 优化的目标 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428 11.1.2 深度学习中的优化挑战 动态学习率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453 11.4.3 凸目标的收敛性分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454 11.4.4 随机梯度和有限样本

各种复杂度的 特征，如：线 ，边缘提取和 脊侦测，边角 检测、斑点检 测等局部化的 特征点检测 检测/分割 对图像进行分割 ，提取有价值的 内容，用于后继 处理， 如：筛 选特征点，分割 含有特定目标的 部分 高级处理 验证得到的 数据是否匹 配前提要求 ，估测特定 系数，对 目 标进行分类 •图像分类 •目标检测 •图像分割 •目标跟踪 •OCR文字识别 •图像滤波与降噪 •图像增强 •风格迁移 •图像检索 •GAN 5 图像分类 6 目标检测 目标检测结合了目标分类和定位两个任务。 one-stage(YOLO,YOLO9000,YOLOV3,YOLOV4, YOLOV5,SSD等) two-stage(OverFeat，R-CNN，Fast R-CNN，Faster R-CNN 等) 7 目标检测 8 目标检测 9 图像分割 10 目标跟踪 11 计算机视觉 图像的数字表示 多层卷积能抽取复杂特征 浅层学到的特征为简单的边缘、角 点、纹理、几何形状、表面等 深层学到的特征则更为复杂抽象，为狗 、人脸、键盘等等 17 边缘检测 神经网络的前几层是通常检测边缘 的，然后，后面的层有可能检测到 物体的部分区域，更靠后的一些层 可能检测到完整的物体 3 × 1 0 × 0 1 × −1 1 × 1 5 × 0 8 × −1 2 × 1 7 × 0 2 × −1 = 3

各种复杂度的 特征，如：线 ，边缘提取和 脊侦测，边角 检测、斑点检 测等局部化的 特征点检测 检测/分割 对图像进行分割 ，提取有价值的 内容，用于后继 处理， 如：筛 选特征点，分割 含有特定目标的 部分 高级处理 验证得到的 数据是否匹 配前提要求 ，估测特定 系数，对 目 标进行分类 •图像分类 •目标检测 •图像分割 •目标跟踪 •OCR文字识别 •图像滤波与降噪 •图像增强 •风格迁移 自动驾驶汽车需要计算机视觉。特斯拉 (Tesla)、宝马(BMW)、沃尔沃(Volvo)和奥迪 (Audi)等汽车制造商Y已经通过摄像头、激光 雷达、雷达和超声波传感器从环境中获取图 像，研发自动驾驶汽车来探测目标、车道标 志和交通信号，从而安全驾驶。 安防 中国在使用人脸识别技术方面无疑处于领先地 位，这项技术被广泛应用于警察工作、支付识 别、机场安检，甚至在北京天坛公园分发厕 纸、防止厕纸被盗，以及其他许多应用。 13 深度学习入门-目标检测 目标检测结合了目标分 类和定位两个任务。 目标检测器的框架分为 one-stage(YOLO,YOLO9000,YOLOV3,YOLOV4, YOLOV5,SSD等) two-stage(OverFeat，R-CNN，Fast R-CNN，Faster R-CNN 等) 14 深度学习入门-目标检测 15 深度学习入门-目标检测 16 深度学习入门-图像分割

扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 行业背景：AI新零售是什么? • 用户需求：线下门店业绩如何提升？ • 长期⽬目标：货架数字化与业务智能化 • 短期目标：自动化陈列审核和促销管理 • 方案设计：基于深度学习的检测/分类的AI流水线 • 方案交付：支持在线识别和API调用的 AI SaaS 目录 行业背景：AI新零售是什么? 人类零售演进史 ——《C时代 用好你的广告位：线上设计 用好你的广告位：线下陈列 缺货 凌乱 销量下降 用好你的广告位：线下陈列 有气势！ 整齐！ 销量上涨！ 品牌线下PK 如何脱颖而出？ 品牌商线下渠道销售的普遍需求 长期⽬目标：货架数字化与业务智能化 ��������������������������������������������� ���������������������������������������������� 区域/门店达标率 • 货架可见度 • 货架占有率 • 新品上市/上架率 • 陈列达标率 • 产品价格指数 • 促销执行统计 客户需求：棚格图推荐设计与销量预测 如何落地项目第一期？ 短期目标：自动化陈列审核和促销管理 业务落地基础：货架数字化 SKU 种类 数量 位置 品类 占比 货架 设计 场景 层数 编号 业务落地：自动化陈列审核和促销管理 陈列 必分销

网络和深度学习可认为是相同的。 现在简单来比较一下深度学习算法与其它算法的特点。如图 1.3 所示。基于规则的系 统一般会编写显式的检测逻辑，这些逻辑通常是针对特定的任务设计的，并不适合其他任 务。传统的机器学习算法一般会人为设计具有一定通用性的特征检测方法，如 SIFT、HOG 特征，这些特征能够适合某一类的任务，具有一定的通用性，但是如何设计特征，以及特 征方法的优劣性非常的关键，同时也 部分工作可以让机器自动完成学习，不需要人类干预。但是浅层的神经网络的特征提取能 力较为有限，而深层的神经网络擅长提取高层、抽象的特征，因此具有更好的性能表现。 针对特定任务 的检测逻辑 输出逻辑 人为设计的 特征检测方法 输出逻辑 特征提取网络 (浅层) 输出子网络 底层特征提取 网络 中层特征提取 网络 高层特征提取 网络 输出子网络 基于规则的系统 传统机器学习 浅层神经网络 制一直是人类的共同愿 景。从目前来看，深度学习是最接近通用智能的算法之一。在计算机视觉领域，过去需要 针对具体的任务设计特征、添加先验假设的做法，已经被深度学习算法彻底抛弃了，目前 在图片识别、目标检测、语义分割、图像变换等方向，几乎都是基于深度学习端到端地训 练，获得的模型性能好，适应性强；在 Atria 游戏平台上，DeepMind 设计的 DQN 算法模 型可以在相同的算法、模型结构和超参数的设定下，在

效果a • 基类目平均准确率.8(% ������ pu/行i检测技术 • 目的a给定e定长视频，定x感兴趣行i发生的时间段并给出 对应行i类标 • 方法a采取1QPvQNuVLQP 32+5DVHG >HFuTTHPV APLVU 5>A) 算法，结合SLPgNH ShQV 2HVHFVQT SS2)框架实现行i检测功 能 • 效果a • THA9OS 14数据集，O/P-%4 14数据集，O/P-%4.1% 7QA-0.() 内容理解——pu/行i检测 ����/���� ���������� • 目的a定x和识别视频h的特定目标，并在目标生命周期内 进行跟踪 • 方法a检测采用>HgLQP IuNNy FQPvQNuVLQP PHVwQTM >-41:) 的GHHR NHDTPLPg框架，对q小物体在IHDVuTH ODR进行ow 化b跟踪采用214框架，结合颜色模型，并使用0/14进行 效果a • 检测算法在HQNNywQQG HHDG数据集，O/P-80.41%， 高过VhH UVDVH-QI-DTV ).)%b • 0TDLPwDUh数据集，O/P-88.4)%，高过VhH UVDVH-QI- DTV 10.(%。 • 跟踪算法在T0-100评测集，在实时速度d，RTHFLULQP 和UuFFHUU TDVH效果最好 内容理解——多目标检测f跟踪 ����/����

? − ? ? ?2 = 1 ? ෍ ?=1 ? (? ? −?)2 ? = 1 ? ෍ ?=1 ? ? ? 处理后的数据均值为0，方差为1 数据归一化的目的是使得各特征对目标变 量的影响一致，会将特征数据进行伸缩变 化，所以数据归一化是会改变特征数据分 布的。 数据标准化为了不同特征之间具备可比性 ，经过标准化变换之后的特征数据分布没 有发生改变。 就是当数据特征取值范围或单位差异较大时 tEncoder类对数据进行哑编码的 代码如下： 2. 特征构建 from sklearn.preprocessing import OneHotEncoder #哑编码，对IRIS数据集的目标值，返回值为哑编码后的数据 OneHotEncoder().fit_transform(iris.target.reshape((-1,1))) 12 分箱 一般在建立分类模型时，需要对连续变量离散化，特征离散化后， 36(01) 1. SIFT 特征 优点： ➢ 具有旋转、尺度、平移、视角及亮度不变性，有利于对目标 特征信息进行有效表达； ➢ SIFT 特征对参数调整鲁棒性好，可以根据场景需要调整适宜 的特征点数量进行特征描述，以便进行特征分析。 缺点：不借助硬件加速或者专门的图像处理器很难实现。 疑似特征点检测 去除伪特征点 特征点梯度 与方向匹配 特征描述向量的 生成 步骤 图像特征提取

(右) 7 • 在 AlexNet 的第一层，卷积窗口的形状是 11×11 。由于大 多数 ImageNet 中图像的宽和高比 MNIST 图像的多10倍以 上，因此，需要一个更大的卷积窗口来捕获目标。 第二层 中的卷积窗形状被缩减为 5×5 ，然后是 3×3 。 此外，在 第一层、第二层和第五层之后，加入窗口形状为 3×3 、步 幅为 2 的最大池化层。 此外，AlexNet 的卷积通道是 结构，其名字来源于“密集连 接网络（Densely Connected Network）”。 DenseNet的创新点在于在网 络结构中引入了密集连接，使 特征复用和梯度传播更加容易 ，在处理图像分类、目标检测 、分割等问题中都取得了不错 的结果。 21 3.其它现代网络 DenseNet 总的来说，DenseNet和ResNet都是很优秀的卷积神经网络结构，但 DenseNet通过建立密集连接 和训练稳定性上表现更好。 22 3.其它现代网络 EfficientNet EfficientNet是一种基于自动模型缩放的神 经网络结构，由谷歌团队于2019年提出，该 模型在图像分类、目标检测和图像分割等任 务中取得了不错的结果。 EfficientNet的设计思路来源于模型优化的 两个主要思想： 神经网络结构搜索（Neural Architecture Search，NAS）和模型融合。