复杂环境下的视觉同时定位与地图构建 章国锋 浙江大学CAD&CG国家重点实验室 SLAM: 同时定位与地图构建 • 机器人和计算机视觉领域的基本问题 • 在未知环境中定位自身方位并同时构建环境三维地图 • 广泛的应用 • 增强现实、虚拟现实 • 机器人、无人驾驶 SLAM常用的传感器 • 红外传感器：较近距离感应，常用于扫地机器人。 • 激光雷达：单线、多线等。 • 摄像头：单目、双目、多目等。 Google无人车项目Waymo 使用高精度激光雷达构建地图 SLAM应用介绍 • 虚拟/增强现实：Inside-Out方案 目前绝大多数VR头盔都采用 Outside-In的定位方案，需要在环境 中放置一个或多个传感器，活动范 围受限，不支持大范围移动的定位。 基于SLAM技术的VR/AR可以实现Inside-Out方案：将传感器固定在使用者端。 优点：不需要提前布置环境中的传感器，且没有活动范围的限制。 《The 视觉SLAM • 主要传感器 • 单目摄像头 • 双目摄像头 • 多目摄像头 • 其它辅助传感器 • 廉价IMU、GPS • 深度传感器 • 优势 • 硬件成本低廉 • 小范围内定位精度较高 • 无需预先布置场景 基本原理：多视图几何 投影函数 主要模块 • 特征跟踪 • 获得一堆特征点轨迹 • 相机姿态恢复与场景三维结构恢复 • 求解相机参数和三维点云 • 如何处理循环回路序列和多视频序列？

出农业机械穿过作物的最佳路径。另 外也可用来识别杂草和作物，有效减 少除草剂的使用量。 制造业 计算机视觉也可以帮助制造商更安 全、更智能、更有效地运行，比如预 测性维护设备故障，对包装和产品质 量进行监控，并通过计算机视觉减少 不合格产品。 交通 自动驾驶汽车需要计算机视觉。特斯拉 (Tesla)、宝马(BMW)、沃尔沃(Volvo)和奥迪 (Audi)等汽车制造商Y已经通过摄像头、激光 由于90％的医疗数据都是基于图像的，因此医 学中的计算机视觉有很多用途。比如启用新的 医疗诊断方法，分析X射线，乳房X光检查，监 测患者等。 13 深度学习入门-目标检测 目标检测结合了目标分 类和定位两个任务。 目标检测器的框架分为 one-stage(YOLO,YOLO9000,YOLOV3,YOLOV4, YOLOV5,SSD等) two-stage(OverFeat，R-CNN，Fast

注意：如果没有安装unzip，则可以通过运行sudo apt install unzip进行安装。 安装完成后我们可以通过运行以下命令打开Jupyter笔记本（在Window系统的命令行窗口中运行以下命令前， 需先将当前路径定位到刚下载的本书代码解压后的目录）： jupyter notebook 9 https://developer.nvidia.com/cuda‐downloads 10 目录 现在可以在Web 理，马上就能同样得到P(A | B) = P(A)。在所有其他情况下，我们称A和B依赖。比如，两次连续抛出一个 骰子的事件是相互独立的。相比之下，灯开关的位置和房间的亮度并不是（因为可能存在灯泡坏掉、电源故 障，或者开关故障）。 由于P(A | B) = P (A,B) P (B) = P(A)等价于P(A, B) = P(A)P(B)，因此两个随机变量是独立的，当且仅当两个 随机变量的联合分布是其各自分布的乘积 重新索引下标(k, l)，使k = i + a、l = j + b，由此可得[V]i,j,a,b = [W]i,j,i+a,j+b。索引a和b通过在正偏移和负偏 移之间移动覆盖了整个图像。对于隐藏表示中任意给定位置（i,j）处的像素值[H]i,j，可以通过在x中以(i, j)为 中心对像素进行加权求和得到，加权使用的权重为[V]i,j,a,b。 6.1. 从全连接层到卷积 219 平移不变性 现在引

外卖订单的智能 调度系统 一. 智能调度系统的 大数据分析监控 二. 智能调度系统中 的人工智能 三. 调度系统 智能调度系统的分析监控 17 • 真实再现调度场景细节 • 回溯定位异常调度原因，诊断调试算法 • 实时获取调度监控指标 • 及时预警引入人工干预 • 精准模拟实际订单分布情况 • 有效评估调度算法的改进效果 • 合理划分物流范围 • 节省调度运力，提升商户配送能力 节省调度运力，提升商户配送能力 • 云端虚拟队列，实现调度指派 • 提升物流效率 仿真系统 实时监控 时光机 寻宝系统 1 2 3 4 5 时光机系统—历史数据可视化分析 真实再现调度场景细节 回溯定位异常调度原因，诊断调试算法 18 1 实时监控系统—当前状况实时监控 19 实时获取调度监控指标 及时预警引入人工干预 2 仿真系统—未来效果仿真预测 订单 在岗骑 士数量 调度

制不是极大值的元素，用于目标检测中， 就是提取置信度高的目标检测框，而抑制 置信度低的误检框。一般来说，用在当解 析模型输出到目标框时，目标框会非常多 ，具体数量由anchor数量决定，其中有很 多重复的框定位到同一个目标，NMS用来 去除这些重复的框，获得真正的目标框。 如下图所示，人、马、车上有很多框，通 过NMS，得到唯一的检测框。 28 2.目标检测算法 非极大值抑制（Non-max suppression） AP衡量的是学出来的模型在每个类别上的好坏，mAP衡量的是学出的模型在所有 类别上的好坏，得到AP后mAP的计算就变得很简单了，就是取所有AP的平均值。 Recall 30 01 目标定位 3.YOLO算法 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 31 3.YOLO算法 02 目标检测算法 03 YOLO算法

难样本挖掘的比率（正样本和负样本的比率）； • 生成的proposal的数目（不同的方法输出是不同的）； • bbox的编码方式，是预测offset还是相对位置？ • 数据预处理的数据增强方法； • 定位误差函数的实现方法； • 不同AI框架； • 训练时候的不同设置参数，如batch_size, 输入图片大小，学习率，学习衰减率等因素； 应用：检测数据准备与标注 检测数据标注工具-labelImg

输入图片，以及某人的ID或者是名字 • 验证输入图片是否是这个人 人脸聚类（Face Clustering） 在数据库中对人脸进行聚类， 直接K-Means即可。 5 1.人脸识别概述 人脸检测的步骤 • 人脸定位 确定是否存在人脸,人脸存在的位置、范围等 • 人脸对齐 把众多人脸图像转换到一个统一角度和姿势 • 确定关键点 关键点包括:眼角、鼻尖、嘴角等 6 1.人脸识别概述 人脸检测常用算法(深度学习框架)

•图像分类 •目标检测 •图像分割 •目标跟踪 •OCR文字识别 •图像滤波与降噪 •图像增强 •风格迁移 •三维重建 •图像检索 •GAN 5 图像分类 6 目标检测 目标检测结合了目标分类和定位两个任务。 one-stage(YOLO,YOLO9000,YOLOV3,YOLOV4, YOLOV5,SSD等) two-stage(OverFeat，R-CNN，Fast R-CNN，Faster

租赁等应用场景 Maple Plant Villa Garden Water Swimming Pool Tree Potted Plant Backyard 面部分析 在图像中定位人脸并分析面部的情绪，检测情感、姿势、地 标等特性 • 剪裁图片和重叠广告时需 要避开的面孔 • 获得人口学以及情感的数 据推荐最佳照片 • 提高在线约会匹配的推荐 • 动态的个性化广告 人脸比对

含的点数目。 30 密度聚类-DBSCAN DBSCAN使用两个超参数： 扫描半径 (eps)和最小包含点数(minPts)来获得簇的数量，而不是猜测簇的数目。 ➢ 扫描半径 (eps) : 用于定位点/检查任何点附近密度的距离度量，即扫描半径。 ➢ 最小包含点数(minPts) ： 聚集在一起的最小点数（阈值），该区域被认为是稠密的。 31 密度聚类-DBSCAN DBSCAN算法将数据点分为三类：