复杂环境下的视觉同时定位与地图构建 章国锋 浙江大学CAD&CG国家重点实验室 SLAM: 同时定位与地图构建 • 机器人和计算机视觉领域的基本问题 • 在未知环境中定位自身方位并同时构建环境三维地图 • 广泛的应用 • 增强现实、虚拟现实 • 机器人、无人驾驶 SLAM常用的传感器 • 红外传感器：较近距离感应，常用于扫地机器人。 • 激光雷达：单线、多线等。 • 摄像头：单目、双目、多目等。 如何处理动态场景？ • 如何处理快速运动和强旋转？ 复杂环境下的主要挑战 我们课题组的工作 • 面向大尺度场景的运动恢复结构 • ENFT-SFM：能够高效地处理大尺度场景下拍摄的循环回路和多 视频序列。 • 单目视觉的同时定位与地图构建 • ENFT-SLAM：能在大尺度场景下实时稳定工作、在线回路闭合； • RDSLAM：能在动态场景下稳定工作； • RKSLAM：可以实时运行在移动设备上，并能处理快速运动和强 重复上述步骤直至投影误差小于阈值或不能再分裂为止。 Garden数据集的SfM结果 6段长视频序列，将近10万帧，特征匹配74分钟，SfM求解16分钟（单线程），平均17.7fps VisualSFM：SfM求解 57 分钟 （GPU加速） Garden数据集上的比较 ENFT-SFM ORB-SLAM VisualSFM KITTI数据集上的定量比较 TUM数据集上的定量比较 ENFT-SLAM: ENFT-based

深度学习下的图像视频处理技术 沈小勇 优图X-Lab视觉AI负责人 专家研究员 自我介绍 自我介绍 2006.9 – 2012.7 浙江大学数学系本科硕士 2012.8 – 2016.6 香港中文大学博士 2016.6 – 2017.5 香港中文大学 Research Fellow 2017.5 – 现在 腾讯优图X-Lab 视觉AI负责人，专家研究员 个人主页：http://xiaoyongshen

自定义数据集实战 主讲：龙良曲 Pokemon Go! Pokemon Dataset https://www.pyimagesearch.com/2018/04/16/keras-and-convolutional-neural-networks-cnns/ Download ▪ 链接: https://pan.baidu.com/s/1V_ZJ7ufjUUFZwD2NHSNMFw

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2.2.1 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 2.2.2 处理缺失值 . . . . . . . . . . . . . . . . . . . . 95 3.2.1 生成数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 3.2.2 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 3.3.1 生成数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 3.3.2 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . .

第 2 章 回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 第 5 章 PyTorch 进阶 5.1 合并与分割 5.2 数据统计 5.3 张量比较 5.4 填充与复制 5.5 数据限幅 5.6 高级操作 5.7 经典数据集加载 5.8 MNIST 测试实战 5.9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9.4 模型设计 9.5 正则化 9.6 Dropout 9.7 数据增强 9.8 过拟合问题实战 9.9 参考文献 第 10 章 卷积神经网络 10.1 全连接网络的问题

构建自己的数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.1 自定义 Variable 数据与网络训练 19 4.2 准确率的可视化 22 4.3 分类结果的可视化 23 4.4 自定义 Dataset 数据集 25 3 data.Dataset 以及 torch.utils.data.DataLoader。 Dataset 存储样本以及它们的标签等信息，Dataset 可以使用预加载的数据集（例如 mnist）， 也可以使用自定义的数据集；而 DataLoader 是把样本进行访问和索引的工具，它实现了迭代器 功能，也就是说它可以依次将 batch_size 数量的样本导出。 注意，前面已经导入过的 python 功能的函数，这样就相当于封装了自己的数据为 Dataset 类型。为了方便起见，我们先描述如何 使用预加载数据，然后第二章就开始构建神经网络模型。等第四章我们再描述如何自定义数据集。 我们一次写一个完整的程序来把数据可视化一下： from torchvision import datasets from torchvision . transforms import ToTensor , Lambda

. . . . . 31 3.3.9 如何用 Keras 处理超过内存的数据集？ . . . . . . . . . . . . . . . . . . . . 32 3.3.10 在验证集的误差不再下降时，如何中断训练？ . . . . . . . . . . . . . . . . 32 3.3.11 验证集划分是如何计算的？ . . . . . . . . . . . . . . . 3.3.12 在训练过程中数据是否会混洗？ . . . . . . . . . . . . . . . . . . . . . . . . 32 3.3.13 如何在每个 epoch 后记录训练集和验证集的误差和准确率？ . . . . . . . . 32 3.3.14 如何「冻结」网络层？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 12 常用数据集 Datasets 154 12.1 CIFAR10 小图像分类数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 12.2 CIFAR100 小图像分类数据集 . . . . . . . . . . . . . . . . . .

第二步，你可以用这些词嵌入模型把它迁移到你的新的只有少量标注训练集的任 务中，比如说用这个300维的词嵌入来表示你的单词。这样做的一个好处就是你 可以用更低维度的特征向量代替原来的10000维的one-hot向量，现在你可以用 一个300维更加紧凑的向量。 第三步，当你在你新的任务上训练模型时，在你的命名实体识别任务上，只有少 量的标记数据集上，你可以自己选择要不要继续微调，用新的数据调整词嵌入。 Word2Vec （下图左边为CBOW，右边为Skip-Gram） CBOW对小型数据库比较合适，而Skip-Gram在大型语料中表现更好。 17 3.Word2Vec 我们实际构建和训练模型的数据集将如下所示： 这被称为连续词袋结构，并在word2vec论文 one of the word2vec papers 中进行过描述。 18 3.Word2Vec 负采样 计算的角度来看，Sk 3.Word2Vec 训练流程 现在我们需要一种方法将这些分数转化为看起来像概率的东西 ： 使用sigmoid函数把概率转换为0和1。 然后，我们计算输入嵌入与每个上下文嵌入的点积。在每种情况 下，会产生一个数字，该数字表示输入和上下文嵌入的相似性。 24 3.Word2Vec 训练流程 现在我们可以将sigmoid操作的输出视为这些样本的模型输出。 您可以看到taco得分最高aaron，并且在sigmoid操作之前和之后仍

node) (代表分类后所获得的分类标记) ⚫ 决策树算法是一种归纳分类算法 ，它通过对训练集的学习，挖掘 出有用的规则，用于对新数据进 行预测。 ⚫ 决策树算法属于监督学习方法。 ⚫ 决策树归纳的基本算法是贪心算法 ，自顶向下来构建决策树。 ⚫ 贪心算法：在每一步选择中都采取 在当前状态下最好/优的选择。 ⚫ 在决策树的生成过程中，分割方法 即属性选择的度量是关键。 6 1 CART 分类 回归 二叉树 基尼指数 均方差 支持 支持 支持 支持 1.决策树原理 决策树的三种基本类型 建立决策树的关键，即在当前状态下选择哪个属性作为分类依据。根据不同 的 目 标 函 数 ， 建 立 决 策 树 主 要 有 一 下 三 种 算 法 ： ID3(Iterative Dichotomiser)、C4.5、CART(Classification And Regression 同分支的数据集合）； 4. 重复 2，3 两步，若子集值包含单一特征，则为分支叶子节点。 11 ? ? = − ෍ ?=1 ? ?? ? ???2 ?? ? 信息熵 ?是类别，?是数据集，??是类别?下的数据集 信息熵 右边数据中： ? ? = − ෍ ?=1 ? ?? ? ???2 ?? ? = − 9 15 ???2 9 15 − 6 15 ???2 6 15 = 0.971

streamer=streamer, ) 1.2.2 使用 vLLM 部署 要部署 Qwen1.5，我们建议您使用 vLLM。vLLM 是一个用于 LLM 推理和服务的快速且易于使用的框架。以 下，我们将展示如何使用 vLLM 构建一个与 OpenAI API 兼容的 API 服务。 首先，确保你已经安装 vLLM>=0.3.0 ： pip install vllm 运行以下代码以构建 vllm 流式模式或非流式模式下与 Qwen1.5-7B-Chat 进行对话。 1.3.1 基本用法 你只需借助 transformers 库编写几行代码，就能与 Qwen1.5-Chat 进行对话。实质上，我们通过 from_pretrained 方法构建 tokenizer 和模型，然后利用 generate 方法，在 tokenizer 提供的 chat template 的辅助下进行 chat。以下是一个如何与 参数则用于设置响应的最大长度。此 外，通过 tokenizer.batch_decode() 函数对响应进行解码。关于输入部分，上述的 messages 是一个 示例，展示了如何格式化对话历史记录和系统提示。默认情况下，如果您没有指定系统提示，我们将直接使 用 You are a helpful assistant. 作为系统提示。 1.3.2 流式输出 借助 TextStreamer ，您可以将与 Qwen