复杂环境下的视觉同时定位与地图构建 章国锋 浙江大学CAD&CG国家重点实验室 SLAM: 同时定位与地图构建 • 机器人和计算机视觉领域的基本问题 • 在未知环境中定位自身方位并同时构建环境三维地图 • 广泛的应用 • 增强现实、虚拟现实 • 机器人、无人驾驶 SLAM常用的传感器 • 红外传感器：较近距离感应，常用于扫地机器人。 • 激光雷达：单线、多线等。 • 摄像头：单目、双目、多目等。 普通手机摄像头也可作为传感器 双目摄像头 微软Kinect彩色-深度（RGBD）传感器 手机上的惯性传感器（IMU） SLAM运行结果 • 设备根据传感器的信息 • 计算自身位置（在空间中的位置和朝向） • 构建环境地图（稀疏或者稠密的三维点云） 稀疏SLAM 稠密SLAM SLAM系统常用的框架 输入 • 传感器数据 前台线程 • 根据传感器数据进行跟踪求解， 实时恢复每个时刻的位姿 后台线程 结合双目立体视觉和超声波，实现空中精准悬停和安全航线自动生成 SLAM应用介绍 • 无人车 MobileEye、特斯拉等自动驾驶方案 以廉价的摄像头为主 Google无人车项目Waymo 使用高精度激光雷达构建地图 SLAM应用介绍 • 虚拟/增强现实：Inside-Out方案 目前绝大多数VR头盔都采用 Outside-In的定位方案，需要在环境 中放置一个或多个传感器，活动范 围受限，不支持大范围移动的定位。

构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they？ 内容审核团队 运营分析团队 AI？ Content 分类 检测 分割 跟踪 描述 搜索 分析 …

72B； • 针对每种尺寸提供基础模型和 Chat 模型，并确保聊天模型按照人类偏好进行校准； • 对基础模型和 Chat 模型的多语言支持 • 基础模型和聊天模型都支持多种语言； • 支持工具调用、RAG（检索增强文本生成）、角色扮演、AI Agent 等； 想了解更多信息，欢迎访问： • 博客 • GitHub • Hugging Face • ModelScope • Qwen1 5，我们建议您使用 vLLM。vLLM 是一个用于 LLM 推理和服务的快速且易于使用的框架。以 下，我们将展示如何使用 vLLM 构建一个与 OpenAI API 兼容的 API 服务。 首先，确保你已经安装 vLLM>=0.3.0 ： pip install vllm 运行以下代码以构建 vllm 服务。此处我们以 Qwen1.5-7B-Chat 为例： python -m vllm.entrypoints 5-7B-Chat 进行对话。 1.3.1 基本用法 你只需借助 transformers 库编写几行代码，就能与 Qwen1.5-Chat 进行对话。实质上，我们通过 from_pretrained 方法构建 tokenizer 和模型，然后利用 generate 方法，在 tokenizer 提供的 chat template 的辅助下进行 chat。以下是一个如何与 Qwen1.5-7B-Chat 进行对话的示例：

回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 9.1 模型的容量 9.2 过拟合与欠拟合 9.3 数据集划分 9.4 模型设计 9.5 正则化 9 的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 的专家系统来模拟人类专家的智能水平。这些明确指定规则的方式存在一个最大的难题， 就是很多复杂、抽象的概念无法用具体的代码实现。比如人类对图片的识别、对语言的理 解过程，根本无法通过既定规

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 8.1.1 统计工具 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 8.1.2 训练 . 微调BERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 738 16 附录：深度学习工具 741 16.1 使用Jupyter Notebook . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 实世界的应用范围很窄。而那些应用，例如语音识别和计算机视觉，需要大量的领域知识，以至于它们通常 被认为是完全独立的领域，而机器学习对这些领域来说只是一个小组件。因此，神经网络——我们在本书中 关注的深度学习模型的前身，被认为是过时的工具。 就在过去的五年里，深度学习给世界带来了惊喜，推动了计算机视觉、自然语言处理、自动语音识别、强化学 习和统计建模等领域的快速发展。有了这些进步，我们现在可以制造比以往任何时候都更自主的汽车（不过

在新类上微调 InceptionV3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 13.2.5 通过自定义输入 tensor 构建 InceptionV3 . . . . . . . . . . . . . . . . . . . 161 13.3 模型概览 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233 18 可视化 Visualization 234 19 Scikit-learn API 235 20 工具 236 20.1 CustomObjectScope [source] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236 模块化。模型被理解为由独立的、完全可配置的模块构成的序列或图。这些模块可以以尽 可能少的限制组装在一起。特别是神经网络层、损失函数、优化器、初始化方法、激活函 数、正则化方法，它们都是可以结合起来构建新模型的模块。 • 易扩展性。新的模块是很容易添加的（作为新的类和函数），现有的模块已经提供了充足 的示例。由于能够轻松地创建可以提高表现力的新模块，Keras 更加适合高级研究。 • 基于 Python

float32; torch.float np.float64 torch.float64; torch.double np.int64 torch.int64; torch.long 从已有数据构建 np.array([3.2, 4.3], dtype=np.float16) torch.tensor([3.2, 4.3],dtype=torch.float16) x.copy() x.clone() 3. 神经网络 可以使用torch.nn包来构建神经网络. 你已知道autograd包,nn包依赖autograd 包来定义模型并求导.一个nn.Module包含各个层和一个forward(input)方法,该 方法返回output。 典型的神经网络 28  神经网络关键组件及相互关系 3. 神经网络 29  PyTorch构建网络工具 torch.nn Module Linear Model() Loss() torch.autograd. backward Torch.optims .step parallel init nn.ModuleDict 定义网络层 构建网络 前向传播 反向传播 优化参数 3. 神经网络 30 3. 神经网络 神经网络的典型训练过程如下: • 定义神经网络模型,它有一些可学习的参数(或者权重); • 在数据集上迭代; •

Scikit-learn概述 Scikit-learn是基于NumPy、 SciPy和 Matplotlib的开源Python机器学习 包,它封装了一系列数据预处理、机器学习算法、模型选择等工具,是数 据分析师首选的机器学习工具包。 自2007年发布以来，scikit-learn已经成为Python重要的机器学习库了， scikit-learn简称sklearn，支持包括分类，回归，降维和聚类四大机器学 符号标记 2.Scikit-learn主要用法 y_train | 训练集标签. y_test | 测试集标签. y | 数据标签. 8 2.Scikit-learn主要用法 导入工具包 from sklearn import datasets, preprocessing from sklearn.model_selection import train_test_split from 输入，前提是 数据必须是数值型的 ✓sklearn.datasets模块提供了一系列加载和获取著名数据集如鸢尾 花、波士顿房价、Olivetti人脸、MNIST数据集等的工具，也包括了一 些toy data如S型数据等的生成工具 from sklearn.datasets import load_iris iris = load_iris() X = iris.data y = iris.target

−log? ? ? 机器学习的概念-损失函数 23 根据上述损失函数模型，我们可知，损失函数值越小，模型性能越好。给定一个数据集，我们将 训练数据集的平均损失称为经验风险。基于经验风险最小化原则，可构建全局损失函数求解最优 化问题： min ? 1 ? ෍ ?=1 ? L ??, ? ?? 机器学习的概念-损失函数 24 当样本数量足够大时，根据大数定理，经验风险会近似于模型的期望风险。此时，经验风险最 都能有较好的拟合。 机器学习的概念-损失函数 min ? 1 ? ෍ ?=1 ? ? ??, ? ?? 25 机器学习的概念-优化算法 算法指的是模型学习中的具体计算方法。一般来说，基于参数模型构建的统计 学习问题都为最优化问题，它们都具有显式的解析解。 现有的优化方法主要有：梯度下降法、牛顿法、拟牛顿法、ADAM等等。具体 的算法，我们会在各自章节中介绍。其中本课程中，用梯度下降法作为主要的 1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融 公

8 Random Forest（随机森林）是 Bagging 的扩展变 体，它在以决策树为基学习器构建 Bagging 集成的 基础上，进一步在决策树的训练过程中引入了随机特 征选择，因此可以概括 随机森林包括四个部分： 1. 随机选择样本（放回抽样）； 2. 随机选择特征； 3. 构建决策树； 4. 随机森林投票（平均）。 随机森林 训练数据 Bootstrap随机抽取 决策树1 XGBoost 04 LightGBM 3.XGBoost 27 3.XGBoost XGBoost 是大规模并行 boosting tree 的工具， 它是目前最快最好的开源 boosting tree 工具包 ，比常见的工具包快 10 倍以上。XGBoost 和 GBDT 两者都是 boosting 方法，除了工程实现 、解决问题上的一些差异外，最大的不同就是目 标函数的定义。 45 4.LightGBM 直方图加速 在构建叶节点的直方图时，我们还可以通过父节点的直方图与相邻叶节点 的直方图相减的方式构建，从而减少了一半的计算量。即：一个叶子节点 的直方图可以由它的父亲节点的直方图与其兄弟的直方图做差得到。如节 点分裂成两个时，右边叶子节点的直方图等于其父节点的直方图减去左边 叶子节点的直方图。从而大大减少构建直方图的计算量。 46 4.LightGBM