• 如何将不同子序列上的相同特征点高效地匹配上？ • 如何高效地进行全局优化，消除重建漂移问题？ VisualSFM 结果 ENFT：高效的非连续帧特征跟踪 基于两道匹配的连续帧跟踪 • 抽取SIFT特征 • 第一道匹配：比较描述量 Global distinctive 平面运动分割 • 估计若干个平面运动 • 使用第一道匹配得到的内点匹配对（inlier matches） Alignment t H 第二道匹配 • 根据估计的平面运动进行匹配 Epipolar constraint Homography constraint 匹配结果比较 第一道匹配 (53个匹配对) 直接极线上搜索 (增加了11个匹配对) 第二道匹配 (增加了346个匹配对) 非连续帧上的特征点轨迹匹配 • 快速匹配矩阵估计 • 检测有公共内容的子序列进行特征轨迹匹配 快速匹配矩阵估计 • 每个轨迹有一组描述向量 每个轨迹有一组描述向量 • 特征轨迹描述量 • 采用分层的K-means方法进行轨迹描述量聚类 快速匹配矩阵估计 非连续特征轨迹匹配 • 同时进行图像对的特征匹配和优化匹配矩阵 • 根据选择的图像对的特征匹配结果对匹配矩阵进行优化； • 根据更新的匹配矩阵更可靠地选择出有公共内容的图像对进行特征匹配。 大尺度运动恢复结构的难点 • 全局集束调整（Global Bundle Adjustment）

根据业 务需求优先分配指定订单，其他的则根据KM算法找到骑士和 订单的最优分配方案 KM算法 （1） 初始化可行标杆 （2） 用匈牙利算法寻找完备匹配 （3） 若未找到完备匹配则修改可行标杆 （4） 重复（2）（3）直到找到相等子图的完备匹配 供需平衡 13 5.1 配送时长预估模型 • 基于现有状况、订单增速、消 化速度、天气、当前手段等多 维特征，使用XGBoost模型回 归预测未来五分钟进单的平均 供需平衡 14 5.2 单量调控模型 • 通过价格平衡未来的进单量 和系统可承载的单量 • 基于GBRT对未来进入单量的 实时预测 • 贪心算法求解系统最佳承载 单量 • 根据当前系统状态匹配最佳 的溢价手段使之回归至最大 可承载单量的调控模型 • 在供需失衡之时，实施最有 效的调控手段 5 总结—外卖订单智能调度要解决的核心问题 借助机器学习与深度学习实现，骑士到店时 间、等餐时间、骑士到用户时间、交付用户 时间等配送全流程节点时间预估 动态规划最优配送路线，且合理并单，以最 低的配送成本最大化满足用户配送体验。 建立配送成本及用户体验的评估模型，并基于多 场景多维度权衡骑士和待分配订单匹配程度 依据评价模型得出的订单和骑士匹配程 度，全局最优进行整体调度分配 借助机器学习实现精准的配送时长预估，预 测不同价格杠杆的效果，满足用户体验的情 况下，最大化的承载适合的单量 15 调度系统算法 1 2

• 亚马逊（Amazon／A9)电子商务搜索引擎中， 深度学习还在实验阶段， 尚未进入生产线。 8 • 搜索数值矢量化  传统搜索基于文字匹配， 商品包含搜索词或者不包含搜索词  利用深度学习技术， 将搜索词和商品全部数值矢量化， 将文字匹配转化为数值矢量计算  词语矢量化是进一步进行各种深度学习的基础。 • 矢量化模型介绍  Mikolov(Google员工)等人2013发表了两篇关于Word2Vec的文章， 产品类别过滤 产品频率过滤 矢量转换回商 品 14 原型评测结果 矢量化搜索引擎与易购传统引擎搜索效果对比 （2016-07-25测试结果） 15 • 该技术不仅召回与搜索词完全匹配的结果，还可召回与搜索词文本不匹配、但含义近似的结果。 效果示例 如：经测评，当搜索词为“松下筒灯”， 易购网站返回6个相关结果， 美研方案返回64个相关结果 现有方案 原型系统 16 • 首先进行词语的矢量化

度。例如，亚马逊上的产品评级和评论。 在其他一些情况下，客户会提供隐性反馈。例如，某用户跳过播放列表中的某些歌曲，这可能说明这些歌曲 对此用户不大合适。总的来说，推荐系统会为“给定用户和物品”的匹配性打分，这个“分数”可能是估计 的评级或购买的概率。由此，对于任何给定的用户，推荐系统都可以检索得分最高的对象集，然后将其推荐 给用户。以上只是简单的算法，而工业生产的推荐系统要先进得多，它会将详细的用户活动和项目特征考虑 来描述。再比如，裁缝们已经开发 出了一小部分参数，这些参数相当准确地描述了人体的形状，以适应衣服的需要。另一个例子：在欧几 里得空间中是否存在一种（任意结构的）对象的表示，使其符号属性能够很好地匹配?这可以用来描述 实体及其关系，例如“罗马”− “意大利”+ “法国”= “巴黎”。 • 因果关系（causality）和概率图模型（probabilistic graphical models）问题：我们能否描述观察到的 reshape((1, 2)) a, b (tensor([[0], [1], [2]]), tensor([[0, 1]])) 由于a和b分别是3 × 1和1 × 2矩阵，如果让它们相加，它们的形状不匹配。我们将两个矩阵广播为一个更大 的3 × 2矩阵，如下所示：矩阵a将复制列，矩阵b将复制行，然后再按元素相加。 a + b 44 2. 预备知识 tensor([[0, 1], [1, 2]

• conitnues特征 • one-hot 表示 • 假设检验方式 • 相关系数评估 • 特征组合 • GBDT+互信息——有效挖掘 非线性特征及组合 皮尔逊相关系数特征评估 标签匹配度特征相关系数特征评估 样本采集 Ø 存在问题 • 头部效应 • 实时反馈类收集与在线存在差异性 Ø 解决方案 • 正负样本比例严重失衡 • 对头部曝光进行降采样，长尾曝光上采样 • 数据对比分析 算法架构 互动行为 点击行为 阅读行为 能力标签 兴趣标签 亲密度 自然属性 账号属性 用户特征 关键词 类型属性 topic 内容标签 内容质量 内容特征 组合特征 标签匹配度 用户互动率 协同特征 实时互动率 app互动率 微博内容 关注数据 用户信息 视觉标签 打码日志 社交关系 用户特征 发博流 互动流 曝光流 模型服务 模型训练 模型优化

Messenger •Microsoft Tay IR-Bot: 智能检索机器人 IR-Bot：检索问答系统 IR-Bot：深度学习 • 句子表示、QA匹配 基于深度学习的智能问答 IR-Bot：深度学习 • 句子表示、QQ匹配 Semantic Question Matching with Deep Learning Task-Bot: 任务对话机器人 Task-Bot: task-oriented

获得人口学以及情感的数 据推荐最佳照片 • 提高在线约会匹配的推荐 • 动态的个性化广告 人脸比对 测量两张图片中同一个人的可能性 • 为应用和设备添加人脸 验证 • 扩展了物理安全控制的 应用领域 • 客人对VIP 设施的使用 • 在线考试以及民意调查 时的用户验证 人脸识别 通过针对存储的面部向量的集合找到输入面部图像的最接近 的匹配来识别图像中的人 • 社交应用、消息类应用 中加入朋友标签

生成输入 随机噪声 23 GAN的衍生模型 GAN的理论与实现模型 （6） Improved GAN--改进生成式对抗网络，提出了使模型训练稳定的五条 经验。 a.特征匹配（feature matching） b.最小批量判断（minibatch discrimination） c.历史平均（historical averaging） GAN的应用 27 GAN的应用 语音和语言领域 a. 用 GAN 来表征对话之间的隐式关联性，从而生成对话文本。 b. 用 CNN 作为判别器, 判别器基于拟合 LSTM 的输出，用矩匹配来解决优化 问题；在训练时，和传统更新多次判别器参数再更新一次生成器不同, 需要多 次更新生成器再更新 CNN 判别器。 SeqGAN 基于策略梯度来训练生成器。 c. 用GAN 基于文本描述

epoch 训练损失和评估值，以及验证 集损失和评估值的记录（如果适用） 。 异常 • RuntimeError: 如果模型从未编译。 • ValueError: 在提供的输入数据与模型期望的不匹配的情况下。 4.2.3.3 evaluate evaluate(self, x=None, y=None, batch_size=None, verbose=1, sample_weight=None epoch 训练损失和评估值，以及验证 集损失和评估值的记录（如果适用） 。 异常 • RuntimeError: 如果模型从未编译。 • ValueError: 在提供的输入数据与模型期望的不匹配的情况下。 4.3.3.3 evaluate evaluate(self, x=None, y=None, batch_size=None, verbose=1, sample_weight=None • steps: 声明预测结束之前的总步数（批次样本）。默认值 None。 返回 预测的 Numpy 数组（或数组列表）。 异常 • ValueError: 在提供的输入数据与模型期望的不匹配的情况下，或者在有状态的模型接收 到的样本不是 batch size 的倍数的情况下。 4.3.3.5 train_on_batch train_on_batch(self, x, y, sample_weight=None

合，伤害模型的泛化能力 (Goodfellow, Bengio, & Courville, 2016)，如图 3.8(c)所示。 ? ? ? ? ? ? （a）表达能力偏弱 （b）表达能力与数据模态匹配 （c）表达能力过强 图 3.8 模型表达能力与数据模态示意图 选择一个合适容量的模型非常重要，目前所采用的多神经元模型仍是线性模型，只有 一层，表达能力偏弱，类似于图 3.8(a)的情况，接下来将扩大模型容量来解决这两个问 ,读者朋友可自行阅读 PyTorch 的对应 部分源代码学习官方的实现方式。 6.3 神经网络 通过层层堆叠图 6.4 中的全连接层，同时保证前一层的输出节点数与当前层的输入节 点数匹配，，即可堆叠出任意层数的网络。我们把这种由神经元相互连接而成的网络叫做神 经网络。如图 6.5 所示，通过堆叠 4 个全连接层，可以获得层数为 4 的神经网络，由于每 层均为全连接层，称为全连接网络。其中第 64]，输出层的输出节点数为 10。 在设计全连接网络时，网络的结构配置等超参数可以按着经验法则自由设置，只需要 遵循少量的约束即可。例如，隐藏层 1 的输入节点数需和数据的实际特征长度匹配，每层 的输入层节点数与上一层输出节点数匹配，输出层的激活函数和节点数需要根据任务的具 体设定进行设计。总的来说，神经网络模型的结构设计自由度较大，如图 6.5 层中每层的 输出节点数不一定要设计为[256,128,64