Twins：重新思考高效的视觉注意力模型设计 339 目录 iv > 2022年美团技术年货 美团获得小样本学习榜单 FewCLUE 第一！ Prompt Learning+ 自训练实战 353 DSTC10 开放领域对话评估比赛冠军方法总结 368 KDD 2022 | 美团技术团队精选论文解读 382 ACM SIGIR 2022 | 美团技术团队精选论文解读 391 CVPR 2022 | 美团技术团队精选论文解读 版本，我们的量化方案应用于 2.0 版 本。更详尽的关于量化部署实践的相关内容，近期会在美团技术团队公众号上进行推 送，敬请期待。 完备的开发支持和多平台部署适配 YOLOv6 支持检测模型训练、评估、预测以及模型量化、蒸馏等全链路开发流程， 同时支持 GPU（TensorRT）、CPU（OPENVINO）、ARM（MNN、TNN、NCNN） 等不同平台的部署，极大简化工程部署时的适配工作。更详细的教程指引请移步 二部分为时间序列问题，跟第一部分的重要差别在于预测的是未来的多点序列，而非 推荐系统的单点预估；第三部分为自动化机器学习问题，该问题比赛输入不为单一数 据集，而是多问题的多数据集，并且在最终评估的 b 榜数据集问题也是未知的。因 此，对于方案的鲁棒性要求非常高。如表 1 所示，后续将具体介绍七个比赛赛道的获 胜方案，但会合并为五个核心解决方案进行具体的介绍。 表 1 竞赛及解决方案

操作XuperDB 操作Distributed AI 案例应用-线性回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 案例应用-逻辑回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 系统详解 部署架构 计算需求方(Requester) 任务执行节点(Executor Node) 数据持有节点(DataOwner Node) Node) 存储节点(Storage Node) 区块链节点(Blockchain Node) Distributed AI 服务组件 多方安全计算框架 可信联邦学习 模型评估 动态模型评估 接口与消息定义 配置说明 命令行工具 XuperDB 背景和目标 特点和优势 架构设计 功能介绍 如何使用 Crypto 数据隐私保护 机器学习算法 纵向联邦学习 团队 我们的团队 参与开发 参与开发&测试 结 果。 模型评估 PaddleDTX中的模型评估同样经过分布式改造。如果用户指定执行模型评估， 并设置评估方式和参数，任务执行节点本地实例化评估器，评估器会划分训练 样本、创建并运行训练任务、创建并运行预测任务，最后计算评估指标。任务 执行节点各自持有部分训练集和验证集，在训练和预测过程中，任务执行节点 之间会进行多轮复杂交互。 此外，PaddleDTX还支持动态模型评估。训练任务进行计算的过程中，可指定

2.7 模型评估 PaddleDTX 中的模型评估同样经过分布式改造。如果用户指定执行模型评估，并设置评估方式和参数，任务 执行节点本地实例化评估器，评估器会划分训练样本、创建并运行训练任务、创建并运行预测任务，最后计 算评估指标。任务执行节点各自持有部分训练集和验证集，在训练和预测过程中，任务执行节点之间会进行 多轮复杂交互。 此外，PaddleDTX 还支持动态模型评估。训练任务进行 还支持动态模型评估。训练任务进行计算的过程中，可指定轮次触发模型评估，并获得当 前轮次训练结束后的评估指标。训练过程中，可以获取每个阶段模型的评估结果，以此判断是否停止训练； 当训练任务结束时，可获得一系列评估指标，展示训练效果变化趋势。 2.7. 模型评估 5 PaddleDTX Documentation 6 Chapter 2. 基本概念 CHAPTER3 正在进行中 我们即将支持的主要功能如下: 1. �→72a682a46fc1" -e "executor1,executor2" # 命 令 行 返 回 TaskID: fdc5b7e1-fc87-4e4b-86ee-b139a7721391 如果希望执行模型评估，增加‘–ev’、’–evRule’等参数： $ ./requester-cli task publish -a "linear-vl" -l "MEDV" --keyPath './keys' -t

画位置，更好的让模型学习出上下文信息，离线实验发现去掉位置向量 NDCG@10 下降明显。 ● 性能优化：最初选择商户全部的精排特征作为输入，发现线上预测时间太慢； 后面进行特征重要性评估，筛选出部分重要特征作为输入，使得线上预测性能 满足上线要求。 ● 调节多头注意力的“头”数对效果影响不大。 总结和展望 2019 年底，美团搜索对 Transformer 在排序中的应用进行了一些探索，既取得了一 文本中蕴含的实体成分、意图、类目也可以 用于辅助相关性判断。目前，我们将相关性任务和成分识别任务结合进行联合 优化已经取得一定效果。后续我们考虑将意图识别、类目预测等任务加入相关 性判断中，多视角、更全面地评估 Query-Doc 的相关性。 ● BERT 相关性模型和排序模型的深入融合：当前两个模型属于两阶段训练方 式，将 BERT 语义相关性作为特征加入排序模型来提升点击率。语义相关性 是影响搜索体验的重要因素之一，我们将 台大都是机器学习或者深度学习基础计算框架，聚焦于训练机器学习或深度学习模 型；公司的商用产品则是基于基础的机器学习和深度学习计算框架进行二次开发，提 供一站式的生态化的服务，为用户提供从数据预处理、模型训练、模型评估、模型在 线预测的全流程开发和部署支持，以期降低算法同学的使用门槛。 公司级的一站式机器学习平台的目标和定位，与我们对机器学习平台的需求不谋而 合：为用户提供端到端的一站式的服务，帮助他们脱离繁琐的工程化开发，把有限

Ø 解决什么问题？ • 数据 Ø 标注数据 Ø 训练数据 Ø 测试数据 Ø 评估数据 • 建模 Ø 输入输出？ Ø 工作流？ • 语言工具 Ø C++ Ø Python Ø Java Ø GO • 模型 Ø 统计模型 Ø 传统机器学习模型 Ø 深度学习模型 Ø 如何选择？是否组合？ • 评估 Ø 评估指标 Ø 工具 • 迭代 Ø 策略？ • 服务化 Ø 服务框架 Ø 性能 tensorflow：计算transformer-esim特征 • scikit learn：调用LR训练模型 各个击破－评估 • 评估数据 Ø 领域均衡：6个领域，每个领域50个知识点 Ø 评估数据对标训练数据：每个知识点12个相似问用于训练，3个相似问用于评估 • 评估指标 Ø 准确率/召回率/F1值 婴儿咳嗽怎么食疗 新生儿黄疸吃什么药 没有快递取货码怎么办 宝宝流鼻水咳嗽可以喝什么么

操作XuperDB 操作Distributed AI 案例应用-线性回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 案例应用-逻辑回归算法测试 案例简介 测试脚本说明 上传样本文件 训练任务 预测任务 模型评估 系统详解 部署架构 计算需求方(Requester) 任务执行节点(Executor Node) 数据持有节点(DataOwner Node) 支持更多的机器学习算法和对应的分布式改造，主要包括神经网络、决策 树等； 2. 支持横向联邦学习算法，计划先对多元线性回归和多元逻辑回归进行改 造； 3. 提供联邦学习训练参数的评估能力，通过交叉验证等方式评估训练参数的 优劣； 4. 优化目前使用的加法同态算法Paillier的性能； 5. 去中心化存储服务支持负载均衡策略，根据存储节点剩余资源和以往表现 情况，在文件分发时找到最优节点列表。 计算需求方启动任务 4. 为计算需求方下载预测结果 5. 计算模型的均方根误差 每个步骤对应的客户端命令详情参考 操作 Distributed AI 。 模型评估 通过预测任务，获得了模型的预测结果，我们通过计算预测值与真实值的均方 根误差来评估模型优劣。 预测任务执行完成后，同时输出了波士顿房价预测模型的均方根误差，为 4.568173732971698。 案例应用-逻辑回归算法测试 在本节中，我们使用

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2. 复杂度分析 12 2.1. 算法效率评估 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2. 时间复杂度 . . . . 者一起参与创作。 � 前置条件 您需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2. 内容结构 本书主要内容有： ‧ 复杂度分析：数据结构与算法的评价维度、算法效率的评估方法。时间复杂度、空间复杂度，包括推算 方法、常见类型、示例等。 ‧ 数据结构：常用的基本数据类型，数据在内存中的存储方式、数据结构分类方法。数组、链表、栈、队列、 散列表、树、堆、图等数据结 数据结构与算法两者紧密联系。数据结构是算法的底座，算法是发挥数据结构的舞台。 ‧ 乐高积木对应数据，积木形状和连接形式对应数据结构，拼装积木的流程步骤对应算法。 12 2. 复杂度分析 2.1. 算法效率评估 2.1.1. 算法评价维度 在开始学习算法之前，我们首先要想清楚算法的设计目标是什么，或者说，如何来评判算法的好与坏。整体上 看，我们设计算法时追求两个层面的目标。 1. 找到问题解法。算

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2. 复杂度分析 12 2.1. 算法效率评估 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2. 时间复杂度 . . . . 者一起参与创作。 � 前置条件 您需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2. 内容结构 本书主要内容有： ‧ 复杂度分析：数据结构与算法的评价维度、算法效率的评估方法。时间复杂度、空间复杂度，包括推算 方法、常见类型、示例等。 ‧ 数据结构：常用的基本数据类型，数据在内存中的存储方式、数据结构分类方法。数组、链表、栈、队列、 散列表、树、堆、图等数据结 数据结构与算法两者紧密联系。数据结构是算法的底座，算法是发挥数据结构的舞台。 ‧ 乐高积木对应数据，积木形状和连接形式对应数据结构，拼装积木的流程步骤对应算法。 12 2. 复杂度分析 2.1. 算法效率评估 2.1.1. 算法评价维度 在开始学习算法之前，我们首先要想清楚算法的设计目标是什么，或者说，如何来评判算法的好与坏。整体上 看，我们设计算法时追求两个层面的目标。 1. 找到问题解法。算

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2. 复杂度分析 12 2.1. 算法效率评估 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2. 时间复杂度 . . . . 者一起参与创作。 � 前置条件 您需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2. 内容结构 本书主要内容有： ‧ 复杂度分析：数据结构与算法的评价维度、算法效率的评估方法。时间复杂度、空间复杂度，包括推算 方法、常见类型、示例等。 ‧ 数据结构：常用的基本数据类型，数据在内存中的存储方式、数据结构分类方法。数组、链表、栈、队列、 散列表、树、堆、图等数据结 数据结构与算法两者紧密联系。数据结构是算法的底座，算法是发挥数据结构的舞台。 ‧ 乐高积木对应数据，积木形状和连接形式对应数据结构，拼装积木的流程步骤对应算法。 12 2. 复杂度分析 2.1. 算法效率评估 2.1.1. 算法评价维度 在开始学习算法之前，我们首先要想清楚算法的设计目标是什么，或者说，如何来评判算法的好与坏。整体上 看，我们设计算法时追求两个层面的目标。 1. 找到问题解法。算

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2. 复杂度分析 12 2.1. 算法效率评估 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.2. 时间复杂度 . . . . 者一起参与创作。 � 前置条件 您需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2. 内容结构 本书主要内容有： ‧ 复杂度分析：数据结构与算法的评价维度、算法效率的评估方法。时间复杂度、空间复杂度，包括推算 方法、常见类型、示例等。 ‧ 数据结构：常用的基本数据类型，数据在内存中的存储方式、数据结构分类方法。数组、链表、栈、队列、 散列表、树、堆、图等数据结 数据结构与算法两者紧密联系。数据结构是算法的底座，算法是发挥数据结构的舞台。 ‧ 乐高积木对应数据，积木形状和连接形式对应数据结构，拼装积木的流程步骤对应算法。 12 2. 复杂度分析 2.1. 算法效率评估 2.1.1. 算法评价维度 在开始学习算法之前，我们首先要想清楚算法的设计目标是什么，或者说，如何来评判算法的好与坏。整体上 看，我们设计算法时追求两个层面的目标。 1. 找到问题解法。算