向量数据库 LLM 编排 Copilot RAG典型挑战和解决方案  挑战一：向量召回不准确  挑战四：幻觉、胡说八道  挑战五：定制化成本  挑战二：数据组织混乱丧失语义  挑战三：多样化查询需求  数据加工  数据库  文档结构识别  文字加工  多路召回  融合排序 RAG引擎工作流程 文档格式转换 LLM Answer 大模型答案 文档格式解析 跨模态文档预训练模型 弹性模版 抽取引擎 跨模态文档 抽取系统 文档 表格 抽取 系统 规则 引擎 模型 系统 文档内容抽取 文档格式解析 Prompt Template 提示模板 Recall 多路召回 Query 问题 Embedding 向量化 KnowledgeBase 知识库 ANN Parser Vector Index Full Text Index Cross Attentional 基于视觉的文档理解和切分 Documents 基于视觉的文档理解和切分 页眉和页脚 段落划分 文字换行 表格处理 基于视觉的文档理解和切分 文字块 文字拼接 图表对话实例 多路召回 关键词检索 + 向量 BM25 变种 + KNN  行业词典  RRF（Reciprocal Rank Fusion）  Field length normalize  Cross

次 KDD Cup&Kaggle 冠军的经验分享：从多领域优化到 AutoML 框架 37 图神经网络训练框架的实践和探索 66 图技术在美团外卖下的场景化应用及探索 83 大规模异构图召回在美团到店推荐广告的应用 102 美团搜索粗排优化的探索与实践 116 美团外卖推荐情境化智能流量分发的实践与探索 129 大众点评搜索相关性技术探索与实践 152 美团 SemEval2022 conv1 分支的输入量化 scale 为 0.105，这两个节点输入尺度是不同 的，导致 neck.reduce_layer1.conv 无法直接输出为 INT8。 可以看出，对于同一个输出，输入到多路分支后为何 scale 不同的，原因是右边 的分支经过了 concat 操作，会导致输出的数据分布发生变化，再进行激活校准 （Activation Calibration）时，会得到的不同的最佳截断值 7 所示）， 由于 TensorRT 的 8 bit 的量化范围是 [-127，127]，所以只需要将多路分支的 Activation Amax 设为同一个值，一般取多路分支中的最大值。 算法 < 31 表 7 需要融合 Scale 的节点列表 3.1.4 性能测试 经过以上的多路分支的 scale 融合后，我们再次利用 trtexec 和 pltEngine 工具，画 出了 QAT

要求:  准确: 低噪声  全面: 同分布 模型选型:  容量大  计算量小 训练推理:  高qps, 低rt  支持超大模型  性价比 流程长、环节多:  推荐场景: 召回 + 粗排 + 精排 + 多样性/冷启动  实人认证: 卡证识别 + 人脸检测 + 活体检测 + 人脸 识别 … 模型构建: 问题: ✗ 方案复杂周期长/见效慢 ✗ 细节多难免踩坑 PAI-Rec – 推荐引擎 BE召回/Hologres hot x2i vec 排序 粗排 精排 重排 MaxCompute Datahub 离线特征 样本构造 实时特征 Flink 训练数据 推荐日志 模型发布 在线流程 离线流程 智能推荐解决方案 > PAI-REC 推荐引擎 PAI-REC 推荐引擎 多路召回 曝光/状态过滤 粗排/精排 策略[类目打散、流量控制、…]

比赛冠军技术方案及在美团的实践 113 ICRA 2020 轨迹预测竞赛冠军的方法总结 132 KDD Cup 2020 AutoGraph 比赛冠军技术方案及在美团的实践 141 KDD Cup 2020 多模态召回比赛亚军方案与搜索业务应用 161 CIKM 2020 | 一文详解美团 6 篇精选论文 179 MT-BERT 在文本检索任务中的实践 192 美团无人车引擎在仿真中的实践 204 CenterMask 解读 215 WSDM Cup 2020 检索排序评测任务第一名经验总结 225 美团内部讲座｜清华大学莫一林：信息物理系统中的安全控制算法 235 KDD Cup 2020 多模态召回比赛季军方案与搜索业务应用 252 对话任务中的“语言 - 视觉”信息融合研究 267 ICDM 论文：探索跨会话信息感知的推荐模型 278 自然场景人脸检测技术实践 289 技术解析 Operator：通用特征处理逻辑，根据功能的不同又可以分为两类： ● IO OP：用处理原始特征的获取，如从 KV 里获取数据，或者从对应的第三方 服务中获取数据。内置批量接口，可以实现批量召回，减少 RPC。 ● Calc OP：用于处理对获取到的原始特征做与模型无关的逻辑处理，如拆分、 判空、组合。业务可以结合需求实现特征处理逻辑。 通过 IO、计算分离，特征抽取执行阶段就可以进行

搭建起支持千亿 级别规模的深度学习系统，与推荐、搜索、广告业务深度合作，在算法上提供从召回到 排序的全系统优化方案，在工程上提供离线、近线、在线的全流程解决方案。 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 美团超大规模模型应用场景 美团推荐 美团搜索 美团广告 美团应用场景简介 • 场景特点 亿级的用户，千万级的O2O商品 海量的用户行为，完整的交易闭环 LBS相关的推荐 • 模型特点 百亿级别的训练数据 千亿级别的模型特征 秒级实时的模型反馈 目录 • 美团超大规模模型场景简介 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  MLX平台架构 • 模型场景应用  召回模型  排序模型 超大规模模型的有效性 • VC维理论  描述模型的学习能力：VC维越大模型越复杂，学习能力越强  机器学习能力 = 数据 + 特征 + 模型 • 数据  海量数据： 美团的亿级用户、千万级POI • 特征  大规模离散特征 > 小规模泛化特征

•参与数据平台搭建 •负责全平台数据仓库和数据产品建设 •2011年 百度电子商务事业部 •有啊商城的开发 •2010年毕业于中科院计算所 Outline •美团点评酒旅业务简介 •基于用户画像的召回策略演进 •基于L2R的排序策略优化 •从海量大数据的离线计算到高并发在线服务的推荐引擎架构设计 •推荐在美团点评酒旅的应用实践 人工智能应用 Critical Physical World ，不适合按POI样式展现 季节性明显 冬季温泉订单占比超过20%, 而夏季不到7% 需求个性化 用户人群 时间地域场景 内容形态 基于用户画像的召回策略演进 热销策略 基于Deal所在城市统计分城市热销 分类 场景 召回策略 本地需求 常驻城市=浏览城市 (北京人浏览北京) 当地用户购买的热销POI 异地需求 常驻城市!=浏览城市 (重庆人浏览北京) 异地用户购买的热销POI •模糊匹配：基于标签计算用户和POI相似度 古北水镇 白领 User 情侣 有车 九华山庄 南山滑雪场 标签在用户维度的分布 标签在POI维度的分布 用户标签偏好*标签权重*POI标签偏好*POI销量 召回策略演进过程 基于L2R的排序策略优化 机器学习流程 问题建模 推荐 推荐 访消率 •访购率为目标 •只看点击率没有反映出交易属性 •看最终收入 •消费受购买限制、退款条件等影响

规模计算引擎的开发和性能优化经验。 LruCache在美团DSP系统中的应用演进 - 美团技术团队 霜霜，2015年6月加入美团，任职美团高级工程师，美团DSP系统后端基础架构与机器学习架构负责人，全面负责 DSP业务广告召回和排序服务的架构设计与优化。 招聘 招聘 美团在线营销DSP团队诚招工程、算法、数据等各方向精英，发送简历至cuitao@meituan.com，共同支 持百亿级流量的高可靠系统研发与优化。 设计阶段可分解为以下子需求。 实时索引 实时索引 广告场景的更新流，涉及索引字段和各类属性的实时更新。特别是与上下线状态相关的属性字段，需要在 若干毫秒内完成更新，对实时性有较高要求。 用于召回条件的索引字段，其更新可以滞后一些，如在几秒钟之内完成更新。采用分而治之的策略，可极 大降低系统复杂度。 属性字段的更新：直接修改正排表的字段值，可以保证毫秒级完成。 索引字段的更新：涉及更新 详细的过滤语法如下： 美团广告实时索引的设计与实现 - 美团技术团队 过滤语法格式 此外，由index_filter参数定义的索引过滤将直接操作倒排链。由于构造检索数据结构比正排过滤更复 杂，此参数仅适用于召回的docList特别长但通过索引过滤的docList很短的场景。 结果集 结果集 结果集ResultSet的实现，参考了java.sql.ResultSet接口。通过cursor遍历结果集，采用inline函数频繁调

模型验证 离线训练 实时训练 模型训练 模型部署 在线服务 离线验证 在线发布 在线验证 在线一致性/ 模型稳定性/… 一键打包 端口探测 蓝绿部署/灰度发布 AUC/准确率/ 召回率/… 流量切换 版本更新 全量发布 … verson1 verson2 … kubenetes/olsubmit 模型库 3 在线机器学习-模型服务部署 • 模型评估 • 模型上线部署前指标评估 深度学习 物料粗排 特征向量化 基于Item2vec的 博主召回和微博 召回 物料精排 向量索引 DSSM/FM/FF M生成博主与物 料向量，采用 向量进行召回 特征向量化：Item2vec 向量索引：FM/FFM/ DSSM 模型召回：DIN/DIEN/TDM 模型召回 融入用户近期互动行 为的深度模型召回 单目标：LR->W&D->FM->DeepFM 多目标：点击FM+互动FM dding向量，提高了语义编码的准确性，降低了训练成本 • 指标提升主要来源于Embedding特征保留了更多原始信息，避免了标签带来的信息损失 • User/Item Embedding 协同召回 • Item2vec相比于传统协同过滤MF等，稀疏样本下表现极好 • 同时该特征可用于排序部分特征输入 • 深度模型效果对比 • DeepFM相比于FM模型，相关指标提升4+% • Wi

- 太 bug 了，限制使用 方案探索——聚类统计 模仿大多数玩家的选择 - 实现方法： - 为玩家生成 [0, 1] 特征向量 - 聚类统计，存入 Faiss - 实时 Faiss 匹配召回 - 问题： - 特征过多（600多维），无法分析 - 聚类结果趋同 方案探索——关键帧 / 路径推荐 模仿某一个玩家的选择 - 专利：《一种在实时游戏对局中，模仿历史胜利玩家打法，并对当前玩家进行打法推荐的方案》 - 运营可闭环策略设计，开发无需介入 方案详述——完整架构 先对整个架构有一个大概的认识 - 消息队列消费：解耦 MQ - Token 清洗：事件翻译和 token 计算 - 推荐系统：策略召回和推荐 - 数据分析：离线策略挖掘和模型训练 - 管理平台：开发、运营、运维辅助 实现方案——Token 清洗 Token 清洗服务完整流程 - 挑战：150+类 token，如何高内聚，降低 合并 show_common、 router、rerank、rank、recall - 合并后：7000（30% ↓ ，相较合并前 62% ↓ ） 计算方法上，召回占据大头 召回效率优化——算法优化 这完全可以出一道算法题 召回效率优化——算法优化 - 分析维度： - 复杂度对比（红色表示显著影响复杂度的维度）： - 结论 - 时间复杂度：前缀树 < 有向无环图 < 倒排索引 < 遍历

�推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排 模型 管理 上线 管理 ⽆量 RGW/Cos/ kafka 样本 存储 实时样本 ⽣成服务 离线样本 ⽣成任务 数据 通道 特征 处理 模型 登记 模型 全量模型，TB级，低峰期（Cos存储） 增量模型，GB级，20分钟（Cos存储） 实时模型，KB级，秒（Kafka） 分布式 Serving集群 推理节点 分布式 Serving集群 推理节点 召回索引服务 业务服务 1. 获取⽤户向量 2. 向量召回 异步 刷库 训练端⽣成⾼频参数集 独⽴通道上线 降低请求⽑刺 Feature 2.1: 短时间内只 有部分参数被⽤到 Feature 2.2 Hotkey变化慢