2022年美团技术年货 合辑次 KDD Cup&Kaggle 冠军的经验分享:从多领域优化到 AutoML 框架 37 图神经网络训练框架的实践和探索 66 图技术在美团外卖下的场景化应用及探索 83 大规模异构图召回在美团到店推荐广告的应用 102 美团搜索粗排优化的探索与实践 116 美团外卖推荐情境化智能流量分发的实践与探索 129 大众点评搜索相关性技术探索与实践 152 美团 SemEval2022 conv1 分支的输入量化 scale 为 0.105,这两个节点输入尺度是不同 的,导致 neck.reduce_layer1.conv 无法直接输出为 INT8。 可以看出,对于同一个输出,输入到多路分支后为何 scale 不同的,原因是右边 的分支经过了 concat 操作,会导致输出的数据分布发生变化,再进行激活校准 (Activation Calibration)时,会得到的不同的最佳截断值 7 所示), 由于 TensorRT 的 8 bit 的量化范围是 [-127,127],所以只需要将多路分支的 Activation Amax 设为同一个值,一般取多路分支中的最大值。 算法 < 31 表 7 需要融合 Scale 的节点列表 3.1.4 性能测试 经过以上的多路分支的 scale 融合后,我们再次利用 trtexec 和 pltEngine 工具,画 出了 QAT0 码力 | 1356 页 | 45.90 MB | 1 年前3
2020美团技术年货 算法篇比赛冠军技术方案及在美团的实践 113 ICRA 2020 轨迹预测竞赛冠军的方法总结 132 KDD Cup 2020 AutoGraph 比赛冠军技术方案及在美团的实践 141 KDD Cup 2020 多模态召回比赛亚军方案与搜索业务应用 161 CIKM 2020 | 一文详解美团 6 篇精选论文 179 MT-BERT 在文本检索任务中的实践 192 美团无人车引擎在仿真中的实践 204 CenterMask 解读 215 WSDM Cup 2020 检索排序评测任务第一名经验总结 225 美团内部讲座|清华大学莫一林:信息物理系统中的安全控制算法 235 KDD Cup 2020 多模态召回比赛季军方案与搜索业务应用 252 对话任务中的“语言 - 视觉”信息融合研究 267 ICDM 论文:探索跨会话信息感知的推荐模型 278 自然场景人脸检测技术实践 289 技术解析 Operator:通用特征处理逻辑,根据功能的不同又可以分为两类: ● IO OP:用处理原始特征的获取,如从 KV 里获取数据,或者从对应的第三方 服务中获取数据。内置批量接口,可以实现批量召回,减少 RPC。 ● Calc OP:用于处理对获取到的原始特征做与模型无关的逻辑处理,如拆分、 判空、组合。业务可以结合需求实现特征处理逻辑。 通过 IO、计算分离,特征抽取执行阶段就可以进行0 码力 | 317 页 | 16.57 MB | 1 年前3
美团点评旅游推荐系统的演进•参与数据平台搭建 •负责全平台数据仓库和数据产品建设 •2011年 百度电子商务事业部 •有啊商城的开发 •2010年毕业于中科院计算所 Outline •美团点评酒旅业务简介 •基于用户画像的召回策略演进 •基于L2R的排序策略优化 •从海量大数据的离线计算到高并发在线服务的推荐引擎架构设计 •推荐在美团点评酒旅的应用实践 人工智能应用 Critical Physical World ,不适合按POI样式展现 季节性明显 冬季温泉订单占比超过20%, 而夏季不到7% 需求个性化 用户人群 时间地域场景 内容形态 基于用户画像的召回策略演进 热销策略 基于Deal所在城市统计分城市热销 分类 场景 召回策略 本地需求 常驻城市=浏览城市 (北京人浏览北京) 当地用户购买的热销POI 异地需求 常驻城市!=浏览城市 (重庆人浏览北京) 异地用户购买的热销POI •模糊匹配:基于标签计算用户和POI相似度 古北水镇 白领 User 情侣 有车 九华山庄 南山滑雪场 标签在用户维度的分布 标签在POI维度的分布 用户标签偏好*标签权重*POI标签偏好*POI销量 召回策略演进过程 基于L2R的排序策略优化 机器学习流程 问题建模 推荐 推荐 访消率 •访购率为目标 •只看点击率没有反映出交易属性 •看最终收入 •消费受购买限制、退款条件等影响0 码力 | 49 页 | 5.97 MB | 1 年前3
美团点评2018技术年货规模计算引擎的开发和性能优化经验。 LruCache在美团DSP系统中的应用演进 - 美团技术团队 霜霜,2015年6月加入美团,任职美团高级工程师,美团DSP系统后端基础架构与机器学习架构负责人,全面负责 DSP业务广告召回和排序服务的架构设计与优化。 招聘 招聘 美团在线营销DSP团队诚招工程、算法、数据等各方向精英,发送简历至cuitao@meituan.com,共同支 持百亿级流量的高可靠系统研发与优化。 设计阶段可分解为以下子需求。 实时索引 实时索引 广告场景的更新流,涉及索引字段和各类属性的实时更新。特别是与上下线状态相关的属性字段,需要在 若干毫秒内完成更新,对实时性有较高要求。 用于召回条件的索引字段,其更新可以滞后一些,如在几秒钟之内完成更新。采用分而治之的策略,可极 大降低系统复杂度。 属性字段的更新:直接修改正排表的字段值,可以保证毫秒级完成。 索引字段的更新:涉及更新 详细的过滤语法如下: 美团广告实时索引的设计与实现 - 美团技术团队 过滤语法格式 此外,由index_filter参数定义的索引过滤将直接操作倒排链。由于构造检索数据结构比正排过滤更复 杂,此参数仅适用于召回的docList特别长但通过索引过滤的docList很短的场景。 结果集 结果集 结果集ResultSet的实现,参考了java.sql.ResultSet接口。通过cursor遍历结果集,采用inline函数频繁调0 码力 | 229 页 | 61.61 MB | 1 年前3
2.游戏战中陪伴助手微服务架构设计与应用- 太 bug 了,限制使用 方案探索——聚类统计 模仿大多数玩家的选择 - 实现方法: - 为玩家生成 [0, 1] 特征向量 - 聚类统计,存入 Faiss - 实时 Faiss 匹配召回 - 问题: - 特征过多(600多维),无法分析 - 聚类结果趋同 方案探索——关键帧 / 路径推荐 模仿某一个玩家的选择 - 专利:《一种在实时游戏对局中,模仿历史胜利玩家打法,并对当前玩家进行打法推荐的方案》 - 运营可闭环策略设计,开发无需介入 方案详述——完整架构 先对整个架构有一个大概的认识 - 消息队列消费:解耦 MQ - Token 清洗:事件翻译和 token 计算 - 推荐系统:策略召回和推荐 - 数据分析:离线策略挖掘和模型训练 - 管理平台:开发、运营、运维辅助 实现方案——Token 清洗 Token 清洗服务完整流程 - 挑战:150+类 token,如何高内聚,降低 合并 show_common、 router、rerank、rank、recall - 合并后:7000(30% ↓ ,相较合并前 62% ↓ ) 计算方法上,召回占据大头 召回效率优化——算法优化 这完全可以出一道算法题 召回效率优化——算法优化 - 分析维度: - 复杂度对比(红色表示显著影响复杂度的维度): - 结论 - 时间复杂度:前缀树 < 有向无环图 < 倒排索引 < 遍历0 码力 | 47 页 | 11.10 MB | 1 年前3
基于静态分析的Rust内存安全缺陷检测研究大纲 一、问题背景 二、Rust指针缺陷检测方法 三、实验结论 四、论文发表心得 实验效果 ❑ 基于已知CVE评 估检测能力 ❑ 基于GitHub上其 它开源Rust项目 的实验 高召回率 低误报率 double free和悬空指 针问题比较多 案例分析 Panic将导致双重释放 提前 性能:SafeDrop vs 原始Rust编译器 总结和思考 ❑ 问题根源是Rust的自动析构机制0 码力 | 28 页 | 1.55 MB | 1 年前3
Python的智能问答之路 张晓庆 learn:调用LR训练模型 各个击破-评估 • 评估数据 Ø 领域均衡:6个领域,每个领域50个知识点 Ø 评估数据对标训练数据:每个知识点12个相似问用于训练,3个相似问用于评估 • 评估指标 Ø 准确率/召回率/F1值 婴儿咳嗽怎么食疗 新生儿黄疸吃什么药 没有快递取货码怎么办 宝宝流鼻水咳嗽可以喝什么么 新生儿黄疸可以服用的药物 取货吗被我不小心删了怎么办 宝宝咳嗽吃什么食疗好阿 什么药能治疗黄疸0 码力 | 28 页 | 2.60 MB | 1 年前3
使用Go与redis构建有趣的应用(bitmap)、HyperLogLog、地理理坐标(GEO) • 内存存储和基于多路路复⽤用的事件响应系统,确保了了命令请求的执⾏行行速度和效率 特点 • 具有多种不不同的数据结构可⽤用,其中包括:字符串串、散列列、列列表、集合、有序集合、位图 (bitmap)、HyperLogLog、地理理坐标(GEO) • 内存存储和基于多路路复⽤用的事件响应系统,确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能:事务、Lua 混合) 特点 • 具有多种不不同的数据结构可⽤用,其中包括:字符串串、散列列、列列表、集合、有序集合、位图 (bitmap)、HyperLogLog、地理理坐标(GEO) • 内存存储和基于多路路复⽤用的事件响应系统,确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能:事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式(AOF、RDB、 RDB+AOF 混合) • 主多从,内建⾼高可⽤用) 特点 • 具有多种不不同的数据结构可⽤用,其中包括:字符串串、散列列、列列表、集合、有序集合、位图 (bitmap)、HyperLogLog、地理理坐标(GEO) • 内存存储和基于多路路复⽤用的事件响应系统,确保了了命令请求的执⾏行行速度和效率 • 丰富的附加功能:事务、Lua 脚本、键过期机制、键淘汰机制、多种持久化⽅方式(AOF、RDB、 RDB+AOF 混合) •0 码力 | 176 页 | 2.34 MB | 1 年前3
2.2.6 字节跳动在 Go 网络库上的实践Multisyscall 2. TCP ZeroCopy 4. io_uring 1. 单连接多路复用(ZeroCopy) 单连接多路复用 – 组包/拆包 Msg Msg Msg Msg Msg Msg Msg Msg Conn write read Buffer Buffer 单连接多路复用 – ZeroCopy LinkBuffer Conn writev readv LinkBuffer0 码力 | 42 页 | 3.19 MB | 1 年前3
2.4 Go 1.4 runtimeMicrosoft Windows 系统不⽀支持 madvise。 3. Goroutine Scheduler 并发调度器 goroutine. 轻量级实现,支持创建成千上万并发任务。 线程多路复用。 极小自定义初始栈。 任务在多个线程间切换。 scheduler. 三种抽象模型协作。 M G P thread CPU core VM task scheduler0 码力 | 29 页 | 608.57 KB | 1 年前3
共 60 条
- 1
- 2
- 3
- 4
- 5
- 6













