业务落地篇：实现货架洞察 Web 应用 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 串联 AI 流程理论：商品检测与商品识别 • 串联 AI 流程实战：商品检测与商品识别 • 展现 AI 效果理论：使用 OpenCV 可视化识别结果 • 展现 AI 效果实战：使用 OpenCV 可视化识别结果 • 搭建 AI SaaS 理论：Web 框架选型 • 搭建 AI

1.推荐篇 2.平台篇 3.总结篇 1 目录 • 推荐场景 • 推荐 • 在线机器学习 • 深度学习 • 平台背景 • 平台架构 • 平台效果 • 微博技术里程碑 • 微博业务生态 推荐篇 APPLICATION 推荐场景、在线机器学习和深度学习 11 1 推荐场景 • 信息流 热门流 视频流 关系流 • 推荐流 图片推荐流 正文推荐流 视频推荐流 1 推荐场景 verson1 verson2 … kubenetes/olsubmit 模型库 3 在线机器学习-模型服务部署 • 模型评估 • 模型上线部署前指标评估 • 周期使用验证样本进行点击率预估 • 待部署模型与线上模型进行指标对比，评估是否满足上线条件 • 一键部署 • 基于K8S的deployment模式，一键端口分配与模型服务部署 • 基于ZK的服务发现，一键进行流量灰度与发布 距缩小） • 数据规模越大，效果越好 • 月级数据规模相比周级数据模型，效果相差5+% • 在线和离线模型效果对比 • 在线FM相比于离线FM，相关指标提升5+% • 完全在线初始化模型参数 • 增量在线FM相比于离线FM，相关指标提升8+% • 增量在线FM：即依托于离线模型初始化在线FM模型参数 3 在线机器学习-效果 • 深度化 • 特征深度化：特征embedding •

腾讯优图实验室 谭国富 http://open.youtu.qq.com SACC2017 优图团队立足于社交网络大平台，借助社交业务积累 的海量人脸、图片、音乐等数据，专注在人脸、图像、 音乐、语音、机器学习等领域开展技术研究，并积极 推动研究成果在业务中落地产生价值。 关于优图实验室 人脸识别 图像识别 音频识别 SACC2017 目录 01 腾讯优图内容审核能力介绍 02 深度学习技术介绍 人力 减少人工 漏审 技术诉求：自动识别图片或视频中出现的文 字、二维码、logo等内容以及违规人像、淫 秽、血腥、暴力、极端主义、恐怖主义图像 等，方便平台进行违规处理和风险管控。 业务痛点：面对越来越爆发的安全风险，解决办法门 槛高， 成本高；迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括：图像分类、 识的概率，通过其概率最大的类型，判断其图片 性质属于属于暴恐还是正常。 Ø 高准确率： 在内部业务上测试，准确率97%，覆 盖80%以上的案例 Ø 腾讯云，承担每天数亿的图像审核， 已经 累计支持上百家客户。 Ø 微云，QQ群，支持视频识别的解决方案， 成熟灵活的产品方案，帮助业务扫除掉互 联网暴力、恐怖内容，有效的降低业务风 险。 l 暴恐识别技术 武装份子 管制刀具 枪支弹药 人群聚集 火灾

l 获得全球三十大最佳AI企业等荣誉，拥有国家级高新技术企业、CMMI3资质认 证、ISO9001质量管理体系认证、双软认证等最全面的企业服务资质。 权威认证的人工智能服务，可充分保障客户业务实践与业务安全 l 覆盖金融、制造、法律、电商、传媒等行业，提升企业文档自动化处理能力 为数百家中国知名客户提供完善的文本智能处理服务 01 文本智能处理背景简介 7 文本 语音 图像 人工智能 输入序列。。。 编码器 解码器 摘要序列。。。 摘要序列 Rouge指标优化 Reward 文本摘要候选集 生成 更新模型 反馈 增强学习优化 深度学习模型 评分 强化学习和深度学习相结合的学习方式 l 最优化词的联合概率分布：MLE（最大似然），有监督学习。在这里生成候选的摘要集。 l ROUGE指标评价：不可导，无法采用梯度下降的方式训练，考虑强化学习，鼓励reward高的模型，通过 的模型，通过 给与反馈来更新模型。最终训练得到表现最好的模型。 生成式摘要 Bi_LSTM Bi_LSTM Bi_LSTM RNN RNN Rouge指标优化 Reward 文本摘要候选集 生成 解码器内部注意力机制 编码器 解码器 深度学习摘要生成式模型 输入序列 输入序列 输入序列。。。 摘要序列。。。 摘要序列 更新模型 评分 返回 增强学习优化模块 最优摘要结果

房源特征 特征处理 M XGBoost 分数映射 房源特征 分数映射 DNN + RNN v1.0 v2.0 2019 KE.COM ALL COPYRIGHTS RESERVED 25 模型指标对比 v1.0 v2.0 AUC 0.814 0.831 Top1000去化率 30.72% +0.83% Top2000去化率 25.28% +1.2% Top3000去化率 22.13%  市场偏好  反映地段偏好  区域竞争力  结合体现竞争力的特征  反映某一距离范围内的竞争力 2019 KE.COM ALL COPYRIGHTS RESERVED 34  指标 • TopN去化率 • N=2.5 * 周成交量 效果评估  32个城市平均值 • TopN去化率：31.7% • 自然去化率：3.8% 去化率(一周平均值) 2019 KE.COM COPYRIGHTS RESERVED 37 分数映射  模型输出  房源质量分数 • 根据概率值排名进行映射 • 分数分布比较稳定 • 10分制易于业务使用 • 每天不稳定，范围波动大 • 分数分布不合理 • 不易于业务使用 MinMaxScaler ( 1 ???????????????????????????????????? )  分数映射公式 2019 KE.COM

等餐时间、空驶距离、空闲骑士、 商圈压力 距离的节省： 订单组与骑士打分： 根据商圈压力调整： 3 分配方案 12 Greedy + 多轮KM算法分配方案 • Greedy分配解决特殊业务需求相关 • KM算法找到其余全局最优的分配方案 订单 骑士 订单 骑士 4 KM求解骑士和订单全局最优的分配 • 调度系统先对骑士和订单组（根据骑士的位置、身上的单量 等）进行打 大数据分析监控 二. 智能调度系统中 的人工智能 三. 调度系统 智能调度系统的分析监控 17 • 真实再现调度场景细节 • 回溯定位异常调度原因，诊断调试算法 • 实时获取调度监控指标 • 及时预警引入人工干预 • 精准模拟实际订单分布情况 • 有效评估调度算法的改进效果 • 合理划分物流范围 • 节省调度运力，提升商户配送能力 • 云端虚拟队列，实现调度指派 • 提升物流效率 1 2 3 4 5 时光机系统—历史数据可视化分析 真实再现调度场景细节 回溯定位异常调度原因，诊断调试算法 18 1 实时监控系统—当前状况实时监控 19 实时获取调度监控指标 及时预警引入人工干预 2 仿真系统—未来效果仿真预测 订单 在岗骑 士数量 调度 算法 餐厅出餐 时间 骑士 速度 等待用 户时长 骑士路线/ 任务规划 精准模拟实际订单分布情况

2011年硕士毕业于南京大学计算机科学与技术系。毕业后曾在百度凤巢从事机器学习 工程相关的工作，加入美团后，负责超大规模机器学习系统，从无到有搭建起支持千亿 级别规模的深度学习系统，与推荐、搜索、广告业务深度合作，在算法上提供从召回到 排序的全系统优化方案，在工程上提供离线、近线、在线的全流程解决方案。 目录 • 美团超大规模模型场景简介 • 超大规模机器学习MLX  MLX平台目标  Entropy、etc • 评估指标  AUC、Loss、MAE、RMSE  支持外部eval工具，计算MAP、NDCG MLX的模型能力 • 提供离线、近线、在线全流程解决方案，各阶段提供扩展方案，降低算法迭代成本； • 支持Online Learning，提供从近线到在线的模型数据通路； • 提供从召回到排序全流程的模型解决方案，为业务提供最佳实践； • 提供系统的平台化工具，为用户提供易用的界面操作； 外存解决大数据量性能问题  在引擎中流转log key，特征数据在外存 • 分业务场景支持  轻量级predictor：仅支持模型的计算，特征由业务传入，无状态设计  自定义predictor： 提供业务抽象，支持业务自定义逻辑，插件化实现 • 逻辑阶段抽象，业务根据自身需求选择性实现  数据获取： 根据业务的自身逻辑获取特征原始数据  特征抽取： 将特征数据进行转换，转换成模型所需的格式，比如离散化

传播性强 Ø 存在问题 • 信息过载 • 互动性好 • 信噪比低 Ø 排序目标 • 提高用户的信息消费效率 • 提升用户黏性 技术挑战 Ø 规模大 • 用户和Feed内容数量大 Ø 指标量化 • 用户体验 • 内容更新快，实时性要求高 • 内容形式多样、非结构化 • 海量计算、超大规模模型优化 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 数据 特征 目标 模型 效果 Ø CTR任务特点 Ø CTR预估常用算法 • LR • GBDT • FM • 大量离散特征、高维稀疏 • 特征关联性挖掘 CTR一般流程 业务目标与模型选择 Ø 模型优化目标 • 互动（转发/评论/赞） 点击（图片/视频/文章/链接等） 阅读时长 Ø 模型选择 • 线性模型LR+特征工程 • 多目标预估 • 排序基于pointwise的 微博内容 关注数据 用户信息 视觉标签 打码日志 社交关系 用户特征 发博流 互动流 曝光流 模型服务 模型训练 模型优化 模型评估 模型预测 CTR预估 排序策略 权值映射 业务排序 其他策略 特征工程 特征存储 特征查询 实时数据 自解释特征 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 为什么选择深度学习 Ø

特征构建 • 基于单价和销售量计算销售额. • 基于原价和售价计算利润. • 基于不同月份的销售额计算环比或同比销售额增长/下降率. • …… 转换特征构造 此外，由于业务的需求，一些指标特征也需要基于业务理解 进行特征构造。 16 3. 特征提取 01 相关概念 02 特征构建 03 特征提取 04 特征选择 17 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J]

2008 年到 2017 年 NVIDIA GPU 和 x86 CPU 的每秒 10 亿次的浮点运算数 (GFLOPS)的指标变换曲线。可以看到，x86 CPU 的曲线变化相对缓慢，而 NVIDIA GPU 的浮点计算能力指数式增长，这主要是由日益增长的游戏计算量和深度学习计算量等业务 驱动的。 预览版202112 1.3 深度学习特点 9 图 1.12 NVIDIA GPU 系统的便捷功 能。常用网络层主要放置在 nn 子模块中，优化器主要放置在 optim 子模块中，模型部署主 要通过 ONNX 协议实现。使用 PyTorch 开发，可以方便地利用这些功能完成常用算法业务 流程，高效稳定灵活。 1.6 开发环境安装 在领略完深度学习框架所带来的便利后，现在来着手在本地计算机环境上安装 PyTorch 最新版。PyTorch 框架支持多种常见的操作系统，如 对于分类问题来说，任务的目标是最大化某个性能指标，比如准确率???，但是把准确 率当作损失函数去优化时，会发现 ???? ?? 其实是不可导的，无法利用梯度下降算法优化网络 参数?。一般的做法是，设立一个平滑可导的代理目标函数(Proxy Objective)，比如优化模 型的输出 与 One-hot 编码后的真实标签?之间的距离(Distance)，通过优化代理目标函数得 到的模型，往往在其它指标上也能有良好的表现。因此，相对回归问题而言，分类问题的