深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 微博Feed流产品介绍—排序场景 Ø 信息获取方式 • 主动获取（关注） Ø 内容形式 • 博文/文章/图片/视频/问答/话题/… • 被动获取（推荐） Ø 微博—社交媒体领跑者 • DAU：1.72亿，MAU：3.92亿 • 关注流基于关系链接用户与内容 微博Feed流特点介绍—排序原因 Ø 产品特点 • • 互动性好 • 信噪比低 Ø 排序目标 • 提高用户的信息消费效率 • 提升用户黏性 技术挑战 Ø 规模大 • 用户和Feed内容数量大 Ø 指标量化 • 用户体验 • 内容更新快，实时性要求高 • 内容形式多样、非结构化 • 海量计算、超大规模模型优化 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 CTR概要介绍 数据 CTR一般流程 业务目标与模型选择 Ø 模型优化目标 • 互动（转发/评论/赞） 点击（图片/视频/文章/链接等） 阅读时长 Ø 模型选择 • 线性模型LR+特征工程 • 多目标预估 • 排序基于pointwise的 learning to rank 互动模型 点击模型 阅读模型 Score = ?)*+,-./+ ∗ ???? + ?/6)/7 ∗ ???? + ?-,.8 ∗

在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE模型的热更新，实时训练与离线训练周期模型融合 • 模型结构训练与推理兼容：在线PS与离线PS模型结构兼容，自动模型参数转换 • 稳定性优化 • 模型快照：基于ps-scheduler的周期模型版本探测与保存，模型稀疏化分片存储 • 冷备容灾：基于checkpoint机制(Local模式&Remote模式)，实现参数服务的高可用，支持基于模型的异构集群迁移，支持集 w进行矩阵压缩存储，参数内存占用减少90% 3 在线机器学习-参数服务器 模型验证 离线训练 实时训练 模型训练 模型部署 在线服务 离线验证 在线发布 在线验证 在线一致性/ 模型稳定性/… 一键打包 端口探测 蓝绿部署/灰度发布 AUC/准确率/ 召回率/… 流量切换 版本更新 全量发布 … verson1 verson2 … kubenetes/olsubmit 单目标：LR->W&D->FM->DeepFM 多目标：点击FM+互动FM 排序损失：DeepFM+Pair-Wise Rank Loss 多目标 融合点击模型和 互动模型 单目标 LR、W&D、 FM和DeepFM 等模型排序 排序损失 针对信息流业务场景，从 点击损失升级到排序损 失，基础模型为 DeepFM，排序损失为 BPR 召 回 排 序 • 深度学习模型训练：WeiLearn

01 搜索广告背景知识 02 深度学习在搜狗搜索广告的一些应用 03 基于多模型融合的CTR预估 04 若干思考 搜索广告背景知识 信息需求 用户查询 查询理解 广告召回 点击率预估 排序计价 结果展示 点击及后续行为 广告库 日志收集 展示日志 点击日志 深度学习在搜狗搜索广告的一些应用 无需分词：基于字符粒度表达的问答系统设计 L.X Meng, Y.Li, M.Y 广告物料推荐 深度学习在搜狗搜索广告的一些应用 方向 用途 相关技术 图像理解 图片物料推荐 CNN 文本相关性 广告召回、创意生成 Word2Vec、CSR、LSTM CTR预估 广告排序、特征挖掘 DNN、MxNet、TensorFlow 基于多模型融合的CTR预估 CTR预估流程 原始数据 领域特征 模型训练 查询日志 点击日志 查询特征 广告特征 匹配特征 线性模型 特征量巨大；模型复杂度 受限 连续特征 连续特征 需要仔细设计；定长；特 征稠密 特征量相对较小，可以 使用多种模型训练 模型类别 模型类别 线性  简单、处理特征 量大、稳定性好  需借助交叉特征  Logistic Regression 非线性  能够学习特征间 非线性关系  模型复杂、计算 耗时  DNN、GBDT 模型融合 • 将多个模型的输出CTR加权平均

接相关的关系。 API and release versioning proposa（API和版本发布 提案）l 描述了API版本控制和软件版本控制之间的关系。 不同的API版本意味着不同程度的稳定性和⽀持。API Changes documentation 详细描述了每个级别的标准。概括如 下： Alpha级别: 版本名称包含 alpha （例如 v1alpha1 ） 05-Kubernetes beta （例如 v2beta3 ） 代码经过了良好的测试。启⽤该功能被认为是安全的。 默认启⽤ 整体功能不会被删除，尽管细节可能会改变 对象的schema/语义可能会在后续的beta版/稳定版本中以不兼容的⽅式发⽣变化。发⽣这种情况时，我们将提 供迁移到下⼀个版本的说明。 这可能需要删除、编辑和重新创建API对象。编辑进程可能需要⼀些思考。依赖 该功能的应⽤程序可能需要停机。 推 独⽴升级的集群，则 可放宽此限制。 请尝试我们的beta功能并给他们反馈！⼀旦他们退出beta状态，我们就不会做更多的改变。 Stable等级： 版本名称为 vX ，其中 X 为整数。 稳定版本的功能将会出现在许多后续版本中。 API组 为了使Kubernetes API扩展更容易，我们实现了 API groups 。 API组可在序列化对象的 apiVersion 字段中使⽤⼀个

• 选房成本高 • 选房带有主观性 • 无法盘点所有房源质量 存在问题 人工选房流程 2019 KE.COM ALL COPYRIGHTS RESERVED 9 AI选房本质上是TopN排序问题 2019 KE.COM ALL COPYRIGHTS RESERVED 10 AI选房 - 房源质量打分   好房定义 AI选房建模 Y = f (X)  Y：未来？天能否成交 2019 KE.COM ALL COPYRIGHTS RESERVED 37 分数映射  模型输出  房源质量分数 • 根据概率值排名进行映射 • 分数分布比较稳定 • 10分制易于业务使用 • 每天不稳定，范围波动大 • 分数分布不合理 • 不易于业务使用 MinMaxScaler ( 1 ???????????????????????????????????? )  COPYRIGHTS RESERVED 40 了解分 • 分数解释：打分是怎么计算的 • 如何操作可以提升打分？ 优质房（A） 次优房（B） 一般房（C） 经纪人的疑问 质量分数 • 具有排序意义 • 很难引导经纪人 2019 KE.COM ALL COPYRIGHTS RESERVED 41 雷达图 雷达图 • 明示数据的核心打分维度 • 每个维度展示特征的优缺点 • 引导经纪人，提高分数

试删除它前，检查机器是否已被删除。因此，重复的日志和事件会减少。(BZ#1844986) 在以前的版本中，当集群 Operator 处于稳定状态时，Machine API Operator 会更新集群 Operator 机器 API。因此，资源在状态间快速循环。现在，只有在推出更改后，资源的状态才会 改变。状态保持稳定。(BZ#1855839) OpenShift Container Platform 4.6 发 发行注 行注记 视角会创建多个资源，这些资源相互依赖，且必须按特定顺 序完成。在以前的版本中，准入插件有时无法检查其中一个资源，阻止 Developer 视角生成示例 应用程序。这个问题已被解决。代码会按所需顺序创建资源，因此创建示例应用程序更为稳定。 （BZ#1933666） 在以前的版本中，用户无法从 Developer 视角将 Knative 服务创建为私有服务。这个问题现已解 决，更新了标签 'networking.knative.dev/visibility': project 切换项目。(BZ#1849983) 在以前的版本中，当对一个带有空的 lastTimestamp 的事件进行排序时，根据 lastTimestamp 对事件进行排序可能会导致错误。现在，在存在空项时进行排序也可以正常运行，使用 lastTimestamp 排序可以正常工作。(BZ#1880283) 在以前的版本中，oc create job 命令缺少处理 --save-config

4.7.4 训练神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 4.8 数值稳定性和模型初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 4.8.1 梯度消失和梯度爆炸 25 办比赛14来完成这项工作。 搜索 有时，我们不仅仅希望输出一个类别或一个实值。在信息检索领域，我们希望对一组项目进行排序。以网络 搜索为例，目标不是简单的“查询（query）‐网页（page）”分类，而是在海量搜索结果中找到用户最需要的 那部分。搜索结果的排序也十分重要，学习算法需要输出有序的元素子集。换句话说，如果要求我们输出字 母表中的前5个字母，返回“A、B、C、D、E”和“ PageRank15，谷歌搜索引擎背后最初的秘密武器就是这种评分系统的早期例子，但它的奇特之处在于它不依 赖于实际的查询。在这里，他们依靠一个简单的相关性过滤来识别一组相关条目，然后根据PageRank对包含 查询条件的结果进行排序。如今，搜索引擎使用机器学习和用户行为模型来获取网页相关性得分，很多学术 会议也致力于这一主题。 推荐系统 另一类与搜索和排名相关的问题是推荐系统（recommender system），它的目标是向特定用户进行“个性化”

Operator 信息并点 Install。 4. 在 Install Operator 页面中： a. 选择 stable 频道作为 更新 更新频 频道 道。stable 频道允许安装 WMCO 的最新稳定版本。 b. 安装模式 安装模式 被预先配置，因为 WMCO 只能在单一命名空间中可用。 c. 为 WMCO 选择 Installed Namespace。默认 Operator 建议命名空间为 Platform 实现中，它通过扩展机器集 API 来与 Machine API 集成。您可以为核心、节点、内存和 GPU 等资源设置集群范围的扩展限制。您可以 设置优先级，使集群对 Pod 进行优先级排序，以便不针对不太重要的 Pod 使新节点上线。您还可以设 置扩展策略，以便可以扩展节点，但不会缩减节点。 机器健康 机器健康检查 检查 MachineHealthCheck 资源可检测机器何时处 Platform 实现中，它通过扩展机器集 API 来与 Machine API 集成。您可以为核心、节点、内存和 GPU 等资源设置集群范围的扩展限制。您可以 设置优先级，使集群对 Pod 进行优先级排序，以便不针对不太重要的 Pod 使新节点上线。您还可以设 置扩展策略，以便可以扩展节点，但不会缩减节点。 机器健康 机器健康检查 检查 MachineHealthCheck 资源可检测机器何时处

threshold-pct:副本数达到最小要求的 block 占系统总 block 数的 百分比，默认 0.999f。（只允许丢一个块） dfs.namenode.safemode.extension:稳定时间，默认值 30000 毫秒，即 30 秒 4）基本语法 集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模 式。 （1）bin/hdfs dfsadmin MapReduce优化（上） Map1方法 分区1 分区2 写入数据 第一次溢出 排序 第二次溢出 Combiner Combiner 归并排序 归并排序 合并 Combiner为可选流程 压缩 写磁盘 分区1 分区2 分区1 排序 分区2 排序 排序 分区1 排序 分区2 排序 分区1 合并 分区2 合并 分区1 合并 分区2 合并 分区1 归并 分区2 MapReduce优化（下） 分区1 输出 分区2 输出 分区1 输出 分区2 输出 分区1 输出 分区1 输出 内存缓冲 磁盘 数据 内存不够溢出到磁盘 归并 排序 分组 Reduce方法 对每个map来的 数据归并排序 按照相同key分组 Map2方法 输出数据 Map1方法 输出数据 Reduce1处理流程 拷贝 拷贝 4）mapreduce.reduce.memory.mb

更新 更新频 频道 道。stable 频道允许安装 WMCO 的最新稳定版本。 OpenShift Container Platform 4.6 OpenShift 的 的 Windows 容器支持 容器支持 12 1 a. 选择 stable 频道作为 更新 更新频 频道 道。stable 频道允许安装 WMCO 的最新稳定版本。 b. 安装模式 安装模式 被预先配置，因为 WMCO 只能在单一命名空间中可用。 Platform 实现中，它通过扩展机器集 API 来与 Machine API 集成。您可以为核心、节点、内存和 GPU 等资源设置集群范围的扩展限制。您可以 设置优先级，使集群对 Pod 进行优先级排序，以便不针对不太重要的 Pod 使新节点上线。您还可以设 置扩展策略，以便可以扩展节点，但不会缩减节点。 机器健康 机器健康检查 检查 MachineHealthCheck 资源可检测机器何时处 Platform 实现中，它通过扩展机器集 API 来与 Machine API 集成。您可以为核心、节点、内存和 GPU 等资源设置集群范围的扩展限制。您可以 设置优先级，使集群对 Pod 进行优先级排序，以便不针对不太重要的 Pod 使新节点上线。您还可以设 置扩展策略，以便可以扩展节点，但不会缩减节点。 机器健康 机器健康检查 检查 MachineHealthCheck 资源可检测机器何时处