时间太短：信息传递不充分  时间太长： - 中间出现其他原因导致成交 - 无法及时反馈效果  综合考虑，并对比测试：选择2周 Y = f (X)  时间太短：行为信息不足  时间太长：浪费机器资源  对比测试：选择2周  Y：未来？天能否成交  X：最近？天房源产生的所有行为  样本：挂牌满？天的房源 2019 KE.COM ALL COPYRIGHTS RESERVED 13 AI选房建模  Y：未来？天能否成交  X：最近？天房源产生的所有行为  样本：挂牌满？天的房源 Y = f (X)  行为特征选择14天进行聚合  挂牌不足14天房源，行为特征信息不足  结论：选择挂牌满14天的房源 2019 KE.COM ALL COPYRIGHTS RESERVED 14 模型演变历程 2019 KE.COM ALL COPYRIGHTS

能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 在我们开始写这本书的时候，没有资源能够同时满足一些条件：（1）是最新的；（2）涵盖了现代机器学习的 所有领域，技术深度丰富；（3）在一本引人入胜的教科书中，人们可以在实践教程中找到干净的可运行代码， 并从中穿插高质量的阐述。我们 什么做出某些算法决策的讨论。虽然一些互动资源已经零星地出现以解决特定主题。例如，在网站Distill1上 发布的引人入胜的博客帖子或个人博客，但它们仅覆盖深度学习中的选定主题，并且通常缺乏相关代码。另 一方面，虽然已经出现了几本教科书，其中最著名的是 (Goodfellow et al., 2016)（中文名《深度学习》），它 对深度学习背后的概念进行了全面的调查，但这些资源并没有将这些概念的描述与这些概念的代码实现结合 概念的代码实现结合 起来。有时会让读者对如何实现它们一无所知。此外，太多的资源隐藏在商业课程提供商的付费壁垒后面。 我们着手创建的资源可以：（1）每个人都可以免费获得；（2）提供足够的技术深度，为真正成为一名应用机 器学习科学家提供起步；（3）包括可运行的代码，向读者展示如何解决实践中的问题；（4）允许我们和社区 的快速更新;（5）由一个论坛2作为补充，用于技术细节的互动讨论和回答问题。

4000亿QQ空间存量图片，每天空间相册新增6亿 张上传图片 SACC2017 内容审核 - 痛点和诉求 默默承受 自建识别模型 加大审核人力 一旦出现严重违规平 台面临停业整顿风险 昂贵的专业机器、AI专家, 样本不足导致识别模型漏 过模型调优难度大 人力审核疲劳容易发 生漏过，人力招聘、 管理需要耗费不小成 本 识别种类 完备 节约成本 节省审核 人力 减少人工 漏审 技术诉求：自动识别图片或视频中出现的文 App 2 PS Job 1 App 2 App 3 SSH Job 1 Train Job 1 Val Job 2 WK Job 2 WK Job 3 监控/启停 任务调度/资源管理 监控上报 cephfs存储集 群 本地文件系统 数据 模型/日志 client 管理数据 提取模型、 查看日志 提交/管理任务 用户 docker.oa.co m 自动拉取镜像 监控任务运行状况，当任务发生异常时，选 择不同的重启策略 • 集群管理与监控 • 节点心跳异常告警 • 运维工具化，快速屏蔽/启动异常机器 • 灵活的资源分配 • 支持以 GPU 或节点为粒度进行资源分配 • 用户配置任务所需最小资源 • 自动扩缩容，最大化资源使用率 • 支持不同计算框架 • 调度与任务松耦合，用户可以灵活定义任务 • 支持配置 docker 镜像，完全自定义运行环 境 •

Abacus、XPS， etc. • Online Learning的价值  用户的近期行为，更能表现意图和偏好  增强新item的模型感知能力 • 更快数据反馈、更少资源消耗  分钟级的数据反馈  增量训练、避免batch重训带来的资源消耗 关于Online Learning MLX的模型能力 • 支持千亿级特征、千亿级样本 • 支持计算图模式，模型结构灵活多样  支持推荐、搜索、广告场景常用的深度学习模型 排序模型解决方案 • 粗排阶段的特点  候选集大，通常在千到万级别  线上的响应时间要求高，通常在几到十几ms • 简单模型  计算耗时短：线性模型LR、树模型  模型表达能力不足，效果一般 • 复杂模型  DNN模型解决耗时是关键，利用预计算解决耗时问题  效果保障：保证用户的个性化信息，降低候选集计算复杂度 粗排模型 • 精排阶段的特点  候选集较少，通常在百级别

造的机器人在复 杂地形行走、多智能体协作等任务上表现良好(图 1.19)。 自动驾驶(Autonomous Driving) 被认为是强化学习短期内能技术落地的一个应用方 向，很多公司投入大量资源在自动驾驶上，如百度、Uber、Google 等，其中百度的无人巴 士“阿波龙”已经在北京、雄安、武汉等地展开试运营；在长沙，市民已经可以免费乘坐 Apollo Robotaxi 无人出租车。图 1 年才发布，但是由于精良紧凑的接口设计， PyTorch 在学术界获得了广泛好评。在 PyTorch 1.0 版本后，原来的 PyTorch 与 Caffe2 进行了合并，弥补了 PyTorch 在工业部署方面的不足。 目前来看，PyTorch 和 TensorFlow 框架是业界使用最为广泛的两个深度学习框架， TensorFlow 在工业界拥有完备的解决方案和用户基础，但是 TensorFlow 2 torch.tensor(value, requires_grad=False) 指定是否需要计算梯度，上述创建的所有张量均使用默认参数 requires_grad=False。由于梯 度运算会消耗大量的计算资源，而且会自动更新相关参数，对于不需要的优化的张量，如 神经网络的输入?，设置 requires_grad=False 即可；相反，对于需要计算梯度并优化的张 量，如神经网络层的?和?，必须设置 requires_grad=True，以便

None 时，这个参数无效。 • class_weight: 可选的字典，用来映射类索引（整数）到权重（浮点）值，用于加权损失函 数（仅在训练期间）。这可能有助于告诉模型「更多关注」来自代表性不足的类的样本。 • sample_weight: 训练样本的可选 Numpy 权重数组，用于对损失函数进行加权（仅在训练 期间）。您可以传递与输入样本长度相同的平坦（1D）Numpy 数组（权重和样本之间的 None 时，这个参数无效。 • class_weight: 可选的字典，用来映射类索引（整数）到权重（浮点）值，用于加权损失函 数（仅在训练期间）。这可能有助于告诉模型「更多关注」来自代表性不足的类的样本。 • sample_weight: 训练样本的可选 Numpy 权重数组，用于对损失函数进行加权（仅在训练 期间）。您可以传递与输入样本长度相同的平坦（1D）Numpy 数组（权重和样本之间的 sample_weight_mode="temporal"。 • class_weight: 可选的字典，用来映射类索引（整数）到权重（浮点）值，以在训练时对模 型的损失函数加权。这可能有助于告诉模型「更多关注」来自代表性不足的类的样本。 Returns 标量训练误差（如果模型只有一个输入且没有评估标准），或者标量的列表（如果模型有多 个输出和/或评估标准）。属性 model.metrics_names 将提供标量输出的显示标签。

YOLOv2：更快、更好、更强 YOLOv2：更快、更好、更强 应用：RetinaNet 与 Facol Loss 带来了什 么 RCNN系列与YOLO系列各自不足 准 慢 快 偏 RCNN系列与YOLO系列各自不足 准 慢 快 偏 正负样本不平衡 RetinaNet 提出了什么好想法？ RetinaNet 提出了什么好想法？ Focal Loss 解决类不平衡问题

如果你的词典大小是10,000的话，那么这里的每个向量都是10,000维的。 6 循环神经网络解决的问题  卷积神经网络或全连接网络的局限性  同一层节点之间无关联，从而导致获取时序规则方面功 能不足  循环神经网络可以解决时序问题  基于语言模型（LM），故可以捕捉时序规则信息  它是如何实现的？ 7 03 长短期记忆(LSTM) 04 双向循环神经网络 2

比起脚本语言，类型和内存安全，保证重构效率与产品质量 - 完善的配套工具，如go test, gofmt, go lint, race-detector Go语言在高性能系统中的实践经验 • Go在开发高性能应用上也有一些不足， 对比C++： - 无法直接控制操作系统线程，CUDA 调用需要特殊处理 - 部分标准库实现依赖reflect，性能较 差 - GC的带来的开销，如在Go Heap上 构建百万以上级别的对象缓存，需要

，都有相近的高准确度 。于是诞生了机器学习 界的名言： 成功的机器学习应 用不是拥有最好的 算法，而是拥有最 多的数据！ 数据决定一切 数据大小 准 确 率 10 欠拟合的处理 1.添加新特征 当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。通 过挖掘组合特征等新的特征，往往能够取得更好的效果。 2.增加模型复杂度 简单模型的学习能力较差，通过增加模型的复杂度可以使模型拥有更强的拟合能