Item特征 ⽤户反馈 Item推荐 Embedding参数 本⼩时访问过的key 上⼩时访问过的key 访 问 百 分 ⽐ 时间（⼩ 时） � Feature 2（数据的时空特点） 2.1 短时间内只有部分item和user被 命中，只有部分参数被⽤到 � Feature 3（机器学习的特点） Embedding以稀疏的⽅式表达信息 ⼤规模推荐模型深度学习系统基本解决维度 Feature3（机器学习 的特点） 训练框架—基于参数服务器架构的分布式训练框架 TB级模型 分⽚ 存储/更新 百TB数据 分⽚训练 Feature 1: 动态空间 Feature 2.1:短时间内只有部分item和user 被命中，只有部分参数被⽤到 参数按需 获取/更新 Storage 异步训练流⽔线和多级存储：提升性能，降低内存成本 � 问题： � Learner线程中参数拉取和参数更新对性能影响⼤ 新增：GPU并⾏操作友好->CSR格式的显存数据访问 SSD磁盘 10TB 全部参数 内存 1TB 即将⽤到的参数 显存 32/40/80GB 正在训练的参数 分布式训练的慢机与同步问题 � Feature 2.1: 短时间内只有部分item和user被命中， 只有部分参数被⽤到 � GPU训练的优势 � 更少的机器节点，更少的分布式系统相关问题 � 更⾼的性价⽐ 1. 减少节点数 2. 提升节点同

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.1 基本网络结构 11 2.2 使用 cuda 来训练网络 13 3 更完善的神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . 自己去操作，因此并不需要 设置 target_transf orm。 前两节的源码参见 chapter1.py。 2. 构建神经网络 2.1 基本网络结构 11 2.2 使用 cuda 来训练网络 13 本章描述如何构建神经网络模型。 2.1 基本网络结构 我们定义神经网络的结构。在 pytorch 中要想使用神经网络，需要继承 nn.Module： c l a s s NeuralNetwork l f . linear_relu_stack (x) return l o g i t s model = NeuralNetwork () print ( model ) 11 12 2.1. 基本网络结构 这里使用 Relu 做激活函数，本想用最基本的 Sigmoid 函数，但 Sigmoid 函数训练效果实在是 太差，因此还是换成 ReLU 吧。有的人可能会疑惑输出为什么不用在

（7）不断地重复（1）~（6）步骤直到达到规定的迭代次数或者收敛为止。 40 4.LightGBM 样本序号 样本的特征取值 样本的一阶导 样本的二阶导 ? 1 2 3 4 5 6 7 8 ?? 0.1 2.1 2.5 3.0 3.0 4.0 4.5 5.0 ?? 0.01 0.03 0.06 0.05 0.04 0.7 0.6 0.07 ℎ? 0.2 0.04 0.05 0.02 0.08 0.02 6 7 8 ?? 0.1 2.1 2.5 3.0 3.0 4.0 4.5 5.0 ?? 0.01 0.03 0.06 0.05 0.04 0.7 0.6 0.07 ℎ? 0.2 0.04 0.05 0.02 0.08 0.02 0.03 0.03 样本序号 样本的特征取值 样本的一阶导 样本的二阶导 ? 1 2 3 4 5 6 7 8 ?? 0.1 2.1 2.5 3.0 3.0 4

备注：请关注github的更新。 CS229 机器学习课程复习材料-概率论 CS229 机器学习课程复习材料-概率论 概率论复习和参考 1. 概率的基本要素 1.1 条件概率和独立性 2. 随机变量 2.1 累积分布函数 2.2 概率质量函数 2.3 概率密度函数 2.4 期望 2.5 方差 2.6 一些常见的随机变量 3. 两个随机变量 3.1 联合分布和边缘分布 3.2 联合概率和边缘概率质量函数 图1：一个累计分布函数(CDF) 举例： 假设 是一个随机变量，表示放射性粒子衰变所需的时间。在这种情况下， 具有无限多的可能 值，因此它被称为连续随机变量。我们将 在两个实常数 和 之间取值的概率(其中 )表示为： 2.1 累积分布函数 为了指定处理随机变量时使用的概率度量，通常可以方便地指定替代函数(CDF、PDF和PMF)，在本节 和接下来的两节中，我们将依次描述这些类型的函数。 累积分布函数(CDF)是函数

NVIDIA GPU Cloud (NGC). Known Issues ‣ The 20.10 container ships with libfreetype6 2.8.1-2ubuntu2.1, which is vulnerable to CVE-2020-15999. Use $ apt-get update $ apt --only-upgrade install libfreetype6 following: ‣ Ubuntu 16.04 including Python 3.6 environment ‣ NVIDIA CUDA 9.0.176 (see Errata section and 2.1) including CUDA ® Basic Linear Algebra Subroutines library ™ (cuBLAS) 9.0.425 ‣ NVIDIA CUDA ® following: ‣ Ubuntu 16.04 including Python 3.6 environment ‣ NVIDIA CUDA 9.0.176 (see Errata section and 2.1) including CUDA ® Basic Linear Algebra Subroutines library ™ (cuBLAS) 9.0.425 ‣ NVIDIA CUDA ®

新完毕。 CS229 机器学习课程复习材料-线性代数 CS229 机器学习课程复习材料-线性代数 线性代数复习和参考 1. 基础概念和符号 1.1 基本符号 2.矩阵乘法 2.1 向量-向量乘法 2.2 矩阵-向量乘法 2.3 矩阵-矩阵乘法 3 运算和属性 3.1 单位矩阵和对角矩阵 3.2 转置 3.3 对称矩阵 3.4 矩阵的迹 3.5 范数 3.6 矩阵乘法 两个矩阵相乘，其中 and ，则： 其中： 请注意，为了使矩阵乘积存在， 中的列数必须等于 中的行数。有很多方法可以查看矩阵乘法，我们 将从检查一些特殊情况开始。 2.1 向量-向量乘法 给定两个向量 , 通常称为向量内积或者点积，结果是个实数。 注意： 始终成立。 给定向量 , (他们的维度是否相同都没关系)， 叫做向量外积 , 当 的时候，它是一个矩阵。

人工智能 1.2 神经网络发展简史 1.3 深度学习特点 1.4 深度学习应用 1.5 深度学习框架 1.6 开发环境安装 1.7 参考文献 第 2 章 回归问题 2.1 神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3 的存在。−艾伦·佩利 本章通过研究生物神经元的结构，来解决机器学习中一类非常重要的问题。 2.1 神经元模型 成年人大脑中包含了约 1000 亿个神经元，每个神经元通过树突获取输入信号，通过轴 突传递输出信号，神经元之间相互连接构成了巨大的神经网络，从而形成了人脑的感知和 意识基础，图 2.1 是一种典型的生物神经元结构。1943 年，心理学家沃伦·麦卡洛克 (Warren McCull Rosenblatt)进一步发展成感知机(Perceptron)模型 [2]，这也是现代 深度学习的基石。 树突 细胞体 细胞核 轴突 髓鞘 神经模细胞 兰氏结 突触 图 2.1 典型生物神经元结构① 本章将从生物神经元的结构出发，重温科学先驱们的探索之路，逐步揭开自动学习机 器的神秘面纱。 首先，我们把生物神经元(Neuron)的模型抽象为如图 2.2(a)所示的数学结构：神经元输

COPYRIGHTS RESERVED 5 为什么做AI选房？ 2019 KE.COM ALL COPYRIGHTS RESERVED 6 贝壳找房发展&挑战 20万 经纪人 98 门店平均房源 2.1万 门店 10-25 经纪人熟悉房源 70% 跨店成交占比 1.87亿 房屋 3000万 月活跃用户 • 需要强大的房源质量盘点工具 • 找到好房难度大，成本高 挑战 200万 贝壳全部房源

as γ = min i γ(i) (6) 1 ? ? ! ? ! Figure 1: Margin and hyperplane. 2 Support Vector Machine 2.1 Formulation The hyperplane actually serves as a decision boundary to differentiating positive data

Keras? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 为什么选择 Keras？ 5 2.1 Keras 优先考虑开发人员的经验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Keras 被工业界和学术界广泛采用 translation). 为什么选择 KERAS？ 5 2 为什么选择 Keras？ 在如今无数深度学习框架中，为什么要使用 Keras 而非其他？以下是 Keras 与现有替代品的 一些比较。 2.1 Keras 优先考虑开发人员的经验 • Keras 是为人类而非机器设计的 API。Keras 遵循减少认知困难的最佳实践: 它提供一致且 简单的 API，它将常见用例所需的用户操作数量降至最低，并且在用户错误时提供清晰和 input[t+1:]，在模型不应违反时间顺序的时间数据建模时非常有用。 在模型不应违反时间顺序的时间数据建模时非常有用。详见 WaveNet: A Generative Model for Raw Audio, section 2.1。 • dilation_rate: 一个整数，或者单个整数表示的元组或列表，指定用于膨胀卷积的膨胀率。 当前，指定任何 dilation_rate 值!= 1 与指定 stride 值!= 1