haiguang2000@qq.com 数学基础笔记（V1.01） 最后修改：2018-04-19 你不是一个人在战斗！ I 目录 机器学习的数学基础 .............................................................................................. ....................................................................... 19 机器学习的数学基础 1 机器学习的数学基础 高等数学 1.导数定义： 导数和微分的概念 ?′(?0) = lim ??→0 ?(?0+??)−?(?0) ?? （1） 或者： 切线方程 : ? − ?0 = ?′(?0)(? − ?0) 法线方程：? − ?0 = − 1 ?′(?0) (? − ?0), ?′(?0) ≠ 0 5.四则运算法则 机器学习的数学基础 2 设函数? = ?(?)，? = ?(?)在点?可导，则： (1) (? ± ?)′ = ?′ ± ?′ (2) (??)′ = ??′ + ??′

1 2023年03月 深度学习-神经网络的编程基础 黄海广 副教授 2 本章目录 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 3 1.二分类与逻辑回归 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 4 符号定义 ?：表示一个??维数据，为输入数 据，维度为(??, 1)；

本文是斯坦福大学CS229机器学习课程的基础材料，原始文件下载 原文作者：Arian Maleki ， Tom Do 翻译：石振宇 审核和修改制作：黄海广 备注：请关注github的更新。 CS229 机器学习课程复习材料-概率论 CS229 机器学习课程复习材料-概率论 概率论复习和参考 1. 概率的基本要素 1.1 条件概率和独立性 2. 随机变量 2.1 累积分布函数 随机向量 4.3 多元高斯分布 5. 其他资源 概率论复习和参考 概率论是对不确定性的研究。通过这门课，我们将依靠概率论中的概念来推导机器学习算法。这篇笔记 试图涵盖适用于CS229的概率论基础。概率论的数学理论非常复杂，并且涉及到“分析”的一个分支：测 度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。 1. 概率的基本要素 为了定义集合上的概率，我们需要一些基本元素，

本文是斯坦福大学CS 229机器学习课程的基础材料，原始文件下载 原文作者：Zico Kolter，修改：Chuong Do， Tengyu Ma 翻译：黄海广 备注：请关注github的更新，线性代数和概率论已经更新完毕。 CS229 机器学习课程复习材料-线性代数 CS229 机器学习课程复习材料-线性代数 线性代数复习和参考 1. 基础概念和符号 1.1 基本符号 2.矩阵乘法 4.矩阵微积分 4.1 梯度 4.2 黑塞矩阵 4.3 二次函数和线性函数的梯度和黑塞矩阵 4.4 最小二乘法 4.5 行列式的梯度 4.6 特征值优化 线性代数复习和参考 1. 基础概念和符号 线性代数提供了一种紧凑地表示和操作线性方程组的方法。 例如，以下方程组： 这是两个方程和两个变量，正如你从高中代数中所知，你可以找到 和 的唯一解（除非方程以某 种方式 ，利用上面的方程，我们得到： 这种 的新的表示形式为 ，通常称为矩阵 的对角化。术语对角化是这样来的：通过这种表示， 我们通常可以有效地将对称矩阵 视为对角矩阵 , 这更容易理解。关于由特征向量 定义的基础， 我们 将通过几个例子详细说明。 背景知识：代表另一个基的向量。 任何正交矩阵 定义了一个新的属于 的基（坐标系），意义如下：对于任 何向量 都可以表示为 ， 的线性组合，其系数为 ：

TensorFlow 2 项目实战进阶 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 基础理论篇：TensorFlow 2 设计思想 • TensorFlow 2 设计原则 • TensorFlow 2 核心模块 • TensorFlow 2 vs TensorFlow 1.x • TensorFlow 2 落地应用 目录 TensorFlow 2 设计原则

从推荐模型的基础特点看
 袁镱 腾讯 个⼈简介 � ⽆量系统 � 项⽬于17年启动，先后经过了6个主要版本的 迭代 � 覆盖腾讯PCG全部业务的推荐场景，⽀持腾讯 IEG，CSIG，QQ⾳乐，阅⽂等业务的部分推 荐场景 � 袁镱 博⼠，专家⼯程师 � 研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， Hashing 腾讯，阿⾥，头条也都⽀持了Double Hashing 场景 内存节省 场景1 88% 场景2 64% 下⼀步的 解空间 未来⽅向—现有推荐架构的问题，算法⼯程协同的解法 � 更基础的复杂模型，场景的快速适应 � 多场景建模 � 端云⼀体的协同 推荐技术 [KDD2020] DCAF: A Dynamic Computation Allocation Framework

损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 3.4.7 信息论基础 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 3.4.8 模型预测和评估 学习语言模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303 8.3.2 马尔可夫模型与n元语法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305 8.3.3 自然语言统计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466 11.6.1 基础 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466 11.6.2 实际实验

zero-shot问题，就是针对AI在面对 不认识的事物时，也能进行推理） • 多任务模型的特点：跟传统ML需要专 门的标注数据集不同（从而训练出专 业AI），多任务模型不采用专门AI手 段，而是在海量数据喂养训练的基础 上，适配任何任务形式。 ✓ 转向更通用的系统，使其可以执行许 多任务，最终无需为每个任务手动创 建和标记训练数据集。 ✓ 机器学习系统通过使用大型数据集、高容 量模型和监督学习的组合，在训练任务方 面表现出色，然而这些系统较为脆弱，对 数据分布和任务规范的轻微变化非常敏感， 因而使得AI表现更像狭义专家，并非通才。 GPT-2要 解决和优 化的问题 ◼ GPT-2（2019.2）在GPT-1的基础上进行诸多改进，实现执行任务多样性，开始学习在不需要明确监督的情 况下执行数量惊人的任务 ✓ 在GPT-2阶段，OpenAI去掉了GPT-1阶段的有监督微调（fine-tuning），成为无监督模型。 微调模型在特定基准上的性能，即使名义上是人 类水平，也可能夸大基础任务的实际性能。 存在的问题03： 因为人类学习大多数语言任务不需要 大型受监督的数据集，当前NLP技术 在概念上具有一定的局限性。 存在的问题01： 从实用的角度来看，每一项新任务都需 要一个标记示例的大数据集，这限制了 语言模型的适用性； 对于其中的许多任务（从纠正语法到生 成抽象概念的示例，再到评论一个短篇 故事等等），很难收集一个大型的监督

���������������������������������������������������������������������������������1 1. Pytorch 介绍与基础知识 ������������������������������������������������������������������������������������������������ ���� 3 1.3 Pytorch 基础术语与概念 �������������������������������������������������������������������������������������������������������������������������������������� 4 1.4 Pytorch 基础操作 ����������������� 大家好，本章是主要介绍一下深度学习框架 Pytorch 的的历史与发展，主要模 块构成与基础操作代码演示。重点介绍 Pytorch 的各个组件、编程方式、环境 搭建、基础操作代码演示。本章对有 Pytorch 开发经验的读者来说可以直接跳 过；对初次接触 Pytorch 的读者来说，通过本章学习认识 Pytorch 框架，搭建 好 Pytorch 的开发环境，通过一系列的基础代码练习与演示建立起对深度学习 与 Pytorch