本文是斯坦福大学CS229机器学习课程的基础材料，原始文件下载 原文作者：Arian Maleki ， Tom Do 翻译：石振宇 审核和修改制作：黄海广 备注：请关注github的更新。 CS229 机器学习课程复习材料-概率论 CS229 机器学习课程复习材料-概率论 概率论复习和参考 1. 概率的基本要素 1.1 条件概率和独立性 2. 随机变量 2.1 累积分布函数 基本性质 4.2 随机向量 4.3 多元高斯分布 5. 其他资源 概率论复习和参考 概率论是对不确定性的研究。通过这门课，我们将依靠概率论中的概念来推导机器学习算法。这篇笔记 试图涵盖适用于CS229的概率论基础。概率论的数学理论非常复杂，并且涉及到“分析”的一个分支：测 度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。 1. 概率的基本要素 和将趋向于“看起来像高斯”。 其次，高斯随机变量便于许多分析操作，因为实际中出现的许多涉及高斯分布的积分都有简单的封闭形 式解。我们将在本课程稍后遇到这种情况。 5. 其他资源 一本关于CS229所需概率水平的好教科书是谢尔顿·罗斯的《概率第一课》( A First Course on Probability by Sheldon Ross)。

本文是斯坦福大学CS 229机器学习课程的基础材料，原始文件下载 原文作者：Zico Kolter，修改：Chuong Do， Tengyu Ma 翻译：黄海广 备注：请关注github的更新，线性代数和概率论已经更新完毕。 CS229 机器学习课程复习材料-线性代数 CS229 机器学习课程复习材料-线性代数 线性代数复习和参考 1. 基础概念和符号 1.1 基本符号 2 通常将大小为 的所有对称矩阵的集合表 示为 ，因此 意味着 是对称的 矩阵; 3.4 矩阵的迹 方矩阵 的迹，表示为 （或者只是 ，如果括号显然是隐含的），是矩阵中对角元素的 总和： 如CS229讲义中所述，迹具有以下属性（如下所示）： 对于矩阵 ，则： 对于矩阵 ，则： 对于矩阵 ， ，则： . 对于矩阵 , ， 为方阵, 则： 对于矩阵 , , , 为方阵, 于矩阵的黑塞方程就必须对矩阵所有元素求偏导数 ，将其表示为矩阵相当麻烦。 4.3 二次函数和线性函数的梯度和黑塞矩阵 现在让我们尝试确定几个简单函数的梯度和黑塞矩阵。 应该注意的是，这里给出的所有梯度都是CS229 讲义中给出的梯度的特殊情况。 对于 , 设 的某些已知向量 ，则： 所以： 由此我们可以很容易地看出 。 这应该与单变量微积分中的类似情况进行比较，其中 。 现在考虑 的二次函数

对于以下算法，尽管操作数量 size 可能很大，但由于其与数据大小 ? 无关，因此时间复杂度仍为 ?(1) 。 2. 复杂度 hello‑algo.com 20 // === File: time_complexity.cs === /* 常数阶 */ int constant(int n) { int count = 0; int size = 100000; for (int i = 0; i < size; return count; } 线性阶 ?(?) 线性阶的操作数量相对于输入数据大小以线性级别增长。线性阶通常出现在单层循环中。 // === File: time_complexity.cs === /* 线性阶 */ int linear(int n) { int count = 0; for (int i = 0; i < n; i++) count++; return 需根据输入数据的类型来具体确定。例如，在上述示例中，我们直接将 ? 视为输 入数据大小；在下面遍历数组的示例中，数据大小 ? 为数组的长度。 // === File: time_complexity.cs === /* 线性阶（遍历数组） */ int arrayTraversal(int[] nums) { int count = 0; // 循环次数与数组长度成正比 foreach (int

记录。需要注意的是，Python 中 range(a, b) 对应的区间是“左闭右开”的，对应的遍历范围为 ?, ? + 1, … , ? − 1 ： // === File: iteration.cs === /* for 循环 */ int ForLoop(int n) { int res = 0; // 循环求和 1, 2, ..., n-1, n for (int i = 1; i 循环中，程序每轮都会先检查条件，如果条 件为真，则继续执行，否则就结束循环。 下面我们用 while 循环来实现求和 1 + 2 + ⋯ + ? ： // === File: iteration.cs === /* while 循环 */ int WhileLoop(int n) { int res = 0; int i = 1; // 初始化条件变量 // 循环求和 1, 2, .. 例如在以下代码中，条件变量 ? 每轮进行两次更新，这种情况就不太方便用 for 循环实现： 第 2 章 复杂度分析 hello‑algo.com 21 // === File: iteration.cs === /* while 循环（两次更新） */ int WhileLoopII(int n) { int res = 0; int i = 1; // 初始化条件变量 // 循环求和 1

记录。需要注意的是，Python 中 range(a, b) 对应的区间是“左闭右开”的，对应的遍历范围为 ?, ? + 1, … , ? − 1 ： // === File: iteration.cs === /* for 循环 */ int ForLoop(int n) { int res = 0; // 循环求和 1, 2, ..., n-1, n for (int i = 1; i 循环中，程序每轮都会先检查条件，如果条 件为真，则继续执行，否则就结束循环。 下面我们用 while 循环来实现求和 1 + 2 + ⋯ + ? ： // === File: iteration.cs === /* while 循环 */ int WhileLoop(int n) { int res = 0; int i = 1; // 初始化条件变量 // 循环求和 1, 2, .. 复杂度分析 www.hello‑algo.com 21 例如在以下代码中，条件变量 ? 每轮进行两次更新，这种情况就不太方便用 for 循环实现： // === File: iteration.cs === /* while 循环（两次更新） */ int WhileLoopII(int n) { int res = 0; int i = 1; // 初始化条件变量 // 循环求和 1

记录。需要注意的是，Python 中 range(a, b) 对应的区间是“左闭右开”的，对应的遍历范围为 ?, ? + 1, … , ? − 1 ： // === File: iteration.cs === /* for 循环 */ int ForLoop(int n) { int res = 0; // 循环求和 1, 2, ..., n-1, n for (int i = 1; i 循环中，程序每轮都会先检查条件，如果条 件为真，则继续执行，否则就结束循环。 下面我们用 while 循环来实现求和 1 + 2 + ⋯ + ? ： // === File: iteration.cs === /* while 循环 */ int WhileLoop(int n) { int res = 0; int i = 1; // 初始化条件变量 // 循环求和 1, 2, .. 2 章 复杂度分析 hello‑algo.com 21 例如在以下代码中，条件变量 ? 每轮进行两次更新，这种情况就不太方便用 for 循环实现： // === File: iteration.cs === /* while 循环（两次更新） */ int WhileLoopII(int n) { int res = 0; int i = 1; // 初始化条件变量 // 循环求和 1

记录。需要注意的是，Python 中 range(a, b) 对应的区间是“左闭右开”的，对应的遍历范围为 ?, ? + 1, … , ? − 1 。 // === File: iteration.cs === /* for 循环 */ int forLoop(int n) { int res = 0; // 循环求和 1, 2, ..., n-1, n for (int i = 1; i 循环中，程序每轮都会先检查条件，如果条 件为真则继续执行，否则就结束循环。 下面，我们用 while 循环来实现求和 1 + 2 + ⋯ + ? 。 // === File: iteration.cs === /* while 循环 */ int whileLoop(int n) { int res = 0; int i = 1; // 初始化条件变量 // 循环求和 1, 2, .. 2 章 复杂度分析 hello‑algo.com 20 例如在以下代码中，条件变量 ? 每轮进行了两次更新，这种情况就不太方便用 for 循环实现。 // === File: iteration.cs === /* while 循环（两次更新） */ int whileLoopII(int n) { int res = 0; int i = 1; // 初始化条件变量 // 循环求和 1

we can start our first translation: $ msginit -i po/hello.pot -l cs --no-translator -o po/cs.po Created cs.po. The just created cs.po already has some information filled in. Most importantly it got 2015-10-23 11:02+0200\n" "Last-Translator: Automatically generated\n" "Language-Team: none\n" "Language: cs\n" "MIME-Version: 1.0\n" "Content-Type: text/plain; charset=ASCII\n" "Content-Transfer-Encoding: 8bit\n" templates (this includes reordering the strings to match new template): $ msgmerge --previous --update po/cs.po po/hello.pot Importing to Weblate To import such translation into Weblate, all you need to define

we can start our first translation: $ msginit -i po/hello.pot -l cs --no-translator -o po/cs.po Created cs.po. The just created cs.po already has some information filled in. Most importantly it got 2015-10-23 11:02+0200\n" "Last-Translator: Automatically generated\n" "Language-Team: none\n" "Language: cs\n" "MIME-Version: 1.0\n" "Content-Type: text/plain; charset=ASCII\n" "Content-Transfer-Encoding: 8bit\n" templates (this includes reordering the strings to match new template): $ msgmerge --previous --update po/cs.po po/hello.pot Importing to Weblate To import such translation into Weblate, all you need to define

we can start our first translation: $ msginit -i po/hello.pot -l cs --no-translator -o po/cs.po Created cs.po. The just created cs.po already has some information filled in. Most importantly it got 2015-10-23 11:02+0200\n" "Last-Translator: Automatically generated\n" "Language-Team: none\n" "Language: cs\n" "MIME-Version: 1.0\n" "Content-Type: text/plain; charset=ASCII\n" "Content-Transfer-Encoding: 8bit\n" templates (this includes reordering the strings to match new template): $ msgmerge --previous --update po/cs.po po/hello.pot Importing to Weblate To import such translation into Weblate, all you need to define