1 2023年03月 深度学习-神经网络的编程基础 黄海广 副教授 2 本章目录 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 3 1.二分类与逻辑回归 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 4 符号定义 ?：表示一个??维数据，为输入数 据，维度为(??, 1)；

导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量?在一点?0上产生一个增量??时，函 数输出值的增量??与自变量增量??的比值在 ??趋于0时的极限?如果存在，?即为在?0处的 导数，记作?′(?0)。 31 高等数学-函数的连续性 设函数 y = ? ? 在点?0的某邻域内有定义，如果当自变量的改变量??趋近 于零时，相应函数的改变量Δ = 0 32 函数?(?) 在点 处连续，需要满足的条件： 存在 1. 函数在该点处有定义 2. 函数在该点处极限 3. 极限值等于函数值 高等数学-函数的连续性 ?0 ?(?0) lim ?→?0? ? 33 ， 如果平均变化率的极限存在 则称此极限为函数 ? = ?(?) 在点 处的导数， 高等数学-导数 limΔ?→0 Δ? Δ? = limΔ?→0 ? 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融 公司使用，以及核心的科学计算组织如：Lawrence Livermore，NASA用其处理一些

导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量?在一点?0上产生一个增量??时，函 数输出值的增量??与自变量增量??的比值在 ??趋于0时的极限?如果存在，?即为在?0处的 导数，记作?′(?0)。 32 高等数学-函数的连续性 设函数 y = ? ? 在点?0的某邻域内有定义，如果当自变量的改变量??趋近 于零时，相应函数的改变量Δ = 0 33 函数?(?) 在点 处连续，需要满足的条件： 存在 1. 函数在该点处有定义 2. 函数在该点处极限 3. 极限值等于函数值 高等数学-函数的连续性 ?0 ?(?0) lim ?→?0? ? 34 ， 如果平均变化率的极限存在 则称此极限为函数 ? = ?(?) 在点 处的导数， 高等数学-导数 limΔ?→0 Δ? Δ? = limΔ?→0 ? 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融 公司使用，以及核心的科学计算组织如：Lawrence Livermore，NASA用其处理一些

. . . . . . . . . . . . . . . . . 503 12.1.1 符号式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504 12.1.2 混合式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506 12.1.3 Sequential的混合式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506 12.2 异步计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ，他们希望扎实掌握深度学习的实用技术。因为我们 从头开始解释每个概念，所以不需要过往的深度学习或机器学习背景。全面解释深度学习的方法需要一些数 学和编程，但我们只假设读者了解一些基础知识，包括线性代数、微积分、概率和非常基础的Python编程。 此外，在附录中，我们提供了本书所涵盖的大多数数学知识的复习。大多数时候，我们会优先考虑直觉和想 法，而不是数学的严谨性。有许多很棒的书可以引导感兴趣的读者走得更远。Bela

)均存在，且?′(?) ≠ 0 则在(?, ?)内存在一个?，使 ?(?)−?(?) ?(?)−?(?) = ?′(?) ?′(?) 16 高等数学 10.洛必达法则 法则Ⅰ( ? ?型不定式极限) 设函数? ? , ? ? 满足条件： lim ?→?0 ? ? = 0, lim ?→?0 ? ? = 0; ? ? , ? ? 在?0的邻域内可导 (在?0处可除外)且?′ ? ≠ 0; lim ?→?0 ?′ ? ?′ ? 存在(或∞)。 则： lim ?→?0 ? ? ? ? = lim ?→?0 ?′ ? ?′ ? 17 高等数学 法则?’ ( ? ?型不定式极限) 设函数? ? , ? ? 满足条件： lim ?→∞ ? ? = 0, lim ?→∞ ? ? = 0;存在一个? > 0,当 ? > ?时,? ? , ? ? 可 导,且?′ ? ≠ 0; lim ?→?0 ?′ ? ?′ ? 存在(或∞)。 则： lim ?→?0 ? ? ? ? = lim ?→?0 ?′ ? ?′ ? . 18 高等数学 法则Ⅱ( ∞ ∞型不定式极限) 设函数? ? , ? ? 满足条件： lim ?→?0 ? ? = ∞, lim ?→?0 ? ? = ∞; ? ? , ? ? 在?0 的邻域内可导(在?0处可除外) 且?′ ? ≠

)均存在，且?′(?) ≠ 0 则在(?, ?)内存在一个?，使 ?(?)−?(?) ?(?)−?(?) = ?′(?) ?′(?) 10.洛必达法则 法则Ⅰ( ? ?型不定式极限) 设函数?(?), ?(?)满足条件： lim ?→?0 ?(?) = 0, lim ?→?0 ?(?) = 0; ?(?),?(?)在?0的邻域内可导 (在?0处可除外)且?′(?) →?0 ?′(?) ?′(?)存在(或∞)。 则： lim ?→?0 ?(?) ?(?) = lim ?→?0 ?′(?) ?′(?) 法则?’ ( ? ?型不定式极限) 设函数?(?), ?(?)满足条件： lim ?→∞ ?(?) = 0, lim ?→∞ ?(?) = 0;存在一个? > 0,当|?| > ? 时,?(?),?(?)可导,且?′(?) →?0 ?′(?) ?′(?)存在(或∞)。 则： lim ?→?0 ?(?) ?(?) = lim ?→?0 ?′(?) ?′(?). 法则Ⅱ( ∞ ∞型不定式极限) 设函数?(?), ?(?)满足条件： lim ?→?0 ?(?) = ∞, lim ?→?0 ?(?) = ∞; ?(?), ?(?)在?0 的邻域内可 导(在?0处可除外)且?′(

可避免地需要使用正式化的 数学符号推导，其中涉及到少量的概率与统计、线性代数、微积分等数学知识，一般要求读 者对这些数学知识有初步印象或了解即可。比起理论基础，读者需要有少量的编程经验，特 别是 Python 语言编程经验，显得更加重要，因为本书更侧重于实用性，而不是堆砌公式。 总的来说，本书适合于大学三年级左右的理工科本科生和研究生，以及其他对人工智能算法 感兴趣的朋友。 本书共 15 章，大体上可分为 信息技术是人类历史上的第三次工业革命，计算机、互联网、智能家居等技术的普及 极大地方便了人们的日常生活。通过编程的方式，人类可以将提前设计好的交互逻辑交给 机器重复且快速地执行，从而将人类从简单枯燥的重复劳动工作中解脱出来。但是对于需 要较高智能水平的任务，如人脸识别、聊天机器人、自动驾驶等任务，很难设计明确的逻 辑规则，传统的编程方式显得力不从心，而人工智能(Artificial Intelligence，简称 AI)是有 Torch 是一个非常优秀的科学计算库，基于较冷门的编程语言 Lua 开发。Torch 灵活性 较高，容易实现自定义网络层，这也是 PyTorch 继承获得的优良基因。但是由于 Lua 语言使用人群较少，Torch 一直未能获得主流应用。 ❑ MXNet 由华人陈天奇和李沐等人开发，是亚马逊公司的官方深度学习框架。采用了 命令式编程和符号式编程混合方式，灵活性高，运行速度快，文档和案例也较为丰

distance) ? ?, ? = ෍ ? | ?? − ??|? 1 ? ?取1或2时的闵氏距离是最为常用的 ? = 2即为欧氏距离， ? = 1时则为曼哈顿距离。 当?取无穷时的极限情况下，可以得到切比雪 夫距离 8 距离度量 汉明距离(Hamming distance) ? ?, ? = 1 ? ෍ ? 1??≠?? 汉明距离是使用在数据传输差错控制编码里 面的，汉明距离是一个概念，它表示两个（

ˆky , ˆk j y , ˆk l y ih v dh v 1 j w 2 j w hj w qj w . . . . . . kx ˆky 8 1.人工神经网络发展历史 极限学习机(Extreme Learning Machine, ELM)，是由黄广斌提出的用于处理单隐层 神经网络的算法 优点： 1.学习精度有保证 2.学习速度快 随机初始化输入权重??和偏置

一般来说，高斯随机变量在机器学习和统计中非常有用，主要有两个原因： 首先，在统计算法中对“噪声”建模时，它们非常常见。通常，噪声可以被认为是影响测量过程的大量小 的独立随机扰动的累积；根据中心极限定理，独立随机变量的总和将趋向于“看起来像高斯”。 其次，高斯随机变量便于许多分析操作，因为实际中出现的许多涉及高斯分布的积分都有简单的封闭形 式解。我们将在本课程稍后遇到这种情况。 5. 其他资源