1 2023年03月 深度学习-神经网络的编程基础 黄海广 副教授 2 本章目录 01 二分类与逻辑回归 02 梯度下降 03 计算图 04 向量化 3 1.二分类与逻辑回归 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 4 符号定义 ?：表示一个??维数据，为输入数 据，维度为(??, 1)；

导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量?在一点?0上产生一个增量??时，函 数输出值的增量??与自变量增量??的比值在 ??趋于0时的极限?如果存在，?即为在?0处的 导数，记作?′(?0)。 31 高等数学-函数的连续性 设函数 y = ? ? 在点?0的某邻域内有定义，如果当自变量的改变量??趋近 于零时，相应函数的改变量Δ = 0 32 函数?(?) 在点 处连续，需要满足的条件： 存在 1. 函数在该点处有定义 2. 函数在该点处极限 3. 极限值等于函数值 高等数学-函数的连续性 ?0 ?(?0) lim ?→?0? ? 33 ， 如果平均变化率的极限存在 则称此极限为函数 ? = ?(?) 在点 处的导数， 高等数学-导数 limΔ?→0 Δ? Δ? = limΔ?→0 ? 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融 公司使用，以及核心的科学计算组织如：Lawrence Livermore，NASA用其处理一些

导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量?在一点?0上产生一个增量??时，函 数输出值的增量??与自变量增量??的比值在 ??趋于0时的极限?如果存在，?即为在?0处的 导数，记作?′(?0)。 32 高等数学-函数的连续性 设函数 y = ? ? 在点?0的某邻域内有定义，如果当自变量的改变量??趋近 于零时，相应函数的改变量Δ = 0 33 函数?(?) 在点 处连续，需要满足的条件： 存在 1. 函数在该点处有定义 2. 函数在该点处极限 3. 极限值等于函数值 高等数学-函数的连续性 ?0 ?(?0) lim ?→?0? ? 34 ， 如果平均变化率的极限存在 则称此极限为函数 ? = ?(?) 在点 处的导数， 高等数学-导数 limΔ?→0 Δ? Δ? = limΔ?→0 ? 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专为进行严格的数字处理而产生。多为很多大型金融 公司使用，以及核心的科学计算组织如：Lawrence Livermore，NASA用其处理一些

级（QUIC，MQTT，国密）， 云原生 再启程 03前世 F5 BigIP Netscaler自研四层网络代理 2011 2014 2018 未来 Ø 全面使用DPDK技术重构 Ø EBPF，XDP Ø 可编程交换芯片（P4语言） Ø 四层负载均衡-IPVS Ø NAT网关蚂蚁七层网络代理 Google Spanner?蚂蚁七层网络接入代理 Spanner蚂蚁七层网络接入代理 AGNA （Ant 不同业务不同资源占用的精细化调配性能问题 GOMAXPROCS ：Cpu消耗与RT的tradeoff 优化GC策略升级1.12版本，MADV_FREE，MADV_DONTNEED带来的 影响 Chan的吞吐极限，减少主业务数据的传递 CGO对于TLS 签名计算有83%的性能衰退，AES对称加密 使用tmpfs 或者 mmap MAP_LOCKED 优化IO负载较高对共享内存刷page cache的影响

. . . . . . . . . . . . . . . . . 503 12.1.1 符号式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 504 12.1.2 混合式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506 12.1.3 Sequential的混合式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506 12.2 异步计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ，他们希望扎实掌握深度学习的实用技术。因为我们 从头开始解释每个概念，所以不需要过往的深度学习或机器学习背景。全面解释深度学习的方法需要一些数 学和编程，但我们只假设读者了解一些基础知识，包括线性代数、微积分、概率和非常基础的Python编程。 此外，在附录中，我们提供了本书所涵盖的大多数数学知识的复习。大多数时候，我们会优先考虑直觉和想 法，而不是数学的严谨性。有许多很棒的书可以引导感兴趣的读者走得更远。Bela

)均存在，且?′(?) ≠ 0 则在(?, ?)内存在一个?，使 ?(?)−?(?) ?(?)−?(?) = ?′(?) ?′(?) 16 高等数学 10.洛必达法则 法则Ⅰ( ? ?型不定式极限) 设函数? ? , ? ? 满足条件： lim ?→?0 ? ? = 0, lim ?→?0 ? ? = 0; ? ? , ? ? 在?0的邻域内可导 (在?0处可除外)且?′ ? ≠ 0; lim ?→?0 ?′ ? ?′ ? 存在(或∞)。 则： lim ?→?0 ? ? ? ? = lim ?→?0 ?′ ? ?′ ? 17 高等数学 法则?’ ( ? ?型不定式极限) 设函数? ? , ? ? 满足条件： lim ?→∞ ? ? = 0, lim ?→∞ ? ? = 0;存在一个? > 0,当 ? > ?时,? ? , ? ? 可 导,且?′ ? ≠ 0; lim ?→?0 ?′ ? ?′ ? 存在(或∞)。 则： lim ?→?0 ? ? ? ? = lim ?→?0 ?′ ? ?′ ? . 18 高等数学 法则Ⅱ( ∞ ∞型不定式极限) 设函数? ? , ? ? 满足条件： lim ?→?0 ? ? = ∞, lim ?→?0 ? ? = ∞; ? ? , ? ? 在?0 的邻域内可导(在?0处可除外) 且?′ ? ≠

)均存在，且?′(?) ≠ 0 则在(?, ?)内存在一个?，使 ?(?)−?(?) ?(?)−?(?) = ?′(?) ?′(?) 10.洛必达法则 法则Ⅰ( ? ?型不定式极限) 设函数?(?), ?(?)满足条件： lim ?→?0 ?(?) = 0, lim ?→?0 ?(?) = 0; ?(?),?(?)在?0的邻域内可导 (在?0处可除外)且?′(?) →?0 ?′(?) ?′(?)存在(或∞)。 则： lim ?→?0 ?(?) ?(?) = lim ?→?0 ?′(?) ?′(?) 法则?’ ( ? ?型不定式极限) 设函数?(?), ?(?)满足条件： lim ?→∞ ?(?) = 0, lim ?→∞ ?(?) = 0;存在一个? > 0,当|?| > ? 时,?(?),?(?)可导,且?′(?) →?0 ?′(?) ?′(?)存在(或∞)。 则： lim ?→?0 ?(?) ?(?) = lim ?→?0 ?′(?) ?′(?). 法则Ⅱ( ∞ ∞型不定式极限) 设函数?(?), ?(?)满足条件： lim ?→?0 ?(?) = ∞, lim ?→?0 ?(?) = ∞; ?(?), ?(?)在?0 的邻域内可 导(在?0处可除外)且?′(

可避免地需要使用正式化的 数学符号推导，其中涉及到少量的概率与统计、线性代数、微积分等数学知识，一般要求读 者对这些数学知识有初步印象或了解即可。比起理论基础，读者需要有少量的编程经验，特 别是 Python 语言编程经验，显得更加重要，因为本书更侧重于实用性，而不是堆砌公式。 总的来说，本书适合于大学三年级左右的理工科本科生和研究生，以及其他对人工智能算法 感兴趣的朋友。 本书共 15 章，大体上可分为 信息技术是人类历史上的第三次工业革命，计算机、互联网、智能家居等技术的普及 极大地方便了人们的日常生活。通过编程的方式，人类可以将提前设计好的交互逻辑交给 机器重复且快速地执行，从而将人类从简单枯燥的重复劳动工作中解脱出来。但是对于需 要较高智能水平的任务，如人脸识别、聊天机器人、自动驾驶等任务，很难设计明确的逻 辑规则，传统的编程方式显得力不从心，而人工智能(Artificial Intelligence，简称 AI)是有 Torch 是一个非常优秀的科学计算库，基于较冷门的编程语言 Lua 开发。Torch 灵活性 较高，容易实现自定义网络层，这也是 PyTorch 继承获得的优良基因。但是由于 Lua 语言使用人群较少，Torch 一直未能获得主流应用。 ❑ MXNet 由华人陈天奇和李沐等人开发，是亚马逊公司的官方深度学习框架。采用了 命令式编程和符号式编程混合方式，灵活性高，运行速度快，文档和案例也较为丰

李斌 阿里云容器服务 全民双十一 基于容器服务的大促备战 关注“阿里巴巴云原生”公众号 回复 1124 获取 PPT我是谁挑战在哪里？ 极限并发 人为失误 系统瓶颈 雪崩 单点失效 成本控制 用户体验 最终一致性 稳定性 资源不足 资源利用率 安全风险备战工具箱 服务化 开发运维一体化 弹性 极致性能 高可用 全站上云 安全加固 人工智能 大数据

Cloud Service Mesh Config Server SDK Sidecar21/总页数 治理策略 & 高可用 • 微服务高可用设计手段 - 服务限流 • 对于一个应用系统来说一定会有极限并发/请求数，即总有一个TPS/QPS阀值， 如果超了阀值则系统就会不响应用户请求或响应的非常慢，因此我们最好进行过 载保护，防止大量请求涌入击垮系统。 • 服务限流其实是指当系统资源不够，不足以应对大量请求，即系统资源与访问量