链式法则 7.7 反向传播算法 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 年发布的深度学习框架，最初版本只支持符号式编程。 得益于发布时间较早，以及 Google 在深度学习领域的影响力，TensorFlow 很快成为最 流行的深度学习框架。但是由于 TensorFlow 接口设计频繁变动，功能设计重复冗余， 符号式编程开发和调试非常困难等问题，TensorFlow 1.x 版本一度被业界诟病。2019 年，Google 推出 TensorFlow 2 正式版本，将以动态图优先模式运行，从而能够避免 1.5.3 功能演示 深度学习的核心是算法的设计思想，深度学习框架只是我们实现算法的工具。对工具 的理解有助于加深对算法的掌握程度。下面将演示 PyTorch 深度学习框架的三大核心功 能，从而帮助我们理解框架在算法设计中扮演的角色。 1) 加速计算 神经网络本质上由大量的矩阵相乘、矩阵相加等基本数学运算构成，TensorFlow 的重 要功能就是利用 GPU 方便地实现并行计算加速功能。为了演示

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 8.2.4 整合所有功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302 8.3 语言模型和数据集 . . 满足他们的需求。以动态网页应用为例。尽管许多公司，如亚马逊，在20世纪90年代开发了成功的数据库驱 动网页应用程序。但在过去的10年里，这项技术在帮助创造性企业家方面的潜力已经得到了更大程度的发挥， 部分原因是开发了功能强大、文档完整的框架。 测试深度学习的潜力带来了独特的挑战，因为任何一个应用都会将不同的学科结合在一起。应用深度学习需 要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学； （3）将模型拟合数据的优化算法； is Bishop的优秀教科书 (Bishop, 2006) ，对每 个主题都教得很透彻，以至于要读到线性回归这一章需要大量的工作。虽然专家们喜欢这本书正是因为它的 透彻性，但对初学者来说，这一特性限制了它作为介绍性文本的实用性。 在这本书中，我们将适时教授大部分概念。换句话说，你将在实现某些实际目的所需的非常时刻学习概念。 虽然我们在开始时花了一些时间来教授基础的背景知识，如线性代数和概率，但我们希望你在思考更深奥的

漏洞报告 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 21.3 请求新功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 21.4 请求贡献代码 你可以提出问题并参与开发讨论： • Keras Google group。 • Keras Slack channel。使用 这个链接 向该频道请求邀请函。 你也可以在 Github issues 中张贴漏洞报告和新功能请求（仅限于此）。注意请先阅读规范 文档。 KERAS: 基于 PYTHON 的深度学习库 4 1.7 为什么取名为 Keras? Keras (κέρας) 在希腊语中意为 号角。它来自古希腊和拉丁文学中的一个文学形象，首先出 TensorFlow 之外，且 Keras API 是 TensorFlow 的官方前端， 为什么选择 KERAS？ 6 通过 tf.keras 模块使用）。 您已经不断与使用 Keras 构建的功能进行交互 - 它在 Netflix, Uber, Yelp, Instacart, Zocdoc, Square 等众多网站上使用。它尤其受以深度学习作为产品核心的创业公司的欢迎。 Keras

模型的各种用途。若想了解更多，请随时查阅本文档中的其他内容。 1.3 使用 Transformers 实现 Chat Qwen1.5 最重要同时也最简单的用途是通过 transformers 库实现 Chat 功能。在本文档中，我们将展示如何在 流式模式或非流式模式下与 Qwen1.5-7B-Chat 进行对话。 1.3.1 基本用法 你只需借助 transformers 库编写几行代码，就能与 Qwen1 Qwen 成为可能。该库是 一个纯 C/C++ 实现，不依赖任何外部库，并且针对 x86 架构提供了 AVX、AVX2 和 AVX512 加速支持。此 外，它还提供了 2、3、4、5、6 以及 8 位量化功能，以加快推理速度并减少内存占用。对于大于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 混合推理模式进行部分加速。本质上，llama.cpp 的用途在于运行 GGUF（由 GPT 生成的 TGW 中包含了许多更多用途，您甚至可以在其中享受角色扮演的乐趣，并使用不同类型的量化模型。您可 以训练诸如 LoRA 这样的算法，并将 Stable Diffusion 和 Whisper 等扩展功能纳入其中。赶快去探索更多高级 用法，并将它们应用于 Qwen 模型中吧！ 1.7 AWQ 对于量化模型，我们推荐使用 AWQ 结合 AutoAWQ 。AWQ 即激活感知权重量化，是一种针对 LLM

应用场景：快递单据，广告识别等。 l 手写体OCR以及通用OCR识别 l 落地应用： Ø 微云相册识别，广点通广告识别，顺丰快递单据识别，微云文本 识别等 SACC2017 更多图像定制识别功能 l 图标识别 Ø 图标形式：水印、二维码、条形码、logo等。并可根 据业务需求定制。 Ø 基于团队自研的深度识别引擎，核心算法与基础模型 经过多轮优化，可以准确快速地识别图片中所包含的 各种图像增强，加噪声 • 非监督学习 - 聚类 • 迁移学习 – 利用相似任务训练好的网络 • 生成样本数据 – 深度生成对抗网络 SACC2017 深度学习 训练框架 和 硬件选择 不同场景，不同框架 特性 GTX - 1080TI G7-P40 PCIe-V100 GPU核心 GPU微架构 Pascal Pascal Volta 核心代号 GP104 GP102 GV100 Tensor

使用更加精巧的模型和Operator设计 - 使用模型压缩算法，在基本保障准确率的情况下大幅提升速度 - 利用最新的硬件特性，如GPU TensorCore/int8 *示意图来自互联网 Kubernetes在异构系统调度中的挑战 • Kubernetes版本发布快，新特性更新频繁，对异构调度的支持不断加强；但配套设施落后（e.g. Spark on K8s, GitlabCI) • 容器

����������������������������������������������������������������������������� 2 1.1.2 Pytorch 的模块与功能 �������������������������������������������������������������������������������������������������� 开发者生态社区，因为其开发效率高、特别容 易构建各种复杂的深度学习模型网络，因此很快得到大量人工 智能开发者的认可与追捧，也成为工业界最受欢迎的深度学习 框架之一。 Pytorch 发展至今，其版本跟功能几经迭代，针对不同的场景 任务分裂出不同的分支扩展库，比如针对自然语言处理（NLP） 的 torchtext、针对计算机视觉的 torchvision、针对语音处理 的 torchaudio，这些库支持快速模型训练与演示应用，可以 API/SDK 函数改动，性能有进一步需要提升的空间； 原型版本是新功能还不可以，需要开发不能通过 pip 方式直接 安装。 1.1.2 Pytorch 的模块与功能 Pytorch 当前支持绝大数的深度学习常见的算子操作，基于相 关的功能模块可以快速整合数据、构建与设计模型、实现模型 训练、导出与部署等操作。这些功能的相关模块主要有如下： 1）torch.nn 包，里面主要包含构建卷积神经网络的各种算子

Villa Garden Water Swimming Pool Tree Potted Plant Backyard 面部分析 在图像中定位人脸并分析面部的情绪，检测情感、姿势、地 标等特性 • 剪裁图片和重叠广告时需 要避开的面孔 • 获得人口学以及情感的数 据推荐最佳照片 • 提高在线约会匹配的推荐 • 动态的个性化广告 人脸比对 测量两张图片中同一个人的可能性 • 为应用和设备添加人脸

之间每个点概率密度相等的分布（其中： ）。 指数分布：在非负实数上有衰减的概率密度（其中： ）。 正态分布：又被称为高斯分布。 一些随机变量的概率密度函数和累积分布函数的形状如图2所示。 下表总结了这些分布的一些特性： 分布 概率密度函数(PDF)或者概率质量函数 (PMF) 均 值 方差 (泊松分布) 其中： (均匀分布) 存在 (高斯分 布) (指数分布) 3. 两个随机变量

自助采样法；随机选择特征是 指在每个节点在分裂过程中都是随机选择特 征的（区别与每棵树随机选择一批特征）。 这种随机性导致随机森林的偏差会有稍微的 增加（相比于单棵不随机树），但是由于随 机森林的“平均”特性，会使得它的方差减 小，而且方差的减小补偿了偏差的增大，因 此总体而言是更好的模型。 随机森林 数据集 自助采样 自助采样 自助采样 Bootstraping 10 2.AdaBoost和GBDT算法