扩增数据 – 各种图像增强，加噪声 • 非监督学习 - 聚类 • 迁移学习 – 利用相似任务训练好的网络 • 生成样本数据 – 深度生成对抗网络 SACC2017 深度学习 训练框架 和 硬件选择 不同场景，不同框架 特性 GTX - 1080TI G7-P40 PCIe-V100 GPU核心 GPU微架构 Pascal Pascal Volta 核心代号 GP104 GP102 预算少1080 TI SACC2017 深度学习 – 打通训练和应用的闭环 RapidFlow 训练平台 底层硬件加速 操作系统 应用场景 add conv w x b 公共计算库 X86 优化 Android 优化 iOS 优化 GPU 优化 内存池 硬件设备 网络模型 • 越来越多的应用场景，云服务，Android，iOS, 闸机嵌入式 • 越来越复杂的限制条件， 热任务/监控数据/集群信息 • 任务监控与自动重启 • 分布式多机训练，不可避免遇到由于硬件/网 络波动引起的异常 • 监控任务运行状况，当任务发生异常时，选 择不同的重启策略 • 集群管理与监控 • 节点心跳异常告警 • 运维工具化，快速屏蔽/启动异常机器 • 灵活的资源分配 • 支持以 GPU 或节点为粒度进行资源分配 • 用户配置任务所需最小资源 • 自动扩缩容，最大化资源使用率 • 支持不同计算框架

. 35 3.3.18 如何在 Keras 中使用 HDF5 输入？ . . . . . . . . . . . . . . . . . . . . . . . 35 3.3.19 Keras 配置文件保存在哪里？ . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.3.20 如何在 Keras 开发过程中获取可复现的结果？ . 2 从一个后端切换到另一个后端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 14.3 keras.json 详细配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 14.4 使用抽象 Keras 后端编写新代码 Keras 遵循减少认知困难的最佳实践：它提供一致且简单的 API，将常见用例所需的用户 操作数量降至最低，并且在用户错误时提供清晰和可操作的反馈。 • 模块化。模型被理解为由独立的、完全可配置的模块构成的序列或图。这些模块可以以尽 可能少的限制组装在一起。特别是神经网络层、损失函数、优化器、初始化方法、激活函 数、正则化方法，它们都是可以结合起来构建新模型的模块。 • 易扩展性。新

智能推荐解决方案 > PAI-REC 推荐引擎 PAI-REC 推荐引擎 多路召回 曝光/状态过滤 粗排/精排 策略[类目打散、流量控制、…] 实时采集后端日志 PAI-REC 配置中心 AB实验 实验工具 拉取配置 监控报警 Prometheus Grafana 读取metric 消息队列(datahub/kafka) PAI-REC平台 自动化降级 负载均衡 灰度发布 Service (SaaS) 机器学习框架(PAI-TensorFlow/PAI-PyTorch/Caffe /Alink/…) 计算引擎(MaxCompute / EMR / Flink) 基础硬件（CPU/GPU/FPGA/NPU） 阿里云容器服务(ACK) • 200+组件 • 数十个场景化模版 • 所见即所得 交互式建模（DSW） • JupyterLab、WebIDE • Intelligence） Deep Learning Container 数据量大而全 先进的模型结构 业务场景复杂 计算力强、性价比高 提供 支撑 支撑 支撑 促进 促进 开源生态 系统 硬件 模型 生态系统 外循环 内循环 贡献 对接 PAI平台的优势 1. 机器学习PAI: https://help.aliyun.com/product/30347.html 2.

12.3.2 并行计算与通信 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 513 12.4 硬件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 516 结合在一起。应用深度学习需 要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学； （3）将模型拟合数据的优化算法； （4） 能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 在我们开始写这本书的时候，没有资源能够同时满足一些条件：（1）是最新的；（2）涵盖了现代机器学习的 到问 题的答案。 Discussions7 6 https://discuss.d2l.ai/ 7 https://discuss.d2l.ai/t/2086 8 目录 安装 我们需要配置一个环境来运行 Python、Jupyter Notebook、相关库以及运行本书所需的代码，以快速入门并 获得动手学习经验。 安装 Miniconda 最简单的方法就是安装依赖Python 3

等扩展功能纳入其中。赶快去探索更多高级 用法，并将它们应用于 Qwen 模型中吧！ 1.7 AWQ 对于量化模型，我们推荐使用 AWQ 结合 AutoAWQ 。AWQ 即激活感知权重量化，是一种针对 LLM 的低比 特权重量化的硬件友好方法。而 AutoAWQ 是一个易于使用的工具包，专门用于 4 比特量化模型。相较于 FP16，AutoAWQ 能够将模型的运行速度提升 3 倍，并将内存需求降低至原来的 1/3。AutoAWQ [--use_lora␣ �→True] [--q_lora True] 为您的模型指定 ，为您的数据指定 ，并为您的 Deepspeed 配置指定 。如果您使用 LoRA 或 Q-LoRA，只需根据您的需求添加 --use_lora True 或 --q_lora True 。这是开始微调的最简单方式。如果您想 默认设置。在命令行中， 您可以通过传入参数 -m 和 -d 来分别指定模型路径和数据路径。您还可以通过传入参数 --deepspeed 来 指定 Deepspeed 配置文件。我们为您提供针对 ZeRO2 和 ZeRO3 的两种配置文件，您可以根据需求选择其中 之一。在大多数情况下，我们建议在多 GPU 训练中使用 ZeRO3，但针对 Q-LoRA，我们推荐使用 ZeRO2。 有一系列需要调节的超参数。您可以向程序传递

型，称为感知机(Perceptron)，如图 1.5 所示，输出值?与真实值 之间的误差用于调整神经 元的权重参数{? , ? , … , ? }。Frank Rosenblatt 随后基于“Mark 1 感知机”硬件实现感知 机模型，如图 1.6、图 1.7 所示，输入为 400 个单元的图像传感器，输出为 8 个节点端 子，它可以成功识别一些英文字母。一般认为 1943 年~1969 年为人工智能发展的第一次兴 GPU 上从 零开始训练了 40 天才得以超越所有的 AlphaGo 历史版本；自动网络结构搜索算法使用了 800 块 GPU 同时训练才能优化出较好的网络结构。 目前普通消费者能够使用的深度学习加速硬件设备主要来自 NVIDIA 的 GPU 显卡， 图 1.12 例举了从 2008 年到 2017 年 NVIDIA GPU 和 x86 CPU 的每秒 10 亿次的浮点运算数 (GFLOPS)的指标变换曲线。可以看到，x86 命令行，输入“nvcc - V”，即可打印当前 CUDA 的版本信息，如图 1.29 所示，如果命令无法识别，则说明安装 失败。同时也可以从系统环境变量 Path 中找到 CUDA 10.1 的路径配置，如图 1.28 所示。 图 1.27 CUDA 安装界面-3 图 1.28 CUDA 安装结果测试-1 图 1.29 CUDA 安装结果测试-2 1.6.3 PyTorch

智能芯片技术、机器学习 芯片 英国 2016年 D轮融资 估值17亿美元 15 NVIDIA（英伟达） 智能芯片技术 芯片 美国 1993年 上市 市值1450亿美元 16 Brainco 脑机接口 教育、医疗、智能硬件 美国 2015年 天使轮融资 融资额600万美元 17 Waymo 自动驾驶 交通 美国 2016年 C轮融资 估值1050亿美元 18 ABB Robotics 机器人及自动化技术 机器人 瑞士 神经元 (z ) 1 (z ) = e− z 1 + z 24 主要的几种神经网络 标准神经网络(NN) 递归神经网络 (RNN) 卷积神经网络(CNN) 25 深度学习的硬件 26 • TPU (Tensor Processing Units) Google Cloud TPU. https://cloud.google.com/tpu NVIDIA V100 64GB 128GB FLOPS Double: 7 TFLOPS Single: 14 TFLOPS DL: 112 TFLOPS 180 TFLOPS 420 TFLOPS 深度学习的硬件 27 • 提问：训练一个模型需要多大开销？ • 以训练 BERT-large 模型为例, 16 Cloud TPUs = 16 * 4.5 = 72 USD / hour One-day

SLAM应用介绍 • 增强现实：Google Tango Google的Tango项目演示视频 Tango为终端开发者提供了从硬件到软件的整套AR开发套件 SLAM应用介绍 • 混合现实：微软HoloLens HoloLens融合了场景位置感知和头盔显示技术，并提供了完整的软硬件解决方案。 Hololens部分传感器 左右双目+前视RGB摄像头+深度传感器 Hololens宣传视频 视觉SLAM 视觉SLAM • 主要传感器 • 单目摄像头 • 双目摄像头 • 多目摄像头 • 其它辅助传感器 • 廉价IMU、GPS • 深度传感器 • 优势 • 硬件成本低廉 • 小范围内定位精度较高 • 无需预先布置场景 基本原理：多视图几何 投影函数 主要模块 • 特征跟踪 • 获得一堆特征点轨迹 • 相机姿态恢复与场景三维结构恢复 • 求解相机参数和三维点云 • 如何处理循环回路序列和多视频序列？

360浏览器 月活跃用户数量为3.03亿 360导航 日均独立访问用户为8900万人 日均点击量约为4.51亿次 360搜索 稳定拥有35%以上的市场份额 中国最大的互联网安全公司 360智能硬件 智能摄像头超400万，儿童手表超 350万，行车记录仪超300万 SACC2017 奇虎360 安全 ——360的基因 SACC2017 【万物互联的新时代】 线上安全 线下安全 泛

在严肃应用中，客户追求100%准确率，算法性能提升永无止境 • 深度学习模型需要在准确率和速度上做均衡 - 使用更加精巧的模型和Operator设计 - 使用模型压缩算法，在基本保障准确率的情况下大幅提升速度 - 利用最新的硬件特性，如GPU TensorCore/int8 *示意图来自互联网 Kubernetes在异构系统调度中的挑战 • Kubernetes版本发布快，新特性更新频繁，对异构调度的支持不断加强；但配套设施落后（e