2D函数优化实例 主讲人：龙良曲 Himmelblau function Minima Plot Gradient Descent 下一课时 MNIST反向传播 Thank You.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 5.3.1 实例化网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205 5.4 自定义层 . . . . . . . . . . . . . . . . . 504 12.1.2 混合式编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506 12.1.3 Sequential的混合式编程 . . . . . . . . . . . . . . . . . . . . . 内存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517 12.4.3 存储器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518 12.4.4 CPU

2 MNIST 图片重建实战 12.3 自编码器变种 12.4 变分自编码器 12.5 VAE 实战 12.6 参考文献 第 13 章 生成对抗网络 13.1 博弈学习实例 13.2 GAN 原理 13.3 DCGAN 实战 13.4 GAN 变种 预览版202112 13.5 纳什均衡 13.6 GAN 训练难题 13.7 WGAN ∈ {0,1} ∈ {0,1} 图 1.4 MP 神经元模型 1958 年，美国心理学家 Frank Rosenblatt 提出了第一个可以自动学习权重的神经元模 型，称为感知机(Perceptron)，如图 1.5 所示，输出值?与真实值 之间的误差用于调整神经 元的权重参数{? , ? , … , ? }。Frank Rosenblatt 随后基于“Mark 1 底抛弃了，目前 在图片识别、目标检测、语义分割、图像变换等方向，几乎都是基于深度学习端到端地训 练，获得的模型性能好，适应性强；在 Atria 游戏平台上，DeepMind 设计的 DQN 算法模 型可以在相同的算法、模型结构和超参数的设定下，在 49 个游戏上获得人类相当的游戏水 平，呈现出一定程度的通用智能。图 1.14 是 DQN 算法的网络结构，它并不是针对于某个 游戏而设计的，而是可以控制

在部署时的应用实例。 1.2.1 Hugging Face Transformers & ModelScope 要快速上手 Qwen1.5，我们建议您首先尝试使用 transformers 进行推理。请确保已安装了 transformers>=4. 37.0 版本。以下是一个非常简单的代码片段示例，展示如何运行 Qwen1.5-Chat 模型，其中包含 Qwen1. 5-7B-Chat 的实例： from max_new_tokens=512, streamer=streamer, ) 除了使用 TextStreamer 之外，我们还可以使用 TextIteratorStreamer ，它将可打印的文本存储在一 个队列中，以便下游应用程序作为迭代器来使用： # Repeat the code above before model.generate() # Starting here, we add streamer AVX、AVX2 和 AVX512 加速支持。此 外，它还提供了 2、3、4、5、6 以及 8 位量化功能，以加快推理速度并减少内存占用。对于大于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 混合推理模式进行部分加速。本质上，llama.cpp 的用途在于运行 GGUF（由 GPT 生成的统一格式）模型。欲了解更多详情，请参阅官方 GitHub 仓库。以下我们将演示如何 使用 llama.cpp

通过 compile 方法完成的。它接收三个参数： • 优化器 optimizer。它可以是现有优化器的字符串标识符，如 rmsprop 或 adagrad，也可以 是 Optimizer 类的实例。详见：optimizers。 • 损失函数 loss，模型试图最小化的目标函数。它可以是现有损失函数的字符串标识符，如 categorical_crossentropy 或 mse，也可以是一个目标函数。详见：losses。 顺序模型比较熟悉。 让我们先从一些简单的例子开始。 3.2.2 例一：全连接网络 Sequential 模型可能是实现这种网络的一个更好选择，但这个例子能够帮助我们进行一些 简单的理解。 • 网络层的实例是可调用的，它以张量为参数，并且返回一个张量 • 输入和输出均为张量，它们都可以用来定义一个模型（Model） • 这样的模型同 Keras 的 Sequential 模型一样，都可以被训练 from import Input, Dense from keras.models import Model # 这部分返回一个张量 inputs = Input(shape=(784,)) # 层的实例是可调用的，它以张量为参数，并且返回一个张量 x = Dense(64, activation='relu')(inputs) x = Dense(64, activation='relu')(x)

基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 排序 混排 模型 管理 上线 管理 ⽆量 RGW/Cos/ kafka 样本 存储 实时样本 ⽣成服务 离线样本 ⽣成任务 数据 通道 特征 处理 模型 登记 模型 上线 预测 请求 数据 落地 ⽆量 ⽤户⾏为数据上报 特征 库 内容 获取 请求 � 推荐场景的重要性 的特点） 训练框架—基于参数服务器架构的分布式训练框架 TB级模型 分⽚ 存储/更新 百TB数据 分⽚训练 Feature 1: 动态空间 Feature 2.1:短时间内只有部分item和user 被命中，只有部分参数被⽤到 参数按需 获取/更新 Storage 异步训练流⽔线和多级存储：提升性能，降低内存成本 � 问题： � Learner线程中参数拉取和参数更新对性能影响⼤ Learner线程中参数拉取和参数更新对性能影响⼤ � 内存成为主要资源瓶颈。由于需要等待全部参数 就绪，Parameter Server难以利⽤速度慢的存储 介质 样本读取 样本解析 参数拉 取 训练 参数更新 查询Sparse Table 查询Dense Tensor Reader Learner Worker 返回参数 Request Handler Parameter Server 查询Sparse

2016年 C轮融资 估值20亿美元 9 机器学习的范围 10 • 给定数据的预测问题 ✓ 数据清洗/特征选择 ✓ 确定算法模型/参数优化 ✓ 结果预测 • 不能解决什么 ✓ 大数据存储/并行计算 ✓ 做一个机器人 机器学习可以解决什么问题 11 机器学习发展史 总的来说，人工智能经历了逻辑推理、知识工程、机器 学习三个阶段。 机器学习伴随着人工智能的发展而诞生，它是人工智能 )。 其中，?是输入，?是输出。 在无监督学习中，概率模型可被表示为?(?|?)，非概率模型则为? = ?(?)。 其中，?是输入，?是输出。 21 决策树、朴素贝叶斯、隐马尔科夫模型、高斯混合模型属于概率模型。 感知机、支持向量机、KNN、AdaBoost、K-means以及神经网络均属于非概 率模型。 对于非概率模型而言，可按照判别函数线性与否分成线性模型与非线性模型。 感知机 −∞ < ? < +∞ (6)指数分布:?(?): ?(?) = ቊ ??−??, ? > 0, ? > 0 0, 49 概率论与数理统计 数学期望 离散型：? ? = ?? = ??, ?(?) = σ? ???? 连续型： ?~?(?), ?(?) = ׬−∞ +∞ ??(?)?? 性质： (1) ?(?) = ?, ?[?(?)] = ?(?) (2) ?(?1? +

Retrieval Image Generation Video Caption EasyVision: 图像视频算法库 Bert TextInput Optim izer 性能优越:  分布式存储  分布式查询 功能完备:  GSL/负采样  主流图算法  异构图 (user/item/attribute)  动态图 标准化: Standard Libraries Graph-Learn: 准确率领先同类产品  集成方便 标准化: Standard Solutions 智能推荐解决方案: 推荐请求 PAI-Studio–建模平台 召 回 模 型 EasyRec GraphLearn Alink 排 序 模 型 模型训练评估 PAI-EAS – 模型推理 model1 model2 … PAI-ABTest A/B流量划分 PAI-Rec Prometheus Grafana 读取metric 消息队列(datahub/kafka) PAI-REC平台 自动化降级 负载均衡 灰度发布 超时控制 平台支持 日志SLS 在线存储 Hologres/OTS BE Redis 读取数据 向量引擎 BE/Hologres/Faiss/Milvus 向量检索 冷启动召 回 冷启动排 序 Pipeline1

AWS解决方案架构师 March 17, 2017 Amazon 的人工智能&深度学习 围绕数据的“飞轮” 机器学习 深度学习 人工智能 更多的用户 更好的产品 更多的数据 更好的分析 对象存储 数据库 数据仓库 数据流分析 商业智能 Map/Reduce 内存数据库 数据检索 点击流 用户活动 内容生成 购买 点击 喜好 传感器数据 机器学习& 人工智能 大数据 更多的用户 更好的产品 Caffe Torch 预配置的 CUDA 驱动 Anaconda, Python3 + CloudFormation 模版 + 容器镜像文件 全新的 EC2 P2 实例 | 高达16 块 GPUs ▪ 这款新实例类型包含了高达 8个 NVIDIA Tesla K80 Accelerators, 每个运行一对 NVIDIA GK210 GPUs. ▪ 每块GPU 提供 12 GiB Gigabit 深度学习框架 – MXNet 概述 MXNet • 节省以及资源效率 • 工程中廉价的GPUs、较小的内存以及网络的限制 • 速度 • 线性的扩展能力 • 简单 • 混合了声明式（declarative）和命令式()代码的特点 为什么选择 MXNet ？ MXNet: 可扩展的深度学习框架 MXNet 框架的特点 命令式 NDArray API 声明式 Symbolic

arrays对象、Pandas对象、SciPy的稀 疏 矩阵及其他可转换为数值型arrays的数据结构作为其输入，前提是 数据必须是数值型的 ✓sklearn.datasets模块提供了一系列加载和获取著名数据集如鸢尾 花、波士顿房价、Olivetti人脸、MNIST数据集等的工具，也包括了一 些toy data如S型数据等的生成工具 from sklearn.datasets import load_iris 11 2.Scikit-learn主要用法 使⽤Scikit-learn进⾏数据标准化 from sklearn.preprocessing import StandardScaler 构建转换器实例 scaler = StandardScaler() 拟合及转换 scaler.fit_transform(X_train) 数据预处理 Z-Score标准化 ?∗ = ? − ? ? 基模型都可以作为estimator参数传入 14 2.Scikit-learn主要用法 监督学习算法-回归 from sklearn.linear_model import LinearRegression 构建模型实例 lr = LinearRegression(normalize=True) 训练模型 lr.fit(X_train, y_train) 作出预测 y_pred = lr.predict(X_test)