激活函数及其梯度 主讲人：龙良曲 Activation Functions Derivative Sigmoid / Logistic Derivative torch.sigmoid Tanh = 2??????? 2? − 1 Derivative torch.tanh Rectified Linear Unit Derivative F.relu 下一课时 Loss及其梯度

常见函数梯度 主讲人：龙良曲 Common Functions ?? + ? ??? + ?? ??? + ?? [? − (?? + ?)]? ?log(?? + ?) 下一课时 什么是激活函数 Thank You.

激活函数与GPU加速 主讲人：龙良曲 Leaky ReLU simply SELU softplus GPU accelerated 下一课时 测试 Thank You.

的相同的栈式 LSTM 模型 . . . . . . . . . . . . 15 3.2 函数式 API 指引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.1 开始使用 Keras 函数式 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.2 Sequential 顺序模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2.1 Sequential 顺序模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4.3 函数式 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49 4.3.1 Model 类 API . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . 81 2.7.1 查找模块中的所有函数和类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.2 查找特定函数和类的用法 . . . . . . . . . . . . . . . . . . . . . . . . . . . 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.6 定义优化算法 . . . 4 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 ii 3.3.6 定义优化算法

1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 损失函数梯度 7.5 全连接层梯度 预览版202112 7 7.6 链式法则 7.7 反向传播算法 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 WGAN 原理 13.8 WGAN-GP 实战 13.9 参考文献 第 14 章 强化学习 14.1 先睹为快 14.2 强化学习问题 14.3 策略梯度方法 14.4 值函数方法 14.5 Actor-Critic 方法 14.6 小结 14.7 参考文献 第 15 章 自定义数据集 15.1 精灵宝可梦数据集 15.2 自定义数据集加载流程

本书内容以 Python 完成全部代码构建与程序演示。本章的主要目标是帮助初 次接触 Python 与 Pytorch 的读者搭建好开发环境，认识与理解 Pytorch 框架 中常见的基础操作函数、学会使用它们完成一些基础的数据处理与流程处理， 为后续内容学习打下良好基础。 好了，下面就让我们来一起开启这段 Pytorch 框架的深度学习破冰之旅。 PyTorch + OpenVINO Release)、Beta 版本、原型版本（Prototype）。 其中稳定版本长期支持维护没有明显的性能问题与缺陷，理论 上支持向后兼容的版本；Beta 版本是基于用户反馈的改动版 本，可能有 API/SDK 函数改动，性能有进一步需要提升的空间； 原型版本是新功能还不可以，需要开发不能通过 pip 方式直接 安装。 1.1.2 Pytorch 的模块与功能 Pytorch 当前支持绝大数的深度学习常见的算子操作，基于相 训练、导出与部署等操作。这些功能的相关模块主要有如下： 1）torch.nn 包，里面主要包含构建卷积神经网络的各种算子 操作，主要包括卷积操作（Conv2d、Conv1d、Conv3d）激 活函数、序贯模型 (Sequential)、功能函数 (functional)、损 失功能、支持自定义的模型类（Module）等。通过它们就可 以实现大多数的模型结构搭建与生成。 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、

下，我们将展示如何使用 vLLM 构建一个与 OpenAI API 兼容的 API 服务。 首先，确保你已经安装 vLLM>=0.3.0 ： pip install vllm 运行以下代码以构建 vllm 服务。此处我们以 Qwen1.5-7B-Chat 为例： python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen1.5-7B-Chat OpenAI's API key and API base to use vLLM's API server. openai_api_key = "EMPTY" openai_api_base = "http://localhost:8000/v1" client = OpenAI( (续下页) 1.2. 快速开始 5 Qwen (接上页) api_key=openai_api_key, b base_url=openai_api_base, ) chat_response = client.chat.completions.create( model="Qwen/Qwen1.5-7B-Chat", messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content":

(2016) Chitchat-Bot: 开域闲聊机器人 闲聊机器人 • Seq2seq+Attention Question 闲聊机器人 • 问题 • 容易产生“安全”的答案 • 目标函数中考虑 • 对话容易继续进行 • 降低产生“我不知道”这类答案的可能性 • 带来新的信息 • 让产生的答复与之前的不同 • 语义要连贯 • 加入互信息：同时考虑从answer到question的概率 清晰的知识结构和边界 • 非标准化服务，信息不对称 • 能够通过数据积累提升服务质量 • 能够建立知识和技术壁垒 • 对话作为粘合剂 • 用户画像，推荐系统，营销转化 爱因互动：API in, API out 各路API，快速对接 爱因互动合作示例 • 在线订餐位 • 合作方向：售前、售后；金融、保险 启示 • 如果无法理解问题，那就尽可能给出正确答案 • 焦点词（Focus） •

implement forward() Step1. Step2. Step3. nn.ReLU v.s. F.relu() ▪ class-style API ▪ function-style API Train 下一课时 激活函数与GPU Thank You.