Keras: 基于 Python 的深度学习库 Keras: The Python Deep Learning library* Author: Keras-Team Contributor: 万 震 (WAN Zhen) � wanzhenchn � wanzhen@cqu.edu.cn 2018 年 12 月 24 日 *Copyright © 2018 by Keras-Team Keras-Team 前 言 整理 Keras: 基于 Python 的深度学习库 PDF 版的主要原因在于学习 Keras 深度学习库时方 便本地查阅，下载最新 PDF 版本请访问: https://github.com/wanzhenchn/keras-docs-zh。 感谢 keras-team 所做的中文翻译工作，本文档制作基于此处。 严正声明：本文档可免费用于学习和科学研究，可自由传播，但切勿擅自用于商业用途，由 Otherwise, the contributor is not responsible for the consequences. 目录 I 目录 1 Keras: 基于 Python 的深度学习库 1 1.1 你恰好发现了 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 指导原则

Python 语言，而 Python 语言作为流行的人工智能开发语言一直很受研究者与 开发者的欢迎。其模型训练支持CPU与GPU、支持分布式训练、 云部署、针对深度学习特定领域有不同的丰富的扩展库。 1.1.1 Pytorch 历史 Pytorch 在 2016 年由 facebook 发布的开源机器学习（深度 学习）框架，Pytorch 最初的来源历史可以追溯到另外两个 机器学习框架，第一个是 智能开发者的认可与追捧，也成为工业界最受欢迎的深度学习 框架之一。 Pytorch 发展至今，其版本跟功能几经迭代，针对不同的场景 任务分裂出不同的分支扩展库，比如针对自然语言处理（NLP） 的 torchtext、针对计算机视觉的 torchvision、针对语音处理 的 torchaudio，这些库支持快速模型训练与演示应用，可以 帮助开发者快速搭建原型演示。此外在移动端支持、模型部署 的压缩、量化、服务器端云化部署、推理端 失功能、支持自定义的模型类（Module）等。通过它们就可 以实现大多数的模型结构搭建与生成。 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 pytorch 自带的模型库、模型训练时候可视化支持组件、检查 点与性能相关的组件功能。重要的类有数据集类（Dataset）, 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 相关类。

结、归纳出一些逻辑规则，并将逻辑规则以计算机程序的方式实现，来开发出智能系统。 但是这种显式的规则往往过于简单，并且很难表达复杂、抽象的概念和规则。这一阶段被 称为推理期。 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 的专家系统来模拟人类专家的智能水平。这些明确指定规则的方式存在一个最大的难题， 就是很多复杂、抽象的概念无法用具体的代码实现。比如人类对图片的识别、对语言的理 13 是一个基于 Python 语言、定位底层运算的计算库，Theano 同时支持 GPU 和 CPU 运 算。由于 Theano 开发效率较低，模型编译时间较长，同时开发人员转投 TensorFlow 等原因，Theano 目前已经停止维护。 ❑ Scikit-learn 是一个完整的面向机器学习算法的计算库，内建了常见的传统机器学习算 法支持，文档和案例也较为丰富，但是 Scikit-learn CPU。由于开发时间较早，在业界的知名度较高，2017 年 Facebook 推出了 Caffe 的升级版本 Cafffe2，Caffe2 目前已经融入到 PyTorch 库中。 ❑ Torch 是一个非常优秀的科学计算库，基于较冷门的编程语言 Lua 开发。Torch 灵活性 较高，容易实现自定义网络层，这也是 PyTorch 继承获得的优良基因。但是由于 Lua 语言使用人群较少，Torch

一键打包 端口探测 蓝绿部署/灰度发布 AUC/准确率/ 召回率/… 流量切换 版本更新 全量发布 … verson1 verson2 … kubenetes/olsubmit 模型库 3 在线机器学习-模型服务部署 • 模型评估 • 模型上线部署前指标评估 • 周期使用验证样本进行点击率预估 • 待部署模型与线上模型进行指标对比，评估是否满足上线条件 • 一键部署 • FM和DeepFM 等模型排序 排序损失 针对信息流业务场景，从 点击损失升级到排序损 失，基础模型为 DeepFM，排序损失为 BPR 召 回 排 序 • 深度学习模型训练：WeiLearn 样本库 WeiLearn-深度学习模型训练 CTR样本 自然语言样本 视频与图像样本 样本处理 CTR NLP 图片视频 VGG Yolo inception resnet GRU LSTM …… …… …… 调度 Docker 存储 PS/WeiPS 基础/IDE（WeiIDE） 开发套件 控制台 控制中心 算法/模型（WeiFlow） 模型训练/评估 样本库 模型库 模型服务/推荐引擎 数据/特征（WeiData） 数据/特征生成 数据/特征存储 数据/特征服务 2 平台架构 用户 微博 曝光/阅读 点击/互动 Feed流排序 数据样本

簇的质心移动到这个新位置。对所有其他簇重 复相同的步骤。 迭代更新 20 2.K-means聚类 K-means算法流程 优化 上述两个步骤是迭代进行的，直到质心停止移动，即它们不再改变自己的位置，并且成为静态的。一 旦这样做，k-均值算法被称为收敛。 设训练集为：{?(1), ?(2), ?(3), … , ?(?)}，簇划分? = {?1, ?2, ⋯ , ??}，用?1, ?2, . . . , of Applications with Noise)是一个比较有代表性的基于密度的聚类算法。它将簇 定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并 可在噪声的空间数据库中发现任意形状的聚类。 密度：空间中任意一点的密度是以该点为圆心，以扫描半径构成的圆区域内包 含的点数目。 30 密度聚类-DBSCAN DBSCAN使用两个超参数： 扫描半径 (eps)和

?? ?? = 1 20 3.静态图与动态图 •动态图：运算与搭建同时进行 •静态图：先搭建图，后运算 根据计算图搭建方式，可将计算图分为动态图和静态图 PyTorch 是支持动态图的，可以在进行运算的同时进行 TensorFlow 是支持静态图的，需要在计算之前，先进行搭 建（ TensorFlow 2.X引入了动态图 ） 21 4.静态图与动态图 TensorFlow:先搭建所有的计 TensorFlow:先搭建所有的计 算图之后，再把数据输入进去 PyTorch:动态图的搭建是根据 每一步的计算搭建的 创建图 运行每次迭代 每次迭代中创建图 22 4.静态图与动态图 23 4.向量化 02 梯度下降 01 二分类与逻辑回归 03 计算图 04 向量化 24 4.向量化 非向量化版本的for循环花费了大约718 毫秒，向量化版本花费了大约33毫秒。

v1.0 - 初版模型系统概览 • 房源特征 静态特征 时序特征 • 特征处理 特征提取 特征组合 离散化 • 模型预测 XGBoost • 分数映射 房源质量分数 M 2019 KE.COM ALL COPYRIGHTS RESERVED 17 房源特征  6大方向设计了90维特征  静态特征：69维  时序特征：21维  一套房源能否成交同很多因素相关 COPYRIGHTS RESERVED 46 总结&思考  AI选房解决的是房地产领域的TopN排序问题  AI选房采用了DNN + RNN的混合网络结构 - DNN，静态数据；RNN，时序数据 - DNN+RNN的混合模型，提供了静态数据+时序数据的解决方案  模型输出值并不能直接适用于业务，需要做一些转换 - 为了便于经纪人理解和指导经纪人， 采用分数映射和雷达图两种方式 2019 KE

/ 动态图 https://towardsdatascience.com/battle-of-the-deep-learning-frameworks-part-i-cff0e3841750 静态图 综合评价 PyTorch TensorFlow 1 TensorFlow 2 性能 生态 工业界 学术界 上手难度 易用性 兼容性 发展前景 0 小结 VS PyTorch生态

年提出的关联分析算法，它采 取如下分治策略：将提供频繁项集的数据库压缩到一棵频繁模式树（FP-Tree）， 但仍保留项集关联信息。 该算法是对Apriori方法的改进。生成一个频繁模式而不需要生成候选模式。 FP-growth算法以树的形式表示数据库，称为频繁模式树或FP-tree。 此树结构将保持项集之间的关联。数据库使用一个频繁项进行分段。这个片段被称 为“模式片段”。分析了这些碎 FP-growth算法只需要对数据库进行两次扫描，而Apriori算法在求每个潜在 的频繁项集时都需要扫描一次数据集，所以说Apriori算法是高效的。其中 算法发现频繁项集的过程是： (1)构建FP树； (2)从FP树中挖掘频繁项集。 28 3.FP-Growth算法 FP-growth算法思想 该算法和Apriori算法最大的不同有两点： 第一，不产生候选集 第二，只需要两次遍历数据库，大大提高了效率。 第二，只需要两次遍历数据库，大大提高了效率。 29 3.FP-Growth算法 FP-Tree （ Frequent Pattern Tree ） FP树(FP-Tree)是由数据库的初始项集组成的树状结构。 FP树的目的是挖掘最 频繁的模式。FP树的每个节点表示项集的一个项。 根节点表示null，而较低的节点表示项集。在形成树的同时，保持节点与较 低节点（即项集与其他项集）的关联。 30 3.FP-Growth算法

CHAPTER1 文档 1.1 安装 要快速上手 Qwen1.5，您可以从 Hugging Face 安装 transformers 库，并使用 Qwen1.5 Collection 中的模型。 我们建议您安装最新版本的 transformers 库，或者至少安装 4.37.0 版本。 1.1.1 Pip 安装 pip install transformers -U 1.1.2 Conda Transformers 实现 Chat Qwen1.5 最重要同时也最简单的用途是通过 transformers 库实现 Chat 功能。在本文档中，我们将展示如何在 流式模式或非流式模式下与 Qwen1.5-7B-Chat 进行对话。 1.3.1 基本用法 你只需借助 transformers 库编写几行代码，就能与 Qwen1.5-Chat 进行对话。实质上，我们通过 from_pretrained torch_dtype="auto", device_map="auto", attn_implementation="flash_attention_2", ) 请 注 意， 原 Qwen 仓 库 中 的 旧 方 法 chat() 现 在 已 被 generate() 方 法 替 代。 这 里 使 用 了 apply_chat_template() 函数将消息转换为模型能够理解的格式。其中的