自定义数据集实战 主讲：龙良曲 Pokemon Go! Pokemon Dataset https://www.pyimagesearch.com/2018/04/16/keras-and-convolutional-neural-networks-cnns/ Download ▪ 链接: https://pan.baidu.com/s/1V_ZJ7ufjUUFZwD2NHSNMFw

2.4 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.5 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 3.2.6 定义优化算法 3.3 定义模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 3.3.4 初始化模型参数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.5 定义损失函数 定义损失函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 ii 3.3.6 定义优化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 3.3.7 训练 . . . . . .

LSTM 模型 . . . . . . . . . . . . 15 3.2 函数式 API 指引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.1 开始使用 Keras 函数式 API . . . . . . . . . . . . . . . . . . . . . . 29 3.3.6.3 只保存/加载模型的权重 . . . . . . . . . . . . . . . . . . . . . . . . 29 3.3.6.4 处理已保存模型中的自定义层（或其他自定义对象） . . . . . . . 30 3.3.7 为什么训练误差比测试误差高很多？ . . . . . . . . . . . . . . . . . . . . . . 31 3.3 . . . . . . . . . . . . . 39 4.2 Sequential 顺序模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2.1 Sequential 顺序模型 API . . . . . . . . . . . . . . . . . . . . . . . . .

高等数学 1.导数定义： 导数和微分的概念 ?′(?0) = lim ??→0 ?(?0+??)−?(?0) ?? （1） 或者：?′(?0) = lim ?→?0 ?(?)−?(?0) ?−?0 （2） 2.左右导数导数的几何意义和物理意义 函数?(?)在?0处的左、右导数分别定义为： 左导数：?′−( (0) = ?，?(0) = ? 机器学习的数学基础 4 9.微分中值定理，泰勒公式 Th1:(费马定理) 若函数?(?)满足条件： (1)函数?(?)在?0的某邻域内有定义，并且在此邻域内恒有 ?(?) ≤ ?(?0)或?(?) ≥ ?(?0), (2) ?(?)在?0处可导,则有 ?′(?0) = 0 Th2:(罗尔定理) 设函数?(?)满足条件： 1, ?2, ⋯ , ??使其两两正交，且??仅是?1,?2, ⋯ , ??的线性 组合(? = 1,2,⋯ , ?)，再把??单位化，记?? = ?? |??|，则?1, ?2, ⋯ , ??是规范正交向量组。其中 ?1 = ?1， ?2 = ?2 − (?2,?1) (?1,?1) ?1 ， ?3 = ?3 − (?3,?1) (?1,?1) ?1 − (?3,?2) (

相关概念 02 特征构建 03 特征提取 04 特征选择 4 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 文献解读 定义 目的 作用 是把原始数据转变为模型的训练数据的过程 获取更好的训练数据特征，使得机器学习模型逼 近这个上限 ➢ 使模型的性能得到提升 ➢ 在机器学习中占有非常重要的作用 构成 ➢ 特征构建 ，或是分解或切分原有的 特征来创建新的特征 2. 特征构建 在原始数据集中的特征 的形式不适合直接进行 建模时，使用一个或多 个原特征构造新的特征 可能会比直接使用原有 特征更为有效。 9 归一化（最大 - 最小规范化） ?∗ = ? − ?min ?max − ?min 将数据映射到[0,1]区间 Z-Score标准化 ?∗ = ? − ? ? ?2 = 1 ? ෍ ?=1 ? (? ? 化，所以数据归一化是会改变特征数据分 布的。 数据标准化为了不同特征之间具备可比性 ，经过标准化变换之后的特征数据分布没 有发生改变。 就是当数据特征取值范围或单位差异较大时 ，最好是做一下标准化处理。 数据规范化 使不同规格的数据转换到同一规格。 2. 特征构建 10 定量特征二值化 设定一个阈值，大于阈值的赋值为1，小于等于阈值的赋值为0，使 用preproccessing库的Binarizer类对数据进行二值化的代码如下：

词汇表征和文本数据处理 28 4.GloVe GloVe代表用词表示的全局变量（global vectors for word representation）。 对于GloVe算法，我们可以定义上下文和目标词为任意两个位置相近的单词，假 设是左右各10词的距离，那么???就是一个能够获取单词?和单词?出现位置相近时 或是彼此接近的频率的计数器。 GloVe模型做的就是进行优化，我们将他们之间的差距进行最小化处理： 多任务，最终无需为每个任务手动创 建和标记训练数据集。 ✓ 机器学习系统通过使用大型数据集、高容 量模型和监督学习的组合，在训练任务方 面表现出色，然而这些系统较为脆弱，对 数据分布和任务规范的轻微变化非常敏感， 因而使得AI表现更像狭义专家，并非通才。 GPT-2要 解决和优 化的问题 ◼ GPT-2（2019.2）在GPT-1的基础上进行诸多改进，实现执行任务多样性，开始学习在不需要明确监督的情 model）——增强学习优化SFT (第二、第三步可以迭代循 环多次) 图：InstructGPT训练三步骤各自对应的数据集规模如下图所示（labeler指的是OpenAI的标注人员，customer指GPT-3 API的用户） GPT的发展 40 ChatGPT核心技术优势 资料来源：《Training language models to follow instructions with human feedback》论文

手写体数字介绍 MNIST 数据集中的图像都是256阶灰度图，即灰度值 0 表示白色（背景），255 表示 黑色（前景），使用取值为［0，255］的uint8数据类型表示图像。为了加速训练，我 们需要做数据规范化，将灰度值缩放为［0，1］的float32数据类型。 255 0 MNIST 手写体数字介绍 下载和读取 MNIST 数据集 一个曾广泛使用（如 chapter-2/basic-model 法真正流行起来，并带来了神经网络在80年代的辉煌。 计算梯度 MNIST Softmax 网络 将表示手写体数字的形如 [784] 的一维向量作为输入；中间定义2层 512 个神经元的隐藏层，具 备一定模型复杂度，足以识别手写体数字；最后定义1层10个神经元的全联接层，用于输出10 个不同类别的“概率”。 实战 MNIST Softmax 网络 MNIST Softmax 网络层 “Hello 卷积是分析数学中的一种基础运算，其中对输入数据做运算时所用到的函数称为卷积核。 设:f(x), g(x)是R上的两个可积函数，作积分： 可以证明，关于几乎所有的实数x，上述积分是存在的。这样，随着x的不同取值，这个积分就 定义了一个如下的新函数，称为函数f与g的卷积 卷积层（Convolutional Layer, conv） 卷积层是使用一系列卷积核与多通道输入数据做卷积的线性计算层。卷积层的提出是为了利用 输入

ImageCaptcha.generate(‘1234’) – 生成验证码图像 “Hello TensorFlow” Try it 输入与输出数据处理 输入数据处理 图像处理：RGB图 -> 灰度图 -> 规范化数据 输入数据处理 适配 Keras 图像数据格式：“channels_frist” 或 “channels_last” 输出数据处理 One-hot 编码：验证码转向量 输出数据处理 交叉熵（Cross-Entropy, CE） 我们使用交叉熵作为该模型的损失函数。 虽然 Categorical / Binary CE 是更常用的损失函数，不过他们都是 CE 的变体。 CE 定义如下： 对于二分类问题 (C‘=2) ，CE 定义如下： Categorical CE Loss（Softmax Loss） 常用于输出为 One-hot 向量的多类别分类（Multi-Class Classification）模型。

直播行业的快速兴起，使得视频中不良信 息含量更加迅猛增长，色情暴力等不雅视 频频繁流出，导致各网络直播平台面临危 机。 Ø 内容监管日趋严格， 2017年上半年，各 大直播行业协会相应成立，行业平台自我 规范的同时，网信办、文化部等国家部门 对于直播行业监管也越发严格，几乎所有 知名的直播平台均被有关部门点名查处过， 特别2017 年月中旬，黄鳝事件引爆网络， 让色情直播再度被推上舆论浪尖。 • 支持以 GPU 或节点为粒度进行资源分配 • 用户配置任务所需最小资源 • 自动扩缩容，最大化资源使用率 • 支持不同计算框架 • 调度与任务松耦合，用户可以灵活定义任务 • 支持配置 docker 镜像，完全自定义运行环 境 • 良好的用户体验 • 完善的客户端工具 • 任务进度微信提醒 SACC2017 proto model graph. pb 深度网络计算图

dates_index = pd.date_range('2018-01-01', periods=5, freq='W-SUN') 24 创建固定频率的时间序列 如果日期中带有与时间相关的信息，且想产 生一组被规范化到当天午夜的时间戳，可以 将normalize参数的值设为True。 pd.date_range(start='2018/8/1 12:13:30', periods=5, normalize=True ➢ min_periods -- 每个窗口最少包含的观测值数量。 ➢ center -- 是否把窗口的标签设置为居中。 ➢ win_type -- 表示窗口的类型。 ➢ closed -- 用于定义区间的开闭。 58 时序模型—ARIMA 01 时间序列的基本操作 02 固定频率的时间序列 03 时间周期及计算 04 重采样 05 数据统计—滑动窗口