轮次，通常被定义为「在整个数据集上的一轮迭代」，用于训练的不同的阶段，这 有利于记录和定期评估。 • 当在 Keras 模型的 fit 方法中使用 evaluation_data 或 evaluation_split 时，评估将在 每个 epoch 结束时运行。 • 在 Keras 中，可以添加专门的用于在 epoch 结束时运行的 callbacks 回调。例如学习率变化 和模型检查点（保存）。 3 patience=2) model.fit(x, y, validation_split=0.2, callbacks=[early_stopping]) 更多信息请查看 callbacks 文档。 3.3.11 验证集划分是如何计算的？ 如果您将 model.fit 中的 validation_split 参数设置为 0.1，那么使用的验证数据将是最 后 10％的数据。如果设置为 0 后记录训练集和验证集的误差和准确率？ model.fit 方法返回一个 History 回调，它具有包含连续误差的列表和其他度量的 history 属性。 hist = model.fit(x, y, validation_split=0.2) print(hist.history) 快速开始 33 3.3.14 如何「冻结」网络层？ 「冻结」一个层意味着将其排除在训练之外，即其权重将永远不会更新。这在微调模型或使 用固定的词向量进行文本输入中很有用。

tensorflow.keras import layers, optimizers train_ds, val_ds, test_ds = tfds.load( 'oxford_flowers102', split=['train', 'validation', 'test'], as_supervised=True, read_config=tfds.ReadConfig(try_autocache=False) which samples the search space to generate candidate architectures. The candidates are used as a reference to construct the child networks which are trained on the problem dataset and their performance metrics baseline_accuracy=.1, ) train_ds, val_ds = tfds.load( 'cifar10', split=['train[:80%]', 'train[20%:]'], as_supervised=True ) We do a 80-20 split of the training set to create training and validation splits

sha1_hash = DATA_HUB[name] os.makedirs(cache_dir, exist_ok=True) fname = os.path.join(cache_dir, url.split('/')[-1]) if os.path.exists(fname): sha1 = hashlib.sha1() with open(fname, 'rb') as f: while True: 5. 深度学习计算 torch.cuda.device_count() 2 现在我们定义了两个方便的函数，这两个函数允许我们在不存在所需所有GPU的情况下运行代码。 def try_gpu(i=0): #@save """如果存在，则返回gpu(i)，否则返回cpu()""" if torch.cuda.device_count() >= i + 1: return torch.device(f'cuda:{i}') """返回所有可用的GPU，如果没有GPU，则返回[cpu(),]""" devices = [torch.device(f'cuda:{i}') for i in range(torch.cuda.device_count())] return devices if devices else [torch.device('cpu')] try_gpu(), try_gpu(10), try_all_gpus()

通过 torch.split(x, split_size_or_sections, dim)可以完成张量的分割操作，参数意义定义 如下： ❑ x 参数：待分割张量。 ❑ split_size_or_sections 参数：切割方案。当 split_size_or_sections 为单个数值时，表示每 份的长度，如 2，表示每份长度为 2，即切割为 10 份；当 split_size_or_sections 现在将总成绩册张量切割为 10 份，代码如下： In [8]: x = torch.randn([10,35,8]) # 等长切割为 10 份，每份长度为 1 result = torch.split(x, split_size_or_sections=1, dim=0) len(result) # 返回的列表为 10 个张量的列表 Out[8]: 10 可以查看切割后的某个张量的形状， In [10]: x = torch.randn([10,35,8]) # 自定义长度的切割，切割为 4 份，返回 4 个张量的列表 result result = torch.split(x, [4,2,2,2] , dim=0) len(result) Out[10]: 4 查看第一个张量的 shape，根据上述的切割方案，它应该包含了 4 个班级的成绩册，shape

mini-batch every time. Dataloader (example) • Sample Code in Practice: Split Data • Random Split for Train, Val and Test Set • random_split() Saving / Loading Weights Method 1 • Only inference/evaluation ionic cluster • https://oncomputingwell.princeton.edu/2018/05/jupyter-on-the-cluster/ • Best reference is PyTorch Documentation • https://pytorch.org/ and https://github.com/pytorch/pytorch • Good Blogs:

import tensorflow_datasets as tfds def make_dataset(name): loadfn = lambda x: tfds.load(name, split=x) train_ds = loadfn('train') val_ds = loadfn('validation') return train_ds, val_ds train_ds, time %%capture (train500_ds, train1000_ds, val_ds), ds_info = tfds.load( name='imdb_reviews', split=['train[:500]', 'train[:1000]', 'train[60%:]'], as_supervised=True, with_info=True, read_config=tfds sequence later on. LEARNING_RATE = 0.001 MAX_SEQ_LEN = 500 # The sentences are truncated to this word count. WORD2VEC_LEN = 300 # The size of the word vector CHKPT_DIR = Path('chkpt') CHKPT_TMPL= Path(CHKPT_DIR

ufunc：全称（universal function object）它是一种能够对数组进行处 理的函数。 NumPy的官方文档： https://docs.scipy.org/doc/numpy/reference/ NumPy是什么？ 7 Anaconda里面已经安装过NumPy。 原生的Python安装： · 在cmd中输入 安装之后，我们用导入这个库 > import numpy as [ 1, 11], [ 2, 12]] 44 操作多维数组 split()函数进行分段。 > a = np.array([6, 3, 7, 4, 6, 9, 2, 6, 7, 4, 3, 7]) > b = np.array([ 1, 3, 6, 9, 10] > np.split(a, idx) # 按元素位置进行分段 [array([6]), array([3 array([3, 7]), array([4, 6, 9]), array([2, 6, 7]), array([4]), array([3, 7])] > np.split(a, 2) # 按数组个数进行分段 [array([6, 3, 7, 4, 6, 9]), array([2, 6, 7, 4, 3, 7])] 45 多项式函数 多项式函数是整数的次幂与系数的乘积，如：

EasyRec AutoFeature  特征组合 • Count select count(1) group by col • GroupByThenMax/Min/Avg/Sum select max(col2) group by col1 • CrossCount[2] select count (1) group by col1,col2 特征组合 + 混合精度 [bf16] 工程优化: 千亿特征优化 模型蒸馏 AVX/SSE优化 Graph优化 [User Graph去重] 内存Allocate优化 ParallelStringOp [split/type conversion] Sequence Feature [side info] Op Fusion [hash + embedding] Overlap Execution

拼接与拆分 主讲人：龙良曲 Merge or split https://blog.openai.com/generative-models/ ▪ Cat ▪ Stack ▪ Split ▪ Chunk cat ▪ Statistics about scores ▪ [class1-4, students, scores] ▪ [class5-9, students, scores] scores] Along distinct dim/axis ▪ Dim=d for example stack create new dim Cat v.s. stack Split: by len Chunk: by num Thank You.

导入工具包 from sklearn import datasets, preprocessing from sklearn.model_selection import train_test_split from sklearn.linear_model import LinearRegression from sklearn.metrics import r2_score 基本建模流程 9 10 2.Scikit-learn主要用法 from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=12, stratify=y, test_size=0.3) 将完整数据集的70%作为训练集，30%作为测试集，并使得测试集和训练集