downloaded the dataset in the dbpedia_csv directory, and the structure is as follows. dbpedia_csv/ dbpedia_csv/train.csv dbpedia_csv/readme.txt dbpedia_csv/test.csv dbpedia_csv/classes.txt Let's explore the let's see what classes we have. import os import pprint class_names = open(os.path.join('dbpedia_csv', 'classes.txt')).read().splitlines() num_classes = len(class_names) # The classes are as follows 'Building', 'NaturalPlace', 'Village', 'Animal', 'Plant', 'Album', 'Film', 'WrittenWork'] The data is in CSV format with columns: class-id, title and description. The class id is 1-indexed, and the other two

ai/t/1747 2.2. 数据预处理 47 2.2.1 读取数据集 举一个例子，我们首先创建一个人工数据集，并存储在CSV（逗号分隔值）文件 ../data/house_tiny.csv中。 以其他格式存储的数据也可以通过类似的方式进行处理。下面我们将数据集按行写入CSV文件中。 import os os.makedirs(os.path.join('..', 'data'), exist_ok=True) exist_ok=True) data_file = os.path.join('..', 'data', 'house_tiny.csv') with open(data_file, 'w') as f: f.write('NumRooms,Alley,Price\n') # 列名 f.write('NA,Pave,127500\n') # 每行表示一个数据样本 f.write('2,NA,106000\n') 106000\n') f.write('4,NA,178100\n') f.write('NA,NA,140000\n') 要从创建的CSV文件中加载原始数据集，我们导入pandas包并调用read_csv函数。该数据集有四行三列。其 中每行描述了房间数量（“NumRooms”）、巷子类型（“Alley”）和房屋价格（“Price”）。 # 如果没有安装pandas，只需取消对以下行的注释来安装pandas

'Horsepower','Weight', 'Acceleration', 'Model Year', 'Origin'] raw_dataset = pd.read_csv(dataset_path, names=column_names, na_values = "?", comment='\t', 信息存储在 csv 格式的文件中，其中 csv 文件格式是一种以逗 号符号分隔数据的纯文本文件格式，可以使用记事本或者 MS Excel 软件打开。通过将所有 样本信息存储在一个 csv 文件中有诸多好处，比如可以直接进行数据集的划分，可以随机 采样 Batch 等。csv 文件中可以保存数据集所有样本的信息，也可以根据训练集、验证集和 测试集分别创建 3 个 csv 文件。最终产生的 csv 文件内容如图 了样本的类别数字。 图 15.3 CSV 文件保存的样本路径和标签 csv 文件创建过程为：遍历 pokemon 根目录下的所有图片，记录图片的路径，并根据 编码表获得其编码数字，作为一行写入到 csv 文件中，代码如下： def load_csv(root, filename, name2label): # 从 csv 文件返回 images,labels 列表

concat([df1, df2]) 轴向连接多个 DataFrame. 67 Python模块-Pandas 文件读写 从文件中读取数据（DataFrame） pd.read_csv() | 从CSV文件读取 pd.read_table() | 从制表符分隔文件读取，如TSV pd.read_excel() | 从 Excel 文 件 读 取 pd.read_sql() | 从 SQL 库 读 取 pd.read_json() | 从JSON格式的URL或文件读取 pd.read_clipboard() | 从剪切板读取 将DataFrame写入⽂件 df.to_csv() | 写入CSV文件 df.to_excel() | 写入Excel文件 df.to_sql() | 写入SQL表或数据库 df.to_json() | 写入JSON格式的文件 df.to_clipboard()

concat([df1, df2]) 轴向连接多个 DataFrame. 68 Python模块-Pandas 文件读写 从文件中读取数据（DataFrame） pd.read_csv() | 从CSV文件读取 pd.read_table() | 从制表符分隔文件读取，如TSV pd.read_excel() | 从 Excel 文 件 读 取 pd.read_sql() | 从 SQL 库 读 取 pd.read_json() | 从JSON格式的URL或文件读取 pd.read_clipboard() | 从剪切板读取 将DataFrame写入⽂件 df.to_csv() | 写入CSV文件 df.to_excel() | 写入Excel文件 df.to_sql() | 写入SQL表或数据库 df.to_json() | 写入JSON格式的文件 df.to_clipboard()

据结构化和数据分析工具。 数据框（Data Frame）是一个二维带标记的数据结构，每列（column）数据类型 可以不同。我们可以将其当作电子表格或数据库表。 数据读入 pandas.read_csv 方法实现了快速读取 CSV（comma-separated) 文件到数据框的功能。 数据可视化库：matplotlib & seaborn & mplot3d matplotlib 是一个 Python 2D

append=False) 把训练轮结果数据流到 csv 文件的回调函数。 支持所有可以被作为字符串表示的值，包括 1D 可迭代数据，例如，np.ndarray。 例 csv_logger = CSVLogger('training.log') model.fit(X_train, Y_train, callbacks=[csv_logger]) 参数 • filename: csv 文件的文件名，例如’run/log 文件的文件名，例如’run/log.csv’。 • separator: 用来隔离 csv 文件中元素的字符串。 • append: True：如果文件存在则增加（可以被用于继续训练）。False：覆盖存在的文件。 11.1.13 LambdaCallback [source] keras.callbacks.LambdaCallback(on_epoch_begin=None, on_epoch_end=None

Execution • 支持分布式训练 tf.data：功能强大的数据管理模块 支持多种数据处理 图像解码 Shuffle py_function 重采样 支持多种数据格式 图像文件 文本文件 CSV 文件 NumPy 数组 Python 生成器 TFRecord 支持多种数据来源 本地文件 分布式文件系统 对象存储系统 tf.distribute：一行代码实现分布式 Training API

基础：R-CNN系列二阶段模型综述 • 基础：YOLO系列一阶段模型概述 • 基础：RetinaNet 与 Facol Loss 带来了什么 • 应用：检测数据准备与标注 • 应用：划分检测训练集与测试集 • 应用：生成CSV 格式数据集与标注 • 应用：使用 TensorFlow 2 训练 RetinaNet • 应用：使用 RetinaNet 检测货架商品 • 扩展：目标检测常用数据集综述 • 扩展：目标检测更多应用场景介绍