1 2021年06月 机器学习-机器学习项目流程 黄海广 副教授 2 本章目录 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 3 1.机器学习项目流程概述 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 4 机器学习的一般步骤 5 机器学习的一般步骤 数据搜集 数据清洗 数据清理和格式化 • 探索性数据分析(EDA) • 特征工程 • 特征选择 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 • …… 7 2.数据清洗 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查 17 探索性数据分析(EDA) Pairs Plot是一次检查多个变 量的好方法，因为它显示了 对角线上的变量对和单个变 量直方图之间的散点图。 18 3.特征工程 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 19 3.特征工程 特征工程和特征选择 •特征工程: 获取原始数据并提取或创建新特征的过程。这可能意味着需要对

TensorFlow 2 进阶使用 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 使⽤ TensorFlow 2 实现图像数据增强 • 使⽤ TensorFlow 2 实现分布式训练 • 使⽤ TensorFlow Hub 迁移学习 • 使⽤ @tf.function 提升性能 • 使⽤ TensorFlow Serving 部署云端服务 • 使⽤ TensorFlow android.com/studio Step 1：下载 TensorFlow examples 项目 $ git clone https://github.com/tensorflow/examples Step 2：在 Android Studio 中加载 examples 项目 项目路径：examples/lite/examples/image_classification/android examples 项目 Step 3：在 Android Studio 中编译 examples 项目 Step 3：在 Android Studio 中编译 examples 项目 Step 4：在 Android Studio 中安装物品识别 APP Step 5：在 Android Studio 中运行物品识别 APP 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

TensorFlow 2 项目实战进阶 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 基础理论篇：TensorFlow 2 设计思想 • TensorFlow 2 设计原则 • TensorFlow 2 核心模块 • TensorFlow 2 vs TensorFlow 1.x • TensorFlow 2 落地应用 目录 TensorFlow 2 设计原则 TensorFlow 与企业服务的结合 – QQ 音乐 来源：《 案例分享 | QQ 音乐应用 TensorFlow 构建 AI 赋能的音乐曲库》 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程

TensorFlow 2 项目实战进阶 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 快速上手篇：动⼿训练模型和部署服务 • TensorFlow 2 开发环境搭建 • 使用 tf.keras.datasets 加载数据 • 使用 tf.data.Dataset 加载数据 • 使用 tf.keras.Model 管理模型 • Fashion MNIST 数据集介绍 test_labels) plt.show() Visualize prediction “Hello TensorFlow” Try it！ 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程

业务落地篇：实现货架洞察 Web 应用 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 串联 AI 流程理论：商品检测与商品识别 • 串联 AI 流程实战：商品检测与商品识别 • 展现 AI 效果理论：使用 OpenCV 可视化识别结果 • 展现 AI 效果实战：使用 OpenCV 可视化识别结果 • 搭建 AI SaaS 理论：Web 框架选型 • 搭建 AI AI SaaS 理论：Web 框架选型 Python Web 框架 Python Web 框架 - Flask Python Web 框架 - Flask Flask 常用扩展 Flask 项目常见目录结构 启动文件 manage.py 示例 搭建 AI SaaS 理论：数据库 ORM 选型 ORM 是什么 ORM 是什么 常见的 Python ORM • SQLAlchemy http://localhost:9000/tf2/ai_saas AI SaaS 服务识别结果 “Hello TensorFlow” Try it！ 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

商品识别篇：使用 ResNet 识别你的货架商品 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 基础：图像分类问题定义与说明 • 基础：越来越深的图像分类网络 • 应⽤用：检测SKU抠图与分类标注流程 • 应⽤用：分类训练集与验证集划分 • 应⽤用：使⽤用TensorFlow 2训练ResNet • 应⽤用：使用ResNet识别货架商品 • 扩展：图像分类常用数据集综述 图像分类应用：户型图识别（空间、家具） 原始户型图 空间分割 （整体效果） 空间分割 （中间结果） 图像分类应用：智能相册 图像分类应用：瑕疵检测 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

商品检测篇：使用 RetinaNet 瞄准你的货架商品 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 基础：目标检测问题定义与说明 • 基础：R-CNN系列二阶段模型综述 • 基础：YOLO系列一阶段模型概述 • 基础：RetinaNet 与 Facol Loss 带来了什么 • 应用：检测数据准备与标注 • 应用：划分检测训练集与测试集 • 应用：生成CSV 目标检测应用：仓库流水审计 目标检测应用：仓库盘点 无人智能盘点 人工盘点 目标检测应用：安全防护检测 目标检测应用：内容审核 目标检测应用：车流统计 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

方案设计篇：如何设计可落地的AI解决方案 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 行业背景：AI新零售是什么? • 用户需求：线下门店业绩如何提升？ • 长期⽬目标：货架数字化与业务智能化 • 短期目标：自动化陈列审核和促销管理 • 方案设计：基于深度学习的检测/分类的AI流水线 • 方案交付：支持在线识别和API调用的 AI SaaS 目录 行业背景：AI新零售是什么 客户需求：全国门店/货架智能看板 • 区域/门店达标率 • 货架可见度 • 货架占有率 • 新品上市/上架率 • 陈列达标率 • 产品价格指数 • 促销执行统计 客户需求：棚格图推荐设计与销量预测 如何落地项目第一期？ 短期目标：自动化陈列审核和促销管理 业务落地基础：货架数字化 SKU 种类 数量 位置 品类 占比 货架 设计 场景 层数 编号 业务落地：自动化陈列审核和促销管理 沉 淀 服 务 监 控 快速消费品 建筑图纸 五金零配件 医疗器件 库码标签 零售百货 通用OCR 空间分割 商品识别 AI + 业务 流水线 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

开发者的欢迎。其模型训练支持CPU与GPU、支持分布式训练、 云部署、针对深度学习特定领域有不同的丰富的扩展库。 1.1.1 Pytorch 历史 Pytorch 在 2016 年由 facebook 发布的开源机器学习（深度 学习）框架，Pytorch 最初的来源历史可以追溯到另外两个 机器学习框架，第一个是 torch 框架，第二个是 Chainer，实 现了 Eager 模式与自动微分，Pytoch 构建各种深度学习模型并实现分布式的训练，因此一发布就引 发学术界的追捧热潮，成为深度学习研究者与爱好者的首选开 发工具。在 pytorch 发布之后两年的 2018 年 facebook 又把 caffe2 项目整合到 pytorch 框架中，这样 pytorch 就进一步 整合原来 caffe 开发者生态社区，因为其开发效率高、特别容 易构建各种复杂的深度学习模型网络，因此很快得到大量人工 智能开发 OpenVINO 开发实战系列教程 第一篇 6 点击【New Project】，输入项目名称，显示如下： 图 1-6（创建新项目） 点击【Create】按钮完成项目创建，选择文件 (File)-> 设置 (Setting) 选项： 图 1-7（设置选项） 图 1-8（设置系统 Python 解释器） 完成之后，在项目中创建一个空的 python 文件命名为 main. py，然后直接输入下面两行测试代码：

TensorFlow 训练模型的工作流 数据读入 数据分析 数据 规范化 创建模型 (数据流图) 创建会话 (运行环境) 训练模型 数据分析库：Pandas Pandas 是一个 BSD 开源协议许可的，面向 Python 用户的高性能和易于上手的数 据结构化和数据分析工具。 数据框（Data Frame）是一个二维带标记的数据结构，每列（column）数据类型 可以不同。我们可以将其当作电子表格或数据库表。 方法专门用于线性关系的可视化，适用于回归模型。 数据分析（3D） Axes3D.scatter3D 方法专门用于绘制3维的散点图。 数据归一化（3D） 数据处理：NumPy NumPy 是一个 BSD 开源协议许可的，面向 Python 用户的基础科学计算库，在多 维数组上实现了线性代数、傅立叶变换和其他丰富的函数运算。 X y 创建线性回归模型（数据流图） 创建会话（运行环境） 使用 TensorBoard 在模型设计过程中，用户往往需要分析和检查数据流图是否正确实现。 在模型训练过程中，用户也常常需要关注模型参数和超参数变化趋势。 在模型测试过程中，用户也往往需要查看准确率和召回率等评估指标。 因此，TensorFlow 项目组开发了机器学习可视化工具 TensorBoard ， 它通过展示直观的图形，能够有效地辅助机器学习程序的开发者和使 用者理解算法模型及其工作流程，提升模型开发工作效率。 TensorBoard