1 2021年06月 机器学习-机器学习项目流程 黄海广 副教授 2 本章目录 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 3 1.机器学习项目流程概述 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 4 机器学习的一般步骤 5 机器学习的一般步骤 数据搜集 数据清洗 数据清理和格式化 • 探索性数据分析(EDA) • 特征工程 • 特征选择 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 • …… 7 2.数据清洗 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查 17 探索性数据分析(EDA) Pairs Plot是一次检查多个变 量的好方法，因为它显示了 对角线上的变量对和单个变 量直方图之间的散点图。 18 3.特征工程 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 19 3.特征工程 特征工程和特征选择 •特征工程: 获取原始数据并提取或创建新特征的过程。这可能意味着需要对

TensorFlow 2 进阶使用 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 使⽤ TensorFlow 2 实现图像数据增强 • 使⽤ TensorFlow 2 实现分布式训练 • 使⽤ TensorFlow Hub 迁移学习 • 使⽤ @tf.function 提升性能 • 使⽤ TensorFlow Serving 部署云端服务 • 使⽤ TensorFlow android.com/studio Step 1：下载 TensorFlow examples 项目 $ git clone https://github.com/tensorflow/examples Step 2：在 Android Studio 中加载 examples 项目 项目路径：examples/lite/examples/image_classification/android examples 项目 Step 3：在 Android Studio 中编译 examples 项目 Step 3：在 Android Studio 中编译 examples 项目 Step 4：在 Android Studio 中安装物品识别 APP Step 5：在 Android Studio 中运行物品识别 APP 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

TensorFlow 2 项目实战进阶 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 基础理论篇：TensorFlow 2 设计思想 • TensorFlow 2 设计原则 • TensorFlow 2 核心模块 • TensorFlow 2 vs TensorFlow 1.x • TensorFlow 2 落地应用 目录 TensorFlow 2 设计原则 TensorFlow 与企业服务的结合 – QQ 音乐 来源：《 案例分享 | QQ 音乐应用 TensorFlow 构建 AI 赋能的音乐曲库》 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程

TensorFlow 2 项目实战进阶 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程 快速上手篇：动⼿训练模型和部署服务 • TensorFlow 2 开发环境搭建 • 使用 tf.keras.datasets 加载数据 • 使用 tf.data.Dataset 加载数据 • 使用 tf.keras.Model 管理模型 • Fashion MNIST 数据集介绍 test_labels) plt.show() Visualize prediction “Hello TensorFlow” Try it！ 扫码试看/订阅 《TensorFlow 2 项目进阶实战》视频课程

业务落地篇：实现货架洞察 Web 应用 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 串联 AI 流程理论：商品检测与商品识别 • 串联 AI 流程实战：商品检测与商品识别 • 展现 AI 效果理论：使用 OpenCV 可视化识别结果 • 展现 AI 效果实战：使用 OpenCV 可视化识别结果 • 搭建 AI SaaS 理论：Web 框架选型 • 搭建 AI AI SaaS 理论：Web 框架选型 Python Web 框架 Python Web 框架 - Flask Python Web 框架 - Flask Flask 常用扩展 Flask 项目常见目录结构 启动文件 manage.py 示例 搭建 AI SaaS 理论：数据库 ORM 选型 ORM 是什么 ORM 是什么 常见的 Python ORM • SQLAlchemy http://localhost:9000/tf2/ai_saas AI SaaS 服务识别结果 “Hello TensorFlow” Try it！ 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

商品识别篇：使用 ResNet 识别你的货架商品 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 基础：图像分类问题定义与说明 • 基础：越来越深的图像分类网络 • 应⽤用：检测SKU抠图与分类标注流程 • 应⽤用：分类训练集与验证集划分 • 应⽤用：使⽤用TensorFlow 2训练ResNet • 应⽤用：使用ResNet识别货架商品 • 扩展：图像分类常用数据集综述 图像分类应用：户型图识别（空间、家具） 原始户型图 空间分割 （整体效果） 空间分割 （中间结果） 图像分类应用：智能相册 图像分类应用：瑕疵检测 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

商品检测篇：使用 RetinaNet 瞄准你的货架商品 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 基础：目标检测问题定义与说明 • 基础：R-CNN系列二阶段模型综述 • 基础：YOLO系列一阶段模型概述 • 基础：RetinaNet 与 Facol Loss 带来了什么 • 应用：检测数据准备与标注 • 应用：划分检测训练集与测试集 • 应用：生成CSV 目标检测应用：仓库流水审计 目标检测应用：仓库盘点 无人智能盘点 人工盘点 目标检测应用：安全防护检测 目标检测应用：内容审核 目标检测应用：车流统计 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

方案设计篇：如何设计可落地的AI解决方案 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 行业背景：AI新零售是什么? • 用户需求：线下门店业绩如何提升？ • 长期⽬目标：货架数字化与业务智能化 • 短期目标：自动化陈列审核和促销管理 • 方案设计：基于深度学习的检测/分类的AI流水线 • 方案交付：支持在线识别和API调用的 AI SaaS 目录 行业背景：AI新零售是什么 客户需求：全国门店/货架智能看板 • 区域/门店达标率 • 货架可见度 • 货架占有率 • 新品上市/上架率 • 陈列达标率 • 产品价格指数 • 促销执行统计 客户需求：棚格图推荐设计与销量预测 如何落地项目第一期？ 短期目标：自动化陈列审核和促销管理 业务落地基础：货架数字化 SKU 种类 数量 位置 品类 占比 货架 设计 场景 层数 编号 业务落地：自动化陈列审核和促销管理 沉 淀 服 务 监 控 快速消费品 建筑图纸 五金零配件 医疗器件 库码标签 零售百货 通用OCR 空间分割 商品识别 AI + 业务 流水线 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程

基于频繁k项集，连接生成候选频繁k+1项集。 3） 令k=k+1，转入步骤2。 12 2.Apriori算法 算法案例 第一次迭代：假设支持度阈值为2，创建大小为1的项集并计算它们的支持度。 订单编号 项目 T1 1 3 4 T2 2 3 5 T3 1 2 3 5 T4 2 5 T5 1 3 5 项集 支持度 {1} 3 {2} 3 {3} 4 5} 2 {2,3} 2 {2,5} 3 {3,5} 3 F2 项集 支持度 {1,3} 3 {1,5} 2 {2,3} 2 {2,5} 3 {3,5} 3 C2 订单编号 项目 T1 1 3 4 T2 2 3 5 T3 1 2 3 5 T4 2 5 T5 1 3 5 15 2.Apriori算法 算法案例 项集 支持度 5} 3 {3,5} 3 C2 再次消除支持度小于2的项集。在这个例子中{1，2}。 现在，让我们了解什么是剪枝，以及它如何使Apriori成为查找频繁项集的 最佳算法之一。 订单编号 项目 T1 1 3 4 T2 2 3 5 T3 1 2 3 5 T4 2 5 T5 1 3 5 16 2.Apriori算法 算法案例 剪枝:我

构建各种深度学习模型并实现分布式的训练，因此一发布就引 发学术界的追捧热潮，成为深度学习研究者与爱好者的首选开 发工具。在 pytorch 发布之后两年的 2018 年 facebook 又把 caffe2 项目整合到 pytorch 框架中，这样 pytorch 就进一步 整合原来 caffe 开发者生态社区，因为其开发效率高、特别容 易构建各种复杂的深度学习模型网络，因此很快得到大量人工 智能开发 OpenVINO 开发实战系列教程 第一篇 6 点击【New Project】，输入项目名称，显示如下： 图 1-6（创建新项目） 点击【Create】按钮完成项目创建，选择文件 (File)-> 设置 (Setting) 选项： 图 1-7（设置选项） 图 1-8（设置系统 Python 解释器） 完成之后，在项目中创建一个空的 python 文件命名为 main. py，然后直接输入下面两行测试代码： py，然后直接输入下面两行测试代码： import torch print(torch.__version__) 执行测试（作者笔记本）： 1.9.0+cu102 这样我们就完成了 PyCharm IDE 开发环境配置与项目创建。 1.4.2 张量定义与声明 张量在 Pytorch 深度学习框架中表示的数据，有几种不同的方 式来创建与声明张量数据，一种是通过常量数值来直接声明为 tensor 数据，代码如下：