深度学习在图像审核的应用 腾讯优图实验室 谭国富 http://open.youtu.qq.com SACC2017 优图团队立足于社交网络大平台，借助社交业务积累 的海量人脸、图片、音乐等数据，专注在人脸、图像、 音乐、语音、机器学习等领域开展技术研究，并积极 推动研究成果在业务中落地产生价值。 关于优图实验室 人脸识别 图像识别 音频识别 SACC2017 目录 01 腾讯优图内容审核能力介绍 SACC2017 内容审核 - 痛点和诉求 默默承受 自建识别模型 加大审核人力 一旦出现严重违规平 台面临停业整顿风险 昂贵的专业机器、AI专家, 样本不足导致识别模型漏 过模型调优难度大 人力审核疲劳容易发 生漏过，人力招聘、 管理需要耗费不小成 本 识别种类 完备 节约成本 节省审核 人力 减少人工 漏审 技术诉求：自动识别图片或视频中出现的文 字 业务痛点：面对越来越爆发的安全风险，解决办法门 槛高， 成本高；迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括：图像分类、图像增强、艺术滤镜、图片去水印、图像融合、图像修补等。 图像识别技术 01 腾讯优图图像技术能力 SACC2017 内容审核 - 图片鉴黄解决方案 区分图像中的色情、性感和正常内容 DeepEye可给出图片属于色情、性感和正常

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 目录 VIII 11 回调函数 Callbacks 146 11.1 回调函数使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 11.1.13 LambdaCallback [source] . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 11.2 创建一个回调函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 11.2.1 例: 记录损失历史 . 它类似于文字寓意，κέρας (号角) / κραίνω (履行)，以及 ἐλέφας (象牙) / ἐλεφαίρομαι (欺骗)。 Keras 最初是作为 ONEIROS 项目（开放式神经电子智能机器人操作系统）研究工作的一部 分而开发的。 “Oneiroi 超出了我们的理解 - 谁能确定它们讲述了什么故事？并不是所有人都能找 到。那里有两扇门，就是通往短暂的 Oneiroi 的通道；一个是用号角制造的，一个是

confusion_matrix | 混淆矩阵. metrics.classification_report | 含多种评价的分类报告. 25 2.Scikit-learn主要用法 交叉验证及超参数调优 from sklearn.model_selection import cross_val_score clf = DecisionTreeClassifier(max_depth=5) scores sklearn提供了部分带交叉验证功能的模型 类如LassoCV、LogisticRegressionCV等， 这些类包含cv参数 26 2.Scikit-learn主要用法 交叉验证及超参数调优 超参数调优⸺网格搜索 from sklearn.model_selection import GridSearchCV from sklearn import svm svc = svm.SVC() best_params_ 在参数网格上进行穷举搜索，方法简单但是搜索速度慢（超参数较多时），且不 容易找到参数空间中的局部最优 27 2.Scikit-learn主要用法 交叉验证及超参数调优 超参数调优⸺随机搜索 from sklearn.model_selection import RandomizedSearchCV from scipy.stats import randint svc

能。但是，什么才算真正的提高呢？在机器学习中，我们需要定义模型的优劣程度的度量，这个度量在大多 数情况是“可优化”的，这被称之为目标函数（objective function）。我们通常定义一个目标函数，并希望优 化它到最低点。因为越低越好，所以这些函数有时被称为损失函数（loss function，或cost function）。但这 只是一个惯例，我们也可以取一个新的函数，优化到它的最高点。这两个函数本质上是相同的，只是翻转一 size）。η表示学习率（learning rate）。批量 大小和学习率的值通常是手动预先指定，而不是通过模型训练得到的。这些可以调整但不在训练过程中更新 的参数称为超参数（hyperparameter）。调参（hyperparameter tuning）是选择超参数的过程。超参数通常 88 3. 线性神经网络 是我们根据训练迭代结果来调整的，而训练迭代结果是在独立的验证数据集（validation dataset）上评估得 rmse{float(valid_ls[-1]):f}') return train_l_sum / k, valid_l_sum / k 4.10.7 模型选择 在本例中，我们选择了一组未调优的超参数，并将其留给读者来改进模型。找到一组调优的超参数可能需要 时间，这取决于一个人优化了多少变量。有了足够大的数据集和合理设置的超参数，K折交叉验证往往对多 次测试具有相当的稳定性。然而，如果我们尝试了不合理的超参数，我们可能会发现验证效果不再代表真正

学习）框架，Pytorch 最初的来源历史可以追溯到另外两个 机器学习框架，第一个是 torch 框架，第二个是 Chainer，实 现了 Eager 模式与自动微分，Pytoch 集成了这两个框架的优 点， 把 Python 语言作为框架的首选编程语言，所以它的名字 是在 torch 的前面加上 Py 之后的 Pytorch。由于 Pytorch 吸 取了之前一些深度学习框架优点，开发难度大大降低、很容易 的压缩、量化、服务器端云化部署、推理端 SDK 支持等方面 Pytorch 也在不断的演化改进。 在操作系统与 SDK 支持方面，Pytorch 从最初的单纯支持 Python 语言到如今支持 Python/C++/Java 主流编程语言， 目前已经支持 Linux、Windows、MacOS 等主流的操作系统、 同时全面支持 Android 与 iOS 移动端部署。 在版本发布管理方面，Pytorch OpenVINO 开发实战系列教程 第一篇 3 计就特别注重开发者体验与生产效率提升，一经发布就引发追 捧热潮，可以说“出道即巅峰”。Pytorch 虽然来自脸书实验室， 但是它也吸引外部公司包括特斯拉、优步、亚马逊、微软、阿 里等积极支持，其平缓的学习曲线，简洁方便的函数与模型构 建在短时间内吸引了大量学术研究者与工业界开发者的追捧。 当前无论是在学术界还是工业界 Pytorch 已经是主流深度学习

proposals作为输入数据，训练Fast R-CNN一个单独的检测网络，这时候两个网络还没有共享卷 积层； • 第三步，调优RPN，用第二步的Faster RCNN model初始化RPN再次进行训练，但固定共享的卷 积层，并且只微调RPN独有的层，现在两个网络共享卷积层了； • 第四步，调优Faster RCNN,由第三步的RPN model初始化Faster RCNN网络，输入数据为第三步生 成的

开发，可以方便地利用这些功能完成常用算法业务 流程，高效稳定灵活。 1.6 开发环境安装 在领略完深度学习框架所带来的便利后，现在来着手在本地计算机环境上安装 PyTorch 最新版。PyTorch 框架支持多种常见的操作系统，如 Windows 10、Ubuntu、Mac OS 等，支持运行在 NVIDIA 显卡上的 GPU 版本和仅使用 CPU 完成计算的 CPU 版本。这 里以最为常见的 Windows 10 系统，NVIDIA total_correct/total) 通过简单的 3 层神经网络，训练固定的 20 个 Epoch 后，我们在测试集上获得了 87.25%的准确率。如果使用复杂的神经网络模型，增加数据增强环节，精调网络超参数等 技巧，可以获得更高的模型性能。模型的训练误差曲线如图 5.7 所示，测试准确率曲线如 图 5.8 所示。 图 5.7 MNIST 训练误差曲线 图 5.8 MNIST 返回待优化参数列表 torch.Size([512, 784]) torch.Size([512]) 实际上，网络层除了保存了待优化张量列表 parameters，还有部分层包含了不参与梯度优 化的张量，如后续要介绍的 Batch Normalization 层，可以通过 named_buffers 函数返回所有 不需要优化的参数列表。 除了通过 parameters 函数获得匿名的待优化张量列表外，还可以通过成员函数

验证码识别模型 优化器对比： 验证码识别模型 “Hello TensorFlow” Try it 模型部署与效果演示 数据-模型-服务流水线 数据集 生成 数据 处理 模型 训练 参数 调优 模型 部署 识别 服务 使用 Flask 快速搭建 验证码识别服务 使用 Flask 启动 验证码识别服务 $ export FLASK_ENV=development && flask

已经正式成为 LM Studio 的一部分。祝你使用愉快！ 1.5 Ollama Ollama 帮助您通过少量命令即可在本地运行 LLM。它适用于 MacOS、Linux 和 Windows 操作系统。现在， Qwen1.5 正式上线 Ollama，您只需一条命令即可运行它： ollama run qwen 接着，我们介绍在 Ollama 使用 Qwen 模型的更多用法 1.5.1 快速开始 去文件夹中： git clone https://github.com/oobabooga/text-generation-webui cd text-generation-webui 你可以根据你的操作系统直接运行相应的脚本，例如在 Linux 系统上运行 start_linux.sh ，在 Windows 系统上运行 start_windows.bat ，在 MacOS 系统上运行 start_macos -n textgen python=3.11 conda activate textgen pip install torch torchvision torchaudio 接下来，您可以根据您的操作系统执行 pip install -r 命令来安装相应的依赖项，例如， pip install -r requirements_apple_silicon.txt 对于 requirements 中的

语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 1.方案复杂 从FM到DeepFM rt 增 ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 从FM到DeepFM rt 增 加了10倍怎么优化？ 2.模型效果优 化困难 1.方案复杂 Data Model Compute Platform 要求:  准确: 低噪声  全面: 同分布 模型选型:  容量大  计算量小 训练推理:  高qps 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 深度学习应用主要的挑战： 2.模型效果优 化困难 1.方案复杂  学习率: 1e-3, 1e-4, 1e-5 ?  Embedding维度: 8, 16, 32 ?  Normalization: bn, gn, ln? 