深度学习在图像审核的应用 腾讯优图实验室 谭国富 http://open.youtu.qq.com SACC2017 优图团队立足于社交网络大平台，借助社交业务积累 的海量人脸、图片、音乐等数据，专注在人脸、图像、 音乐、语音、机器学习等领域开展技术研究，并积极 推动研究成果在业务中落地产生价值。 关于优图实验室 人脸识别 图像识别 音频识别 SACC2017 目录 01 腾讯优图内容审核能力介绍 腾讯优图内容审核能力介绍 02 深度学习技术介绍 03 内容审核的扩展和延伸 00 图像审核的行业背景 SACC2017 内容审核 - 行业现状 不良信息泛滥，监管猝不及防 Ø 随着互联网的飞速发展和信息量的猛增， 大量的色情图片、暴力等不良信息夹杂其 中，严重影响着互联网的健康发展。 Ø 直播行业的快速兴起，使得视频中不良信 息含量更加迅猛增长，色情暴力等不雅视 频频繁流出，导致各网络直播平台面临危 秽、血腥、暴力、极端主义、恐怖主义图像 等，方便平台进行违规处理和风险管控。 业务痛点：面对越来越爆发的安全风险，解决办法门 槛高， 成本高；迫切需要技术解决方案 SACC2017 图像内容审核技术 OCR技术 图像分割以及超分辨率技术 优图图像技术还包括：图像分类、图像增强、艺术滤镜、图片去水印、图像融合、图像修补等。 图像识别技术 01 腾讯优图图像技术能力 SACC2017

数据增强 主讲人：龙良曲 Big Data ▪ The key to prevent Overfitting Sample more data? Limited Data ▪ Small network capacity ▪ Regularization ▪ Data argumentation Recap Data argumentation ▪ Flip ▪ Rotate

深度学习下的图像视频处理技术 沈小勇 优图X-Lab视觉AI负责人 专家研究员 自我介绍 自我介绍 2006.9 – 2012.7 浙江大学数学系本科硕士 2012.8 – 2016.6 香港中文大学博士 2016.6 – 2017.5 香港中文大学 Research Fellow 2017.5 – 现在 腾讯优图X-Lab 视觉AI负责人，专家研究员 个人主页：http://xiaoyongshen https://scholar.google.com/citations?user=P eMuphgAAAAJ&hl=en 看得更清，看得更懂 目录 1. 夜景增强 2. 图像视频去模糊 3. 视频超分辨率 1. 夜景图像增强 Taking photos is easy Amateur photographers typically create underexposed photos ?????????? = ???????????? − 1 ???????????? = ???????????? + 1 skip connections Decoder 3. 图像视频去模糊 图像去模糊问题 75 Data from previous work Different Blur Assumptions Uniform: [Fergus et al, 2006], [Shan

云端图像技术的深度学习模型与应用 李东亮 360 人工智能研究院 lidongliang@360.cn 2017.10.20 SACC2017 360电脑安全产品 月活跃数达到4.42亿 360手机安全产品 移动端用户总数已达约1.49亿 360浏览器 月活跃用户数量为3.03亿 360导航 日均独立访问用户为8900万人 日均点击量约为4.51亿次 360搜索 稳定拥有35%以上的市场份额 智能家居 机器人 AR/VR/MR 智能手机 穿戴设备 SACC2017 万物互联的核心技术 视觉感知 语音感知 语义理解 人工智能 大数据分析 物 环境 SACC2017 图像 视频 检测 识别 分割 跟踪 物 环境 数 据 核 心 云端 移动端 业 务 视觉感知模型 SACC2017 视觉感知核心问题 Object Segmentation Object Classification Person, Horse, Barrier, Table, etc Object Detection 检测 识别 分割 跟踪 核 心 SACC2017 图像技术的三个核心难点>>小、快、准 小模型 线上速度快 预测准 Frequent remote upgrade CPU-constrained, real-time Cloud processing

究的现状。 AlexNet 使用了8层卷积神 经网络，并以很大的优势赢得了2012 年 ImageNet 图像识别挑战赛。 LeNet (左)， AlexNet (右) 7 • 在 AlexNet 的第一层，卷积窗口的形状是 11×11 。由于大 多数 ImageNet 中图像的宽和高比 MNIST 图像的多10倍以 上，因此，需要一个更大的卷积窗口来捕获目标。 第二层 中的卷积窗形状被缩减为 5×5 DenseNet的创新点在于在网 络结构中引入了密集连接，使 特征复用和梯度传播更加容易 ，在处理图像分类、目标检测 、分割等问题中都取得了不错 的结果。 21 3.其它现代网络 DenseNet 总的来说，DenseNet和ResNet都是很优秀的卷积神经网络结构，但 DenseNet通过建立密集连接，使每一层都直接接收到多个之前层的特征图输 出，增强了特征的流动和复用，从而在模型性能和训练稳定性上表现更好。 22 3.其它现代网络 EfficientNet EfficientNet是一种基于自动模型缩放的神 经网络结构，由谷歌团队于2019年提出，该 模型在图像分类、目标检测和图像分割等任 务中取得了不错的结果。 EfficientNet的设计思路来源于模型优化的 两个主要思想： 神经网络结构搜索（Neural Architecture Search，NAS）和模型融合。 其主要贡献在于开创性地提出了通过均匀缩

一次梯度下降，你可以找出?的较小 值，中间值和较大值，而无需尝试?2 正则化超级参数?的很多值。 14 正则化 数据增强：随意翻转和裁剪、扭曲变形图片 15 数据增强的PyTorch实现 import torch from torchvision import transforms # 定义数据增强的方法 transform = transforms.Compose([ transforms.RandomResizedCrop(224) 456, 0.406], std=[0.229, 0.224, 0.225]) # 标准化 ]) # 加载图像数据 img = Image.open('image.jpg').convert('RGB') # 对图像进行数据增强 img_aug = transform(img) # 可以将数据增强的过程添加到数据集的加载器中 dataset = datasets.ImageFolder('data' RandomHorizontalFlip是随机翻转 方法 ColorJitter是随机改变颜色方法 RandomRotation是随机旋转方法。 最后将图像转换为Tensor类型并进 行标准化。 可以将以上方法添加到数据集加载 器中进行批量的数据增强。 16 偏差和方差 训练集误差和交叉验证集误差近似时：偏差/欠拟合 交叉验证集误差远大于训练集误差时：方差/过拟合 x1 x2 x1

123 6.2.4 text_to_word_sequence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123 6.3 图像预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125 6.3.1 ImageDataGenerator . . . . . . 152 12 常用数据集 Datasets 154 12.1 CIFAR10 小图像分类数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 12.2 CIFAR100 小图像分类数据集 . . . . . . . . . . . . . . . . . . . . . . . . 1 可用的模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 13.2 图像分类模型的示例代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 13.2.1 使用 ResNet50