2022年02月 机器学习-支持向量机 黄海广 副教授 2 本章目录 01 支持向量机概述 02 线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 3 1.支持向量机概述 01 支持向量机概述 02 线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 4 1.支持向量机概述 支 持 向 量 机 Machine, SVM ） 是 一 类 按 监 督 学 习 （ supervised learning）方式对数据进行二元分类的广义线性 分类器（generalized linear classifier），其决 策边界是对学习样本求解的最大边距超平面（ maximum-margin hyperplane） 。 与逻辑回归和神经网络相比，支持向量机，在学 习复杂的非线性方程时提供了一种更为清晰，更 习复杂的非线性方程时提供了一种更为清晰，更 加强大的方式。 支持向量 距离 5 1.支持向量机概述 硬间隔、软间隔和非线性 SVM 假如数据是完全的线性可分的，那么学习到的模型可以称为硬间隔支持向 量机。换个说法，硬间隔指的就是完全分类准确，不能存在分类错误的情 况。软间隔，就是允许一定量的样本分类错误。 软间隔 硬间隔 线性可分 线性不可分 6 支持向量 1.支持向量机概述 算法思想 找到集合边缘上的若干数据（称为

这本书代表了我们的尝试——让深度学习可平易近人，教会人们概念、背景和代码。 1 一种结合了代码、数学和HTML的媒介 任何一种计算技术要想发挥其全部影响力，都必须得到充分的理解、充分的文档记录，并得到成熟的、维护 良好的工具的支持。关键思想应该被清楚地提炼出来，尽可能减少需要让新的从业者跟上时代的入门时间。 成熟的库应该自动化常见的任务，示例代码应该使从业者可以轻松地修改、应用和扩展常见的应用程序，以 满足他们的需求。以 我们感谢Amazon Web Services，特别是Swami Sivasubramanian、Peter DeSantis、Adam Selipsky和Andrew Jassy对撰写本书的慷慨支持。如果没有可用的时间、资源、与同事的讨论和不断的鼓励，这本书就不会出版。 小结 • 深度学习已经彻底改变了模式识别，引入了一系列技术，包括计算机视觉、自然语言处理、自动语音识 别。 • 要成 IA GPU并已安装CUDA9。如果机器没有任何GPU，没有必要担心，因为CPU在前几章完全够用。但是，如果想 流畅地学习全部章节，请提早获取GPU并且安装深度学习框架的GPU版本。 我们可以按如下方式安装PyTorch的CPU或GPU版本： pip install torch==1.12.0 pip install torchvision==0.13.0 我们的下一步是安装d2l包，以方便调取本书中经常使用的函数和类：

回归（Regression、Prediction） ✓ 如何预测上海浦东的房价？ ✓ 未来的股票市场走向？ 2. 机器学习的类型-监督学习 17 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的 空间中？ 2. 机器学习的类型-无监督学习 18 ✓ 21 决策树、朴素贝叶斯、隐马尔科夫模型、高斯混合模型属于概率模型。 感知机、支持向量机、KNN、AdaBoost、K-means以及神经网络均属于非概 率模型。 对于非概率模型而言，可按照判别函数线性与否分成线性模型与非线性模型。 感知机、线性支持向量机、KNN、K-means是线性模型。 核支持向量机、AdaBoost、神经网络属于非线性模型。 机器学习的概念-模型 22 1 omega omiga 欧米 29 3. 机器学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 30 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量

3 1.5 使用 TensorFlow 以外的后端 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.6 技术支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.7 为什么取名为 Keras . . . . 6 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 . . . . . . . . . . 6 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 . . . . . . . . . . . . . . . . . . . . . . 6 2.6 Keras 的发展得到深度学习生态系统中的关键公司的支持 . . . . . . . . . . TensorFlow, CNTK, 或者 Theano 作为后端运行。Keras 的开发重点是支持快速的实验。能够以最小的时延把你的想法转 换为实验结果，是做好研究的关键。 如果你在以下情况下需要深度学习库，请使用 Keras： • 允许简单而快速的原型设计（由于用户友好，高度模块化，可扩展性）。 • 同时支持卷积神经网络和循环神经网络，以及两者的组合。 • 在 CPU 和 GPU 上无缝运行。

→ ?，其中??代表模型函数，?为模型的参数。在训练时，通过计算模型的预 测值??(?)与真实标签?之间的误差来优化网络参数?，使得网络下一次能够预测更精准。常 见的有监督学习有线性回归、逻辑回归、支持向量机、随机森林等。 无监督学习 收集带标签的数据往往代价较为昂贵，对于只有样本?的数据集，算法需 要自行发现数据的模态，这种方式叫作无监督学习。无监督学习中有一类算法将自身作为 监督信号，即模型需要学习的映射为 LSTM 被 Jürgen Schmidhuber 提出；同年双向循环 神经网络也被提出。 遗憾的是，神经网络的研究随着以支持向量机(Support Vector Machine，简称 SVM)为 代表的传统机器学习算法兴起而逐渐进入低谷，称为人工智能的第二次寒冬。支持向量机 拥有严格的理论基础，训练需要的样本数量较少，同时也具有良好的泛化能力，相比之 下，神经网络理论基础欠缺，可解释性差，很难训练深层网络，性能也相对一般。图 语言、定位底层运算的计算库，Theano 同时支持 GPU 和 CPU 运 算。由于 Theano 开发效率较低，模型编译时间较长，同时开发人员转投 TensorFlow 等原因，Theano 目前已经停止维护。 ❑ Scikit-learn 是一个完整的面向机器学习算法的计算库，内建了常见的传统机器学习算 法支持，文档和案例也较为丰富，但是 Scikit-learn 并不是专门面向神经网络而设计 的，不支持 GPU 加速，对神经网络相关层的实现也较欠缺。

omega omiga 欧米 30 3. 深度学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 31 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量 为正交阵，数学描述为?T? = ? = ??T。 正定性 对于 ? ∈ ℝ?×?, ∀? ∈ ℝ?×1，满足 ?T?? > 0, A为正定矩阵; ?T?? ≥ 0，?为半正定矩阵。 43 线性代数 行列式按行（列）展开定理 (1) 设? = ??? ?×?，则：??1??1 + ??2??2 + ⋯ + ?????? = ቊ ? , ? = ? 0, ? ≠ ? 或?1??1? + ?2??2? + 概率论与数理统计-随机事件和概率 事件的关系 (1) 子事件：? ⊂ ?，若?发生，则?发生。 (2) 相等事件：? = ?，即? ⊂ ?，且? ⊂ ? 。 (3) 和事件：?⋃?（或? + ?），?与?中至少有一个发生。 (4) 差事件：? − ?，?发生但?不发生。 (5) 积事件：?⋂?（或??），?与?同时发生。 (6) 互斥事件（互不相容）：?⋂?=⌀。 (7) 互逆事件（对立事件）：

2017年上半年，各 大直播行业协会相应成立，行业平台自我 规范的同时，网信办、文化部等国家部门 对于直播行业监管也越发严格，几乎所有 知名的直播平台均被有关部门点名查处过， 特别2017 年月中旬，黄鳝事件引爆网络， 让色情直播再度被推上舆论浪尖。 微信朋友圈日上传图片10亿张，视频播放20亿次 4000亿QQ空间存量图片，每天空间相册新增6亿 张上传图片 SACC2017 内容审核 - 痛点和诉求 识的概率，通过其概率最大的类型，判断其图片 性质属于属于暴恐还是正常。 Ø 高准确率： 在内部业务上测试，准确率97%，覆 盖80%以上的案例 Ø 腾讯云，承担每天数亿的图像审核， 已经 累计支持上百家客户。 Ø 微云，QQ群，支持视频识别的解决方案， 成熟灵活的产品方案，帮助业务扫除掉互 联网暴力、恐怖内容，有效的降低业务风 险。 l 暴恐识别技术 武装份子 管制刀具 枪支弹药 人群聚集 火灾 血腥 小类如人 物大类下有合影、女孩、男孩、聚会等小标签。只需要输入 或点击标签即可获取对应类别的图片。 l 图片场景识别技术 SACC2017 OCR识别 – 证件类 Ø 优图OCR识别技术支持数字识别和超过7000个常用汉字 的识别 Ø 在国际ICDAR 2015文本检测项目中刷新世界纪录 Ø 技术指标： 名片91.4%，驾驶证91.5%，行驶证85.5% Ø 应用场景：身份证、驾驶证、行驶证、营业执照、银行

曲率半径 曲线在点?处的曲率?(? ≠ 0)与曲线在点?处的曲率半径?有如下关系：? = 1 ? 机器学习的数学基础 9 线性代数 行列式 1.行列式按行（列）展开定理 (1) 设? = (???)?×?，则：??1??1 + ??2??2 + ⋯ + ?????? = { |?|,? = ? 0, ? ≠ ? 或?1??1? + ?2? 概率论和数理统计 随机事件和概率 1.事件的关系与运算 (1) 子事件：? ⊂ ?，若?发生，则?发生。 (2) 相等事件：? = ?，即? ⊂ ?，且? ⊂ ? 。 (3) 和事件：?⋃?（或? + ?），?与?中至少有一个发生。 (4) 差事件：? − ?，?发生但?不发生。 (5) 积事件：?⋂?（或??），?与?同时发生。 (6) 互斥事件（互不相容）：?⋂?=⌀。 =⌀。 (7) 互逆事件（对立事件）： ?⋂? = ⌀, ?⋃? = ?, ? = ?, ? = ? 。 2.运算律 (1) 交换律：?⋃? = ?⋃?, ?⋂? = ?⋂? (2) 结合律：(?⋃?)⋃? = ?⋃(?⋃?)； (?⋂?)⋂? = ?⋂(?⋂?) (3) 分配律：(?⋃?)⋂? = (?⋂?)⋃(?⋂?) 3.德.摩根律 ?⋃? = ?⋂?

逻辑回归（Logistic Regression） • 决策树（Decision Tree） • 随机森林（Random Forest） • 最近邻算法（k-NN） • 朴素贝叶斯（Naive Bayes） • 支持向量机（SVM） • 感知器（Perceptron） • 深度神经网络（DNN） 前置知识：线性回归 在统计学中，线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变 量之 文件到数据框的功能。 数据可视化库：matplotlib & seaborn & mplot3d matplotlib 是一个 Python 2D 绘图库，可以生成出版物质量级别的图像和各种硬拷贝格式， 并广泛支持多种平台，如：Python 脚本，Python，IPython Shell 和 Jupyter Notebook。 seaborn 是一个基于 matplotlib的 Python 数据可视化库。它提供了更易用的高级接口，用 数据可视化库。它提供了更易用的高级接口，用 于绘制精美且信息丰富的统计图形。 mpl_toolkits.mplot3d 是一个基础 3D绘图（散点图、平面图、折线图等）工具集，也是 matplotlib 库的一部分。同时，它也支持轻量级的独立安装模式。 数据分析（2D） seaborn.lmplot 方法专门用于线性关系的可视化，适用于回归模型。 数据分析（2D） seaborn.lmplot 方法专门用于线性关系的可视化，适用于回归模型。

贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为 基础，故统称为贝叶斯分类。 根据以往经验和分析得到的概率。我们用?(?)来代表在没有训练 数据前假设?拥有的初始概率。 根据已经发生的事件来分析得到的概率。以?(?|?)代表假设? 成 立的情下观察到?数据的概率，因为它反映了在看到训练数据? 后?成立的置信度。 贝叶斯分类： 5 联合概率是指在多元的概率分布中多个随机变量分别满足各自条 、 ?(??) 或?(? ∩ ?) 。 联合概率： 假设?和?都服从正态分布，那么?(? < 5, ? < 0)就是一个联合概 率，表示 ? < 5, ? < 0两个条件同时成立的概率。表示两个事件 共同发生的概率。 1.贝叶斯方法-背景知识 6 1. 贝叶斯方法 贝叶斯公式 后验概率 似然度 先验概率 边际似然度 ?(?|?) = ?(?, ?) ?(?) = ?(?|?) 据学习?(?|?)和?(?)的估计，得到联合概率分布： ?(?, ?)＝?(?)?(?|?)，再利用它进行分类。 即：估计?(?|?) 然后推导?(?|?) 线性回归、逻辑回归、感知机、决策树、支持向 量机…… 朴素贝叶斯、HMM、深度信念网络(DBN)…… 监督学习方法又分 生成方法（Generative approach）和判别方法（Discriminative approach） 所学到的模型分别称为