Appendix for SVM 1 Lagrange dual function (pp. 16) As shown in page 15, calculating the derivatives of the Lagrangian with respect to ω and b respectively gives ω = m � i=1 αiy(i)x(i) (1) and m �

2021 Feng Li (SDU) SVM December 28, 2021 1 / 82 Outline 1 SVM: A Primal Form 2 Convex Optimization Review 3 The Lagrange Dual Problem of SVM 4 SVM with Kernels 5 Soft-Margin SVM 6 Sequential Minimal Minimal Optimization (SMO) Algorithm Feng Li (SDU) SVM December 28, 2021 2 / 82 Hyperplane Separates a n-dimensional space into two half-spaces Defined by an outward pointing normal vector ω ∈ Rn Assumption: define it b > 0 means moving it parallely along ω (b < 0 means in opposite direction) Feng Li (SDU) SVM December 28, 2021 3 / 82 Support Vector Machine A hyperplane based linear classifier defined by ω

can construct a infinite number of hyperplanes, but which one is the best? Supported Vector Machine (SVM) answers the above question by maximizing γ (see Eq. (6)) as follows max γ,ω,b γ s.t. y(i)(ωT x(i) ? = −1 Positive class: ?!? + ? ≥ 1 Negative class: ?!? + ? ≤ −1 ? = 1 ? Figure 2: Hard-margin SVM. aim of the above optimization problem is to find a hyperplane (parameterized by ω and b) with margin primal and dual optimal with strong duality holding. 3 Duality of SVM We now re-visit our problem formulation of SVM. The (primal) SVM problem is given min ω,b 1 2∥ω∥2 (30) s.t. y(i)(ωT x(i) + b) ≥ 1

线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 4 1.支持向量机概述 支 持 向 量 机 （ Support Vector Machine, SVM ） 是 一 类 按 监 督 学 习 （ supervised learning）方式对数据进行二元分类的广义线性 分类器（generalized linear classifier），其决 hyperplane） 。 与逻辑回归和神经网络相比，支持向量机，在学 习复杂的非线性方程时提供了一种更为清晰，更 加强大的方式。 支持向量 距离 5 1.支持向量机概述 硬间隔、软间隔和非线性 SVM 假如数据是完全的线性可分的，那么学习到的模型可以称为硬间隔支持向 量机。换个说法，硬间隔指的就是完全分类准确，不能存在分类错误的情 况。软间隔，就是允许一定量的样本分类错误。 软间隔 硬间隔 2. 支持向量机求解 函数间隔： ?∗ = ??(?T? + ?) 几何间隔：? = ?(?T?+?) ||?|| ，当数据被正确分类时，几何间隔就是点到超平面的距离 为了求几何间隔最大，SVM基本问题可以转化为求解:( ?∗ ||?||为几何间隔，?∗为函数间隔) ??? ?,? ?∗ ||?|| (??????? ??) ??(?T?? + ?) ≥ ?∗, ? = 1,2,

为每个样本预测为 “0”和“1”类的概率 16 1.Scikit-learn概述 逻辑回归 支持向量机 朴素贝叶斯 K近邻 linear_model.LogisticRegression svm.SVC naive_bayes.GaussianNB neighbors.NearestNeighbors 监督学习算法-分类 17 2.Scikit-learn主要用法 监督学习算法-集成学习 交叉验证及超参数调优 超参数调优⸺网格搜索 from sklearn.model_selection import GridSearchCV from sklearn import svm svc = svm.SVC() params = {‘kernel’:[‘linear’, ‘rbf’], ‘C’:[1, 10]} grid_search = GridSearchCV(svc, params 超参数调优⸺随机搜索 from sklearn.model_selection import RandomizedSearchCV from scipy.stats import randint svc = svm.SVC() param_dist = {‘kernel’:[‘linear’, ‘rbf’], ‘C’:randint(1, 20)} random_search = RandomizedSearchCV(svc

logistic re- gression, regularization, Gaussian discriminant analysis, Naive Bayes, EM algorithm, SVM, K-means, factor analysis, PCA, neural networks etc. 68 hours (4 hours/week × 17 weeks) Labs (35%) classifier like SVM on the training set. For each unlabeled image, output probabil- ities indicating class membership. Estimate probabilities can be used to infer uncertainty. A one-vs-one SVM approach can

Classification (fitcdiscr) – Partition for Cross Validation (cvpartition) – Linear Support Vector Machine (SVM) Classification (fitclinear) – Naïve Bayes Classification (fitcnb) – Random Forest Ensemble Classification Classification (TreeBagger) – Lasso Linear Regression (lasso) – Linear Support Vector Machine (SVM) Regression (fitrlinear) – Single Classification Decision Tree (fitctree) – Linear Classification with Random

implies hight probability that x is in class k Making decision: y ∗ = arg maxk fk(x) Example: Using SVM to train each binary classifier Feng Li (SDU) Logistic Regression September 20, 2023 25 / 29 Transformation higher probability than label t Prediction: f (x) = arg max s �� t fs,t(x) � Example: using SVM to train each binary classifier Feng Li (SDU) Logistic Regression September 20, 2023 26 / 29 Softmax

融为一体，两 者在同一个优化过程中完成的。即学习器训练过程中自动进行了特征 选择。 常用的方法包括： ➢利用正则化，如L1, L2 范数，主要应用于如线性回归、逻辑回归以及 支持向量机(SVM)等算法；优点：降低过拟合风险；求得的 w 会有 较多的分量为零，即：它更容易获得稀疏解。 ➢使用决策树思想，包括决策树、随机森林、Gradient Boosting 等。 嵌入式 4. 特征选择 J].统计研究,2019,36(01) 在 Lasso 中，λ 参数控制了稀疏性： ➢如果 λ 越小，则稀疏性越小，被选择的特征越多 ➢相反 λ 越大，则稀疏性越大，被选择的特征越少 在 SVM 和 逻辑回归中，参数 C 控制了稀疏性： ➢如果 C 越小，则稀疏性越大，被选择的特征越少 ➢如果 C 越大， 则稀疏性越小，被选择的特征越多 常见的嵌入式选择模型： 嵌入式 4. 特征选择

特征提取 特征选择 输入 文本 模型训练 模型部署 评测 label 预测标签 词袋 TFIDF Ngram 词典 … 卡方 PCA 互信息 RFE … 分类器 SVM LR XGBoost 随机森林 … 6 文本分类方法简史-深度学习 输入 文本 模型训练 模型部署 评测 label 预测标签 RNN CNN LSTM DCNN