2022年02月 机器学习-支持向量机 黄海广 副教授 2 本章目录 01 支持向量机概述 02 线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 3 1.支持向量机概述 01 支持向量机概述 02 线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 4 1.支持向量机概述 支 持 向 量 机 （ classifier），其决 策边界是对学习样本求解的最大边距超平面（ maximum-margin hyperplane） 。 与逻辑回归和神经网络相比，支持向量机，在学 习复杂的非线性方程时提供了一种更为清晰，更 加强大的方式。 支持向量 距离 5 1.支持向量机概述 硬间隔、软间隔和非线性 SVM 假如数据是完全的线性可分的，那么学习到的模型可以称为硬间隔支持向 量机。换个说法，硬间隔指的就是完全分类准确，不能存在分类错误的情 况。软间隔，就是允许一定量的样本分类错误。 软间隔 硬间隔 线性可分 线性不可分 6 支持向量 1.支持向量机概述 算法思想 找到集合边缘上的若干数据（称为 支持向量（Support Vector）） ，用这些点找出一个平面（称为决 策面），使得支持向量到该平面的 距离最大。 距离 7 1.支持向量机概述 背景知识 任意超平面可以用下面这个线性方程来描述： ?T? + ? = 0

大模型时代下向量数据库的设计与应用 个人简介 目前在拓数派负责向量数据库PieCloudVector产品，聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验， 在加入拓数派前曾就职于开源大数据平台Greenplum团队，担任外部 数据源访问框架，对象存储访问扩展，ETL工具等产品模块的研发， 并曾参与PostgreSQL多个版本的代码贡献，拥有丰富的存储模块核心 邱培峰 拓数派向量数据库负责人 拓数派：大模型数据计算系统先行者 • 拓数派（ OpenPie）是立足于国内的基础数据计算领域高科技 创新机构； • 拥有强大的数据库内核研发团队、数据科学团队和数字化转型团 队； • 国内虚拟数仓和eMPP技术提出者，不断在数据计算引擎方向进 行创新，全面拥抱AI技术趋势。 目录 • 大模型应用和RAG • 向量近似搜索和向量数据库 • P 将辅助增强数据通过embedding过程转换为向量，加载到向量数据库中并做索引 • 对每个用户输入同样通过embedding过程得到向量，从向量数据库中搜索距离相近数据 • 将这些辅助数据与用户输入同时输入给大模型之后输出 向量数据库 • embedding通过大模型将各种形式的数据转换成向量 向量数据库 • 两个向量可以计算它们的距离（欧式，余弦/内积， 曼哈顿等），距离越近，表示这两个物体越相似 • 向量搜索的基本问题：K-Nearest

TF-IDF 互信息 信息增益 期望交叉熵 主成分分析 … 特征工程需要手工寻找特 征，花费大量人力，特征的 好坏往往决定最终结果 深度学习基础结构 基础神经元结构 多个神经元连接组成神经网络 字词表示 计算机 电脑 [ 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, … ] [ 0, 0, 0, 0, 0, 1, [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, … ] one-hot表示 高维，稀疏，正交，无法计算语义相关性 字词表示 威海市 [ -2.0795249939, 1.4055569172, 1.9540510178, … -0.651816964, -6.1333961487, -0.5107190013 ] 可以使用非监督语料训练字词向量提升效果 文本分类 CNN RNN CLSTM 序列标注 传统机器学习（CRF） • 需要大量特征工程 • 不同领域需要反复调整 深度学习（Bi-LSTM+CRF） • 多领域通用 • 输入层采用词向量，提升泛化能力 • 循环神经网络（LSTM,GRU等）能学 到一些较远的的上下文特征以及一些 非线性特征 序列标注 字/词向量 Bi-LSTM

加了更多Python API扩展。 2.62 -- 2012年2⽉: 添加 Carve library 以改进布尔操作，增加了对物体追踪的⽀持，新增重构 ⽹格修改器，游戏引擎⼤量改进，Python API中的矩阵和向量改进，新的插 件，以及⼤量bug修复。 2.63 -- 2012年4⽉: 合并Bmesh到主⼲，开启n边多边形的全⾯⽀持，雕刻隐藏，为Cycles准备 的全景相机，镜⼦球环境纹理和浮点数精度纹理，渲染层遮罩层、环境光 当悬浮（当⿏标放在⼀个输⼊框上时）。 属性 Ctrl-C -- 复制输⼊框⾥的值（单个）。 Ctrl-V -- 粘贴值进输⼊框（单个）。 Ctrl-Alt-C -- 复制输⼊框⾥整个向量值或⾊彩值。 Ctrl-Alt-V -- 粘贴整个向量值或⾊彩值进输⼊框⾥。 RMB -- 打开上下⽂菜单。 Backspace -- 清除值（归零或清楚内容） Minus -- 否定数值（乘以-1.0）。 Ctrl-Wheel 插⼜的输⼊，数值映射的所有 点都被设置为相同的值。 整数（⽯灰绿⾊） ⽤于传递整数值（⽆⼩数的数字）。 布尔值（粉⾊） ⽤于传递⼀个正确或错误的值。 字符串（浅蓝⾊） ⽤于传递⽂本值。 ⽮量（深蓝⾊） 表⽰向量、坐标和法线信息。 颜⾊（黄⾊） 说明接⼜ 接收/⽣成 颜⾊信息。依照节点树的类型，颜⾊不⼀定有alpha属 性。 着⾊器（鲜绿⾊） ⽤于 Cycles 和 Eevee 的着⾊节点。 ⼏何信息（绿松⽯）

加了更多Python API扩展。 2.62 -- 2012年2⽉: 添加 Carve library 以改进布尔操作，增加了对物体追踪的⽀持，新增重构 ⽹格修改器，游戏引擎⼤量改进，Python API中的矩阵和向量改进，新的插 件，以及⼤量bug修复。 2.63 -- 2012年4⽉: 合并Bmesh到主⼲，开启n边多边形的全⾯⽀持，雕刻隐藏，为Cycles准备 的全景相机，镜⼦球环境纹理和浮点数精度纹理，渲染层遮罩层、环境光 当悬浮（当⿏标放在⼀个输⼊框上时）。 属性 Ctrl-C -- 复制输⼊框⾥的值（单个）。 Ctrl-V -- 粘贴值进输⼊框（单个）。 Ctrl-Alt-C -- 复制输⼊框⾥整个向量值或⾊彩值。 Ctrl-Alt-V -- 粘贴整个向量值或⾊彩值进输⼊框⾥。 RMB -- 打开上下⽂菜单。 Backspace -- 清除值（归零或清楚内容） Minus -- 否定数值（乘以-1.0）。 Ctrl-Wheel 个像素的亮度代表它的值）。如果⼀个单⼀的值被⽤作 "数值映射" 插⼜的 输⼊，数值映射的所有点都被设置为相同的值。 整数（⽯灰绿⾊） ⽤于传递整数值（⽆⼩数的数字）。 字符串（浅蓝⾊） ⽤于传递⽂本值。 ⽮量（深蓝⾊） 表⽰向量、坐标和法线信息。 数据块 集合（⽩⾊） ⽤于传递⼀个集合数据块。 物体（橙⾊） ⽤于传递⼀个物体数据块。 Material (salmon) Used to pass a material

加了更多Python API扩展。 2.62 -- 2012年2⽉: 添加 Carve library 以改进布尔操作，增加了对物体追踪的⽀持，新增重构 ⽹格修改器，游戏引擎⼤量改进，Python API中的矩阵和向量改进，新的插 件，以及⼤量bug修复。 2.63 -- 2012年4⽉: 合并Bmesh到主⼲，开启n边多边形的全⾯⽀持，雕刻隐藏，为Cycles准备 的全景相机，镜⼦球环境纹理和浮点数精度纹理，渲染层遮罩层、环境光 当悬停时（当⿏标放在⼀个输⼊框上）。 属性 Ctrl-C -- 复制输⼊框⾥的值（单个）。 Ctrl-V -- 粘贴值进输⼊框（单个）。 Ctrl-Alt-C -- 复制输⼊框⾥整个向量值或⾊彩值。 Ctrl-Alt-V -- 粘贴整个向量值或⾊彩值进输⼊框⾥。 RMB -- 打开上下⽂菜单。 Backspace -- 清除值（归零或清楚内容） Minus -- 否定数值（乘以-1.0）。 Ctrl-Wheel 个像素的亮度代表它的值）。如果⼀个单⼀的值被⽤作 "数值映射" 插⼜的 输⼊，数值映射的所有点都被设置为相同的值。 整数（⽯灰绿⾊） ⽤于传递整数值（⽆⼩数的数字）。 字符串（浅蓝⾊） ⽤于传递⽂本值。 ⽮量（深蓝⾊） 表⽰向量、坐标和法线信息。 数据块 集合（⽩⾊） ⽤于传递⼀个集合数据块。 物体（橙⾊） ⽤于传递⼀个物体数据块。 材质（⾁⾊） ⽤于传递⼀个材质数据块。 纹理（粉⾊） ⽤于传递⼀个纹理数据块。

添加了更多Python API扩展。 2.62 -- 2012年2⽉: 添加 Carve library 以改进布尔操作，增加了对物体追踪的⽀持，新增重构 ⽹格修改器，游戏引擎⼤量改进，Python API中的矩阵和向量改进，新的 插件，以及⼤量bug修复。 2.63 -- 2012年4⽉: 合并Bmesh到主⼲，开启n边多边形的全⾯⽀持，雕刻隐藏，为Cycles准备 的全景相机，镜⼦球环境纹理和浮点数精度纹理，渲染层遮罩层、环境光 当悬停时（当⿏标放在⼀个输⼊框上）。 属性 Ctrl-C -- 复制输⼊框⾥的值（单个）。 Ctrl-V -- 粘贴值进输⼊框（单个）。 Ctrl-Alt-C -- 复制输⼊框⾥整个向量值或⾊彩值。 Ctrl-Alt-V -- 粘贴整个向量值或⾊彩值进输⼊框⾥。 RMB -- 打开上下⽂菜单。 Backspace -- 清除值（归零或清楚内容） Minus -- 否定数值（乘以-1.0）。 Ctrl-Wheel 亮度代表它的值）。如果⼀个单⼀的值被⽤作 "数值映射" 插⼜的输⼊，数值映 射的所有点都被设置为相同的值。 整数（⽯灰绿⾊） ⽤于传递整数值（⽆⼩数的数字）。 字符串（浅蓝⾊） ⽤于传递⽂本值。 ⽮量（深蓝⾊） 表⽰向量、坐标和法线信息。 数据块 集合（⽩⾊） ⽤于传递⼀个集合数据块。 物体（橙⾊） ⽤于传递⼀个物体数据块。 材质（⾁⾊） ⽤于传递⼀个材质数据块。 纹理（粉⾊） ⽤于传递⼀个纹理数据块。

加了更多Python API扩展。 2.62 -- 2012年2⽉: 添加 Carve library 以改进布尔操作，增加了对物体追踪的⽀持，新增重构 ⽹格修改器，游戏引擎⼤量改进，Python API中的矩阵和向量改进，新的插 件，以及⼤量bug修复。 2.63 -- 2012年4⽉: 合并Bmesh到主⼲，开启n边多边形的全⾯⽀持，雕刻隐藏，为Cycles准备 的全景相机，镜⼦球环境纹理和浮点数精度纹理，渲染层遮罩层、环境光 当悬停时（当⿏标放在⼀个输⼊框上）。 属性 Ctrl-C -- 复制输⼊框⾥的值（单个）。 Ctrl-V -- 粘贴值进输⼊框（单个）。 Ctrl-Alt-C -- 复制输⼊框⾥整个向量值或⾊彩值。 Ctrl-Alt-V -- 粘贴整个向量值或⾊彩值进输⼊框⾥。 RMB -- 打开上下⽂菜单。 Backspace -- 清除值（归零或清楚内容） Minus -- 否定数值（乘以-1.0）。 Ctrl-Wheel 插⼜的输⼊，数值映射的所有 点都被设置为相同的值。 整数（⽯灰绿⾊） ⽤于传递整数值（⽆⼩数的数字）。 布尔值（粉⾊） ⽤于传递⼀个正确或错误的值。 字符串（浅蓝⾊） ⽤于传递⽂本值。 ⽮量（深蓝⾊） 表⽰向量、坐标和法线信息。 颜⾊（黄⾊） 说明接⼜ 接收/⽣成 颜⾊信息。依照节点树的类型，颜⾊不⼀定有alpha属 性。 着⾊器（鲜绿⾊） Used for shaders in Cycles and

API扩展。 2.62 -- February 2012: 添加 Carve library 以改进布尔操作，增加了对物体追踪的⽀持， 新增重构⽹格修改器，游戏引擎⼤量改进，Python API中的矩阵 和向量改进，新的插件，以及⼤量bug修复。 2.63 -- April 2012: 合并Bmesh到主⼲，开启n边多边形的全⾯⽀持，雕刻隐藏，为 Cycles准备的全景相机，镜⼦球环境纹理和浮点数精度纹理，渲 当悬停时（当⿏标放在⼀个输⼊框上）。 属性 Ctrl-C -- 复制输⼊框⾥的值（单个）。 Ctrl-V -- 粘贴值进输⼊框（单个）。 Ctrl-Alt-C -- 复制输⼊框⾥整个向量值或⾊彩值。 Ctrl-Alt-V -- 粘贴整个向量值或⾊彩值进输⼊框⾥。 RMB -- 打开上下⽂菜单。 回退键 -- 清除值（归零或清楚内容）。 Minus -- 否定数值（乘以-1.0）。 Ctrl-Wheel 的值被⽤作 "数值映 射" 插⼜的输⼊，数值映射的所有点都被设置为相同的值。 整数（⽯灰绿⾊） ⽤于传递整数值（⽆⼩数的数字）。 字符串（浅蓝⾊） ⽤于传递⽂本值。 ⽮量（深蓝⾊） 表⽰向量、坐标和法线信息。 数据块 集合（⽩⾊） ⽤于传递⼀个集合数据块。 物体（橙⾊） ⽤于传递⼀个物体数据块。 材质（⾁⾊） ⽤于传递⼀个材质数据块。 纹理（粉⾊） ⽤于传递⼀个纹理数据块。

API扩展。 2.62 -- 2012年2⽉: 添加 Carve library 以改进布尔操作，增加了对物体追踪的⽀持， 新增重构⽹格修改器，游戏引擎⼤量改进，Python API中的矩阵 和向量改进，新的插件，以及⼤量bug修复。 2.63 -- 2012年4⽉: 合并Bmesh到主⼲，开启n边多边形的全⾯⽀持，雕刻隐藏，为 Cycles准备的全景相机，镜⼦球环境纹理和浮点数精度纹理，渲 当悬停时（当⿏标放在⼀个输⼊框上）。 属性 Ctrl-C -- 复制输⼊框⾥的值（单个）。 Ctrl-V -- 粘贴值进输⼊框（单个）。 Ctrl-Alt-C -- 复制输⼊框⾥整个向量值或⾊彩值。 Ctrl-Alt-V -- 粘贴整个向量值或⾊彩值进输⼊框⾥。 RMB -- 打开上下⽂菜单。 回退键 -- 清除值（归零或清楚内容）。 Minus -- 否定数值（乘以-1.0）。 Ctrl-Wheel 的值被⽤作 "数值映 射" 插⼜的输⼊，数值映射的所有点都被设置为相同的值。 整数（⽯灰绿⾊） ⽤于传递整数值（⽆⼩数的数字）。 字符串（浅蓝⾊） ⽤于传递⽂本值。 ⽮量（深蓝⾊） 表⽰向量、坐标和法线信息。 旋转（粉⾊） 表⽰旋转或四元数。 矩阵（深粉⾊） Indicates a 4×4 matrix of float values, it is often used to represent