本文共 10384 字,大约阅读时间需要 34 分钟。
本文转自:
一、理论
<5-1> 径向基(RBF)核函数(高斯核函数) 的说明常用的核函数有以下4种:⑴ 线性核函数⑵ 多项式核函数⑶ 径向基(RBF)核函数(高斯核函数)⑷ Sigmoid核函数(二层神经网络核函数)
这个核函数可以将原始空间映射到无穷维空间。对于参数σ,如果选的很大,高次特征上的权重实际上衰减得非常快,所以实际上(数值上近似一下)相当于一个低维的子空间;反过来,如果选得很小,则可以将任意的数据映射为线性可分——当然,这并不一定是好事,因为随之而来的可能是非常严重的过拟合问题。不过,总的来说,通过调控参数,高斯核实际上具有相当高的灵活性,也是使用最广泛的核函数之一。
径向基(RBF)核函数主要确定惩罚因子C和参数σ。其中C控制着使间隔margin最大且错误率最小的折中,就是在确定的特征空间中调节学习机器的置信范围和经验风险的比例;而σ2是RBF核函数参数,主要影响样本数据在高维特征空间中分布的复杂程度。因此分类器的好坏取决于参数C、σ的确定。参数选择的好坏直接影响到分类器性能的好坏,但这方面目前缺乏理论指导,没有合适的方法,传统的参数选取都是通过反复的试验,人工选取令人满意的解。这种方法需要人的经验指导,并且需要付出较高的时间代价。常用的参数选择方法有:
I、网格法【OpenCV中SVM用到】
选取U个C和V个σ2,就会有的组合状态,每种组合状态对应一种SVM分类器,通过测试对比,找出推广识别率最高的C和σ2组合。一般取U=V=15,C取值分别为,取值分别为共255个C、σ2组合。网格法实质上是一种穷举法,随着排列组合的可能情况越多,其运算量将急剧增加。
II、双线性法
利用RBF核SVM的性能,首先对线性SVM求解最佳参数,使之为参数的线性SVM推广识别率最高,称为;然后固定,对满足
的,训练SVM,根据对其推广识别率的估算,得到最优参数。虽然这种方法对σ2有非常明确的公式,但首先要求解C,而很难确定最优的C。
III、梯度下降搜索法
设泛化误差为
核函数为,是待定的核参数,基本过程为:
a 将θ置一个初始值
b 用一个标准的SVM解法(如SMO),求出SVM的解——Lagrange乘子
c
d 跳转到b直至T最小
其中是足够小且最终收敛到零的数列。步骤c是一个标准的梯度下降算法。由分类函数公式可以求解,的求解较麻烦,需要通过求解一个二次规划问题得到。
IV、遗传算法
基本步骤为:
a t=0
b 随机选择初始种群P(t)
c 计算个体适应度函数值F(t)
d 若种群中最优个体所对应的适应度函数值足够大或者算法已经连续运行多代,且个体的最佳适应度无明显改进则转到第h步
e t=t+1
f 应用选择算子法从P(t-1)中选择P(t)
g 对P(t)进行交叉、变异操作,转到第c步
h 给出最佳的核函数参合和惩罚因子C,并用其训练数据集以获得全局最优分类面。
遗传算法的缺点是收敛很慢,容易受局部极小值干扰。
<5-3>验证核函数性能的方法(3种)(衡量泛化能力)
I、单一验证估计
将大数量的样本分为两部分:训练样本和测试样本,此时测试集的错误率为:
式中,p为样本数,为样本实际所属的类别,为对训练样本预测出的类别。这种方法直观简单。可以通过理论证明,当样本数量趋近于无穷大时,该估计为无偏估计,但现实中处理的总是数量有限的样本问题,所以此方法的应用范围在一定程度上受到了限制。
II、K折交叉验证【OpenCV中SVM用到】
K折交叉验证是一种迭代方式,一共迭代K次,每次将所有训练样本分为K份相等的子集样本,训练样本是选择其中K-1份样本,测试样本是剩余的一个样本。通过K次迭代后,可以利用平均值来评估期望泛化误差,根据期望泛化误差选择一组性能最佳的参数。K折交叉验证由K折交叉验证误差决定,K折交叉验证误差是算法错误率的估计,其计算方式为:假设为错分类的样本个数,经过K次迭代后,得到,那么算法的错误率可以近似为错误分类数和总样本点数之比。该方法具有操作简单的优点,成为目前应用最广泛的方法,但是这种方法容易受样本划分方式的影响。
III、留一法
留一法是K折交叉验证的特例,其基本思想是当可用样本数为N时,训练集由其中N-1个样本构成,测试样本为剩余的一个样本,经N次重复,使所有的样本都参加过测试。通过理论证明,这种估计是无偏估计。因此,从实现原理来说,留一法的效果是最佳的;但是,在参数固定的情况下,确定其错误率对样本要训练N-1次,运算量很大。为了解决留一法计算量大的缺陷,目前该方法确定核函数及其参数的常用方法是估计经验风险的上界,只要上界小,分类器的推广能力就强。
C++: CvSVMParams::CvSVMParams()
C++: CvSVMParams::CvSVMParams(int svm_type,
int kernel_type,
double degree,
double gamma,
double coef0,
double Cvalue,
double nu,
double p,
CvMat* class_weights,
CvTermCriteria term_crit
)
(3)注释CvSVMParams::CvSVMParams() : svm_type(CvSVM::C_SVC), kernel_type(CvSVM::RBF), degree(0), gamma(1), coef0(0), C(1), nu(0), p(0), class_weights(0){ term_crit = cvTermCriteria( CV_TERMCRIT_ITER+CV_TERMCRIT_EPS, 1000, FLT_EPSILON );}
<2>kernel_type:SVM的内核类型(4种):
C++: CvSVM::CvSVM()
C++: CvSVM::CvSVM(const Mat& trainData,
const Mat& responses,
const Mat& varIdx=Mat(),
const Mat& sampleIdx=Mat(),
CvSVMParams params=CvSVMParams()
)
C++: CvSVM::CvSVM(const CvMat* trainData,
const CvMat* responses,
const CvMat* varIdx=0,
const CvMat* sampleIdx=0,
CvSVMParams params=CvSVMParams()
)
C++: bool CvSVM::train(const Mat& trainData,
const Mat& responses,
const Mat& varIdx=Mat(),
const Mat& sampleIdx=Mat(),
CvSVMParams params=CvSVMParams()
)
C++: bool CvSVM::train(const CvMat* trainData,
const CvMat* responses,
const CvMat* varIdx=0,
const CvMat* sampleIdx=0,
CvSVMParams params=CvSVMParams()
)
C++: bool CvSVM::train_auto(const Mat& trainData,
const Mat& responses,
const Mat& varIdx,
const Mat& sampleIdx,
CvSVMParams params,
int k_fold=10,
CvParamGrid Cgrid=CvSVM::get_default_grid(CvSVM::C),
CvParamGrid gammaGrid=CvSVM::get_default_grid(CvSVM::GAMMA),
CvParamGrid pGrid=CvSVM::get_default_grid(CvSVM::P),
CvParamGrid nuGrid=CvSVM::get_default_grid(CvSVM::NU),
CvParamGrid coeffGrid=CvSVM::get_default_grid(CvSVM::COEF),
CvParamGrid degreeGrid=CvSVM::get_default_grid(CvSVM::DEGREE),
bool balanced=false
)
C++: bool CvSVM::train_auto(const CvMat* trainData,
const CvMat* responses,
const CvMat* varIdx,
const CvMat* sampleIdx,
CvSVMParams params,
int kfold=10,
CvParamGrid Cgrid=get_default_grid(CvSVM::C),
CvParamGrid gammaGrid=get_default_grid(CvSVM::GAMMA),
CvParamGrid pGrid=get_default_grid(CvSVM::P),
CvParamGrid nuGrid=get_default_grid(CvSVM::NU),
CvParamGrid coeffGrid=get_default_grid(CvSVM::COEF),
CvParamGrid degreeGrid=get_default_grid(CvSVM::DEGREE),
bool balanced=false
)
C++: float CvSVM::predict(const Mat& sample, bool returnDFVal=false ) const
C++: float CvSVM::predict(const CvMat* sample, bool returnDFVal=false ) const
C++: float CvSVM::predict(const CvMat* samples, CvMat* results) const
<3>预测函数的参数注释
C++: int CvSVM::get_support_vector_count() const //获取支持向量的数量
C++: const float* CvSVM::get_support_vector(int i) const //获取支持向量
参数:i – 指定支持向量的索引。
(8)获取所用特征的数量的函数
<1>作用:获取所用特征的数量
<2>函数原型:
四、SVM处理流程总结:
a. 训练的目的得到参数和支持向量(存储在xml文件中),得到参数就能得到支持向量,带进算式计算SVM分类的准确度,以准确度最高的一组参数作为最终的结果,没有绝对线性可分的,都有一个误差,参数就是把那个误差降到最低。
b. 这里的准确性是指将训练集的每个样本的向量与支持向量做运算,将运算结果与标记值比较,判断是否属于这个类,统计这个类的正确的样本数,最高的那一组参数准确性最高。
c. 最终训练得到分类器。SVM只能分两类,所以这里的分类器是两个类组成一个分类器,如果有K类,就有k(k-1)/2个分类器。
转载地址:http://yxuxi.baihongyu.com/