学术论坛
SVM核函数与选择算法
中
(东华理工大学江西南昌330013)
摘要：本文简单介绍了SVM理论基础以及为什么在SVM中需要核函数,详细介绍了常的各种检函数及其选择问题。关键词SVM核函数核函数选择
中图分类号：TP316 1SVM的理论基础
文献标识码:A
文章编号:1007-9416(2014)09-0226-01
4SVM核函数选择
SVM的理论基础是统计学习理论。其理论是从线性可分，扩展到线性不可分的情况，甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机(SupportVectorMachine，简称SVM)
SVM的主要思想可以概括为两点：它是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输人空间线性不可分的样本转化为高维特征空间使其线性可分，从面使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能，
2SVM为什么需要核函数
SVM方法是通过一个非线性映射，把样本空间映射到一个高维乃至无穷维的特征空间中(Hilbert空间),使得在原来的样本空间中非线性可分的间题转化为在特征空间中的线性可分的间题.简单地说，就是升维和线性化。作为分类很可能在低维样本空间无法线性处理的样本集，在高维特征空间中却可以通过一个线性超平面实现线性划分。一般的升维都会带来计算的复杂化，SVM方法巧妙地解决了这个难题。应用核函数的展开定理，就不需要知道非线性映射的显式表达式。由于是在高维特征空间中建立线性学习机，所以与线性模型相比，不但几乎不增加计算的复杂性，而且在某种程度上避免了“维数灾难”。这一切要归功于核函数的展开和计算理论。
3SVM几种常用核函数
选择不同的核函数，可以生成不同的SVM，常用的核函数有以下几种：
(1)线性核函数(Linear Kernel)x(x,J)=x-y+c
(2)多项式核函数(Polynomial Kermel)k(x,y)=[(ax·y)+c)"
(3)径向基核函数(RadialBasis
Function
k(x, y) = exp( x * /")
(4)二层神经网络核函数k(x,y)=tanh(a(x·y)+b）
(5)需指数核(Exponential Kermel)k(x, y) = exp( Il xyll / 2α")(6)拉普拉斯核(Laplacian Kernel)k(x,J)=exp( xy/o)(7)ANOVA核(ANOVA Kerel)(x,)=Ze(-(r-)y
Ilx y 12
(8)二次有理核(Rational Quadratic Kernel)(x,y)=1-
Ixy' +c
(9)多元二次核(Multiquadric Kernel)k(x,j)=yllxy +c(lo)逆多元二次核(InverseMultiguadricKernel)
k(x, y) =
-
Vl x y’ +c
(11)另外一个简单实用的是Sigmoid核(SigmoidKernel) k(x, y) = tanh(b(x · y) c)
以上儿种是比较常用的，大部分在SVM，SVM-light以及
核，贝叶斯核，可以根据需要通过代码自已指定。收移日期：20140911
数字执本开写流用
不同核函数的选择体现了“相似程度"的不同含义。“相似程度" 的概念是我们选取可函数的依据，因此，在使用支持向量机解决实际问题时，常常要用有关领域的专门知识，根据问题的特点选取适当的核函数
4.1根据实际问题的特点选取核函数
核函数的正确选取依赖产生分类问题的实际问题的特点，因为不同的实际问题对相似程度有着不同的度量。
(1当考案两个输人x，的相似程度时，通常关心它们之间的距离，认为距离越相近越相似，则相应的核函数是(x,J)=X·y+c。
(2)当考案两个输人x，Y的相似程度时，可能只关心它们的长度，认为长度越接近越相似，则相应的核函数是(x,)=x11。
(3)当考案两个输人x，y的相似程度时，也可能只关心它们的幅
3+. x
角而忽略其长度，则相应的核函数是(x,J)：
4.2根据训练集的特点选取核函数
I xI I y
假定训练集的正例和负例大致可以用一个椭圆来划分，则应该选择2阶多项式核函数k(x,J)=[(ax->)+c}使其分划线是一个椭圆。
4.3直接构造核函数
简单图分类中的核函数构造方法参看文献[4]。
建议初学者在通常情况下优先考虑径向基核函数，径向基核函数(Radial Basis Function)k(x,J)=exp(l xy" /α")也叫高斯核(GaussianKermel)径向基函数是指取值仅仅依赖于特定点距离的实值函数,也就是(,)=任意—个满足(r,)=) 特性的函数中都叫做径向量函数，标准的一般使用欧氏距离，尽管其他距离函数也是可以的。选择径向基核函数主要基于以下考虑：
(1)作为一种对应于非线性映射的核函数，RBF能够处理非线性可分的情况。
(2)说明了线性核函数是RBF核函数的一种特殊情况，即通过适当第选择参数，RBF核函数总可以得到与带有错误代价参数C的线性核函数相同的效果，反之当然不成立。
(3)在选择某些参数的情况下.Sigmoid核函数k(x,y)=tanh(b(r-y)-c)的行为也类似于RBF核函数，面且选择Sigmoid核函数就有两个与之有关的参数b,c需要确定。
(4)多项式核函数需要计算内积，面这有可能产生溢出之类的计算问题。
另外两个比较常用的核函数，需指数核，拉普拉斯核也属于径向基核函数。此外不太常用的径向基核还有ANOVA核，二次有理
核，多元二次核，逆多元二次核。 5结语
最佳核函数的选择一般与有关领域的专门知识和问题自身的
特点有关，但仍有规律可循。参考文献
[1 Jhttp://baike.sogou.com/v7683351 .htm
[2Jhttp://blog.csdn.net/xiaowe1_cqu/article/details/35993729
[3]数字图像处理与机器视竞.人民邮电出版社,2012/12.[4]支持向量机一理论、算法与拓展.科学出版社,2009/8
作者简介：题丹(1978一),女，吉林四平人,项士,讲师,研究方向：数宇图像处理 226