2017年第36卷第5期
传感器与微系统（Transducer and Microsystem Technologies）
55
DO1:10.13873/J.1000-9787(2017)05005504
稀疏自编码和Softmax回归的快速高效特征学习
徐德荣，陈秀宏，田进
（江南大学数字媒体学院，江苏无锡214122）
摘要：针对特征学习效果与时间平衡间题，提出了一种快速高效的特征学习方法。将稀疏自编码和 Softmax回归组合成一个新的特征提取模型，在提取原始图像潜在信息的基础上，利用多分类器返回值可以反映输入信息的相似程度的特点，快速高效的学习利于分类的特征向量。鉴于标签信息已知，该算法在图像分类效果上明显优于几种典型的特征学习方法。为了使所提算法具有更好的泛化能力，回归模型的损失函数中加人了L，范数防止过拟合，同时，采用随机梯度下降的方法得到模型的最优参数。在4个标准数据集上的测试结果表明该算法是有效可行的。
关键词：稀疏自编码；Softmax回归；特征学习；图像分类；随机梯度下降
中图分类号：TP391.4
文献标识码：A
文章编号：1000-9787(2017)05-0055-04
Fast and efficient featurelearningalgorithmbasedon sparse
autoencoderand Softmaxregression
XU De-rong, CHEN Xiu-hong, TIAN Jin
(School of Digital Media,Jiangnan University, Wuxi 214122,China)
Abstract: Aiming at equilibrium problem between the effectiveness and time of feature learning, a fast and efficient feature leaning method is proposed. A new feature extraction model is combined with sparse autoencoder and softmax regression, After extracting the potential information of original image, the model take advantage of retum value of multiple classifier which can respond the similarity of input information,learming feature vector for classification fastly and efficiently. In view of the label information is known,this algorithm is better than several typical feature leaming methods in the image classification. In order to make the proposed algorithm has better generalization ability,add L-norm into loss function of regression model to prevent overfiting. At the same time, use stochastic gradient descent method to get the optimal parameters of the model. The test resuits on four standard data sets show that the proposed algorithm is feasible and effective
Key words: sparse autoencoder; Soffmax regression; feature leaming; image classification; stochastic gradient descent
0
在数字图像处理与计算机视觉领域，图像分类是一项重要的研究课题，其关键技术在于特征提取(1)。图像特征提取，主要分为2个层次，一层是底层特征提取，另一层是高层特征提取。底层特征(34)一般分为额色特征、纹理特征(2]和形状待征[3]。
一般而言，底层特征具有良好的鲁棒性，但是由于是人工设计的，因此，易受语义误差影响。为了解决这一问题，一些学者尝试通过机器学习的方法来提取高层次的特征。近年来，深度学习方法"已经开始应用于提取图像的高层次的语义信息，并取得了很好的效果。与底层特征提取方法相
收稿日期：2016-0618
*基金项目：国家自然科学基金资助项目（61373055)
比，深度学习方法能够自动提取语义层次上的特征，但是，它也存在一定的缺点，例如；模型层数过多导致耗时过多。
为了解决上述特征学习算法的局限性，且文献[6]指出输人特征经过分类器所返回的返回值能够用于检测输人入特征的相似程度，本文提出了一种基于稀疏自编码和Soff-max回归的有监督特征学习（sparse autoencoder softmax re-
gression，SAESR）算法。 1典型的特征学习算法
1.1尺度不变特征转换及其延伸
由于尺度不变特征转换（SIFT）特征在处理旋转、亮度变化、尺度缩放以及仿射变换等方面明显优于其他特征，所