应用研究
基于稀蔬自编码器的手写体数字识别
余涛
(中国直升机设计研究所，江西景德镇333001)
开导用
摘要:深度学习是基予深层神经网络的人工智能领城的概念。其架构有参积神经网络(CNN),深度置信网络(DBN)自动端码器(AE) 等。本文描述了一种把稀疏自编码器无监肾学习得到的权值矩阵应用于卷积神经网络，而并不直接训继参积神经网络的图像特征提取方法，并利用提取的特征训练分类器。最终得到的网络分要效累较理想，并且比超传统人工神经网络的图像识别，具有网络参数较少，对图像的平移具有一定的容思能力，不容易过拟合等优点
关键词：深度学习；卷积神经网络；稀疏自编码器；无监督学习；特征提取
中图分类号：TP391.41 1引言
文献标识码：A
深度学习广泛应用于图像识别、语音识别、自然语言处理等领域。一些机器学习的任务需要复杂的数据预处理过程，人工提取特征，深度学习自动提取特征的能力大大简化了数据预处理的过程，尤其是对于图像处理，提取的特征具有明显的含义。卷积神经网络是一种深度学习的架构，网络的参数可以通过无监督学习训练。本文描述的方法并不直接训练卷积神经网络，而是通过稀疏自缩码器无监督学习得到的权值矩阵作为稀疏自编码器的卷积滤波
器，从而间接确定卷积神经网络的参数。 2稀疏自编码器
自动缩码器是一种无监督学习的神经网络结构。网络
结构如图1所示，分为输人层、隐层、输出层。隐层也称为特征提取层，自缩码器的正向传导过程分为编码和解码。
缩码过程即输入数据x经过线性加和以及偏置得到z W,x+b,，经过S型函数f(x)(比如sigmoid函数)得到隐层激活值a，三f(z，)。解码过程即隐层激活值经过线性加和以及非线性变换得到输出层激活值hw=(W,a,+b,)。
自缩码器的训练目标是让输出层和输人层之间的误差尽量小，即试图学习一个恒等函数hw,(x)=x，。若训练结果较为理想，x经正向传导后，输出值和x相似，即可认为隐层是对输人X的一个理想的编码，通过对隐层节点解码能够较好地恢复X。
对隐层节点施加某此约束，比如让隐层节点个数较少，那么为了解码能够较好地恢复输人数据，隐层节点就必须捕提输人数据的主要特性，从而达到提取特征的目的
稀疏自编码器通过在代价函数中加人稀疏性惩罚项来约束隐层节点对所有训练样本的平均激活值，某个隐层节点只有在特定的输人下才能获得较大的激活值，而对于其他输入则激活值很低，那么该隐层节点就对特定的输人其有代表性，特定的输人就是该隐层节点提取的特征。
3手写体数字图像识别
本文使用的数据是MNIST数据库，训练集数据包含了收稿日期：2016-12-12
文章编号:1007-9416(2017)01-0066-01
60000个20×20的手写体数字图片和对应的标签，测试集数据包含了10000个20×20的手写体数字图片和对应的标签。读取图片数据后，把原始图像进行扩展，得到20×40的新
图像，原始图像在新图像中的位置随机选取。（见图1） 4稀疏自编码器的训练
稀疏自编码器的训练使用的是BP算法(BackPropa一 gationAlgorithm)，代价图数为：
82
Jsparse = J + βKL(pllp))
台
其中，J为三层BP网络的代价函数，β为稀疏性代价系数，Pi.为隐层神经元对所有训练样本的平均激活度，P为期望平均激活度，KL(elle）为p和P的KL距离（KL divergence)。
从MNIST数据库数字5到9的图片中随机提取8×8的小片10000片作为训练样本。稀疏自动编码器的输人层节点为 64个，隐层节点25个，输出层节点数和输人层相同。
把训练好的稀疏自编码器的输入层和隐层连接权值可视化，隐层每一个节点代表一个特征，隐层节点和输人层的连接权值排列成8×8的图片就是特征的可视化形式。对于较小的图像来说，稀疏自缩码器训练得到的特征是各个方向的边缘信息。输人的图像可以近似地由隐层节点所代表的特征线性表示。训练好的稀疏自缩码器输人层和输出层连接的
权值(64×25)作为卷积神经网络的卷积滤波器(25个)。 5分类
原始图像（20x40）经过卷积和降采样得到Feature
3
E MNIST激据的像
图1
进疗懈多择作量的图综
··下转第68页
作者简介：余涛(1982一),男，汉族江西景德镇人，本科.现就职予中国直升机设计研完所，研究方向：导航技术。万方数据