科技论坛
基于佩戴式输入设备的手语识别方法
贾维闽吴雄华贾博文（天津工业大学，天津300387)
· 63 ·
摘要：本文用ADXL345加速度传感器作采集单手手语数据，再提取手语动作的的特征提取方法，最后通过BP神经网络对手语动作进行训练和识别，结果表明对于0-9等10个阿拉伯数字的平均识别率为88%，为实现手语动作的人机交互提供了参考。
关健词：手语识别；特征提取；BP神经网络
手势语是人体语言的一个非常重要的组成部分，手势识别的研究可以应用于呕哑语教学、特技处理、电视节目双语播放、虚拟人的研究等诸多方面，同时也有助于改善特殊人群的的生活学习条件，为他们提供更好的服务，因此手势识别的研究是一个非常有意义的课题。
从识别方法上看.目前主要采用的是隐马尔可夫模型(HMM)、模板匹配方法及神经网络方法。哈尔滨工业大学的吴江琴、高文等给出了 ANN与HMM的混合方法作为手语的训练识别方法，以增加识别方法的分类特性和减少模型的估计参数。将ANN-HMM混合方法应用于有 18个传感器的cyberglove型号数据手套的中国手语识别系统中，孤立词识别率为90%,简单语句识别率为92%P。高文等又选取Cyberglove型号数据手套作为手语输人设备，并采用了DGMM作为系统的识别技术，可识别中国手语字典中274个词条识别率为98.2%综合以上文献发现，传感器越多，可以提高识别率，但从舒适度和实用性等方面考虑却略显不足，因此本文研究只用5个传感器基于单手手语的识别，结果表明，只用5个传感器对于简单数字的识别也可以达到较高的识别率。
1数据采集与处理
1.1基于加速度传感器的数据采集与保存。根据手语识别中的加速度采集的要求，本文采用ADXL345加速度传感器作为手语加速度数据的采集源，采用ARMContex微处理器作为平台，分别绑在五个手指上，随着手指的运动，加速度传感器开始采集数据，并通过sscom32串口，将数据传输到电脑中，保存为xt格式。
1.2加速度数据预处理。由于加速度传感器本身的技术，制造工艺，材料，以及个人身体抖动和环境因素，加速度传感器采集的数据中，伴随着许多随机误差和干扰。这些误差会严重干扰基于加速度的手势识别精度和难度。因此，有必要在数据进行正式处理之前，对采集的加速度数据预处理，包括跳点去除、平滑滤波、特征提取等，实现加速度信息的有效提取和高效压缩，有效解决在传统的手势识别算法中计算量过大的问题。为了准确判断用户何时开始以及何时结束手语动作，减小实验误差。本文统一规定五个手指竖直向上的静止状态作为手语动作的开始状态和结束状态。
1.2.1去除跳点。由于加速度传感器本身的原理、材料和制作工艺等方面的缺陷，以及周围环境的影响，会导致加速度传感器采集到的数据会有跳跃性较大的加速度值，可以称之为跳点。这些跳点的存在，对加速度特征的提取可能会有一定的影响，并最终导致手势识别的误差增加。本文有一种比较前后增量变化量的方法，对加速度数据中的跳点进行过滤。
假设t-1时刻读取到加速度数据为D(t-1),t时刻读取到加速度数据为Dl)，t+1时刻读取到加速度数据为D(+1)。首先要获取变化幅度，计算相邻两个时刻的加速度增量,即D(tt=1)=D()-D(-1),D(+1,=D(+1)-D(0)在跳跃性比较大的点，总有两个相邻的增量，一个急剧增大，一个急剧减小，即如果D(ut-1)和D(+1.)符号相反，并且两个增量的绝对值均超过给定值M，则认为时刻的加速度值D()为跳点，然后用前后两点的加速度值的平均值来代替此点的加速度值。以此类推，就可以将整个手势动作的加速度序列中的所有跳点去除。
1.2.2加速度数据的平滑处理。由于人体手臂的抖动，身体的摆动以及周围环境的见动，采集到的加速度数据会有很多的随机干扰数据，需要对加速度数据进行平滑滤波处理。噪声的存在，会加大提取特征值的难度，同时，也会降低手语识别的准确度。因此需要对加速度数据进行平滑处理。本文对滑动均值滤波和中值滤波作比较，最后采用中值滤波算法进行平清去噪，前后数据对比如图1。
1.3符号定义。把采集到加速度数据经预处理后，每个手势可以用万方数据
单手及双手手语信急采黑
手语动作名称
0 1 2 3 4 6 7 8 6
0
识别率63%
图1手语数字3-
持证提取，立“手调
新样本
# 中值滤波前后对比图
样本识（BP 神经胃络复
净到气时机期
文字语音
图2项目研究流程图
型验证
表1数字0-9的运动特征值
特征值8
219.5000
321.7000
1. 0000
1. 0000
262.8000 1. 000 296.9875 1. 0000
51.0250
0 54. 4000
19.9000344.1000
1. 0000
o
18.1500
21.3000
o
o
104.0625
176.2500
0
279.7750 1. 0000 460.3090 1. 0000 157.0500 1. 000
1 91%
21.1563
0 84. 0898 0
329.5000
2 100%
3 93%
243.6300
235.6000
324.7000
1. 0000
1.0000
1.0000
281.6000
288.9375470.6000
1. 0000
59.4500 0 26, 8000 0 37. 1500 0
330.1500 1. 000
1.0000
L. 0000
405. 6219
431.4563
1.0000
1. 0000
26.3000
457.6125 1.0000
0 26.7375
0006T66
0
321.7125 1.0000
29.7625244. 1000 o
1.0000
421.1500
653.7063
1. 0000
1.0000
1. 0000 42.8500
16.2500
0 56.9562
0
231.1500
282.9500
325.7500
1. 0000 表2 4 97%
1.0000
6 100%
1.0000 7
98%
8.5%
9
达到要
10 14 17 22 17
9 67%
（转下页）