108
传感器与微系统（Transducer and MicrosystemTechnologies）
2018年第37卷第10期
DOI:10.13873/J.10009787( 2018 )10010803
基于眼口状态的疲劳检测系统
刘小双，方志军，刘翔，高永彬，张祥祥（上海工程技术大学电子电气工程学院，上海201600）
（CNN)分别对定位后的眼口区域进行人眼静闭和嘴巴张闭状态预测；通过计算眼脸闭合率（PERCLOS）参数和驾驶员的嘴部动作频率判断驾驶员的疲劳状态。实验表明：提出的方法在保持较高的检测准确率的
同时，能够快速对驾驶员的疲劳状态进行检测，达到实时性的要求，关键词：疲劳检测；眼睛与嘴巴状态；人脸对齐
中图分类号：TP391.41
文献标识码：A
文章编号：1000-9787(2018)10-0108-03
Driver fatigue detection system based on states of
eyes and mouth
LIU Xiao-shuang, FANG Zhi-jun, LIU Xiang, GAO Yong-bin, ZHANG Xiang-xiang
( School of Electronic and Electrical Engineering,Shanghai University of Engineering Science,Shanghai 201600,China)
Abstract: A driver fatigue detection algorithm which is based on the states of eyes and mouth of drivers is proposed to detect fatigue state. A multitask cascaded convolutional networks( MTCNN )is applied for face detection and feature point positioning. After positioning, another convolution neural network( CNN )is used for eye and mouth jo an per aaried( soaned nso aa o areaad uenaea aes oia mouth movements, determine fatigue state of driver. The experimental results show that the proposed method has high
detecting accuracy and can quickly detect fatigue state of driver and meet requirements of real-time Keywords : fatigue detection; states of eyes and mouth; face alignment
0引言
我国每年有超过20%的交通事故是由疲劳驾驶造成的，研究一个实时准确的疲劳检测系统，具有非常重要的意义。基于计算机视觉的疲劳检测方法7-91是一种非侵入式的检测方法，与侵人式的检测方法“相比，其对驾驶员的影响更小，更安全有效。本文的疲劳检测是在常见光下进行，相比于传统的红外图像的状态检测2，，属于一种更安全的被动方式。为了检测眼口的状态，很多方法都依靠传统的分类器和特征，例如AdaBoost分类器[3]，以及支持向量机(support vector machine,SVM分类器[4]，在这些方法中是否选取了适当的特征是影响实验结果的关键因素，本文采用深度卷
积神经网络可以自适应提取特征，有更好的表征能力。 1人脸检测和特征点定位
本文使用的检测和定位方法是ZhangKP等人1提出的多任务级联神经网络（multi-taskconvolutionalneural networks，MTCNN)的检测定位算法。该方法主要优点在于
收稿日期：2017-10-27
通过3个级联网络同时实现人脸检测和特征点定位，速度快，且定位精度能够满足疲劳检测系统的要求。室外驾驶光线变化很大，通过在面光、背光、侧光3种不同光照以及不同姿势的检测与定位实验，结果表明该方法能够克服一定程度的光照影响。
2提取眼睛和嘴巴区域图像 2.1人脸归一化
为了准确的提取人眼与嘴巴区域图像，需要将检测出的不同姿态、不同尺度大小的人脸图像归一化到同一位置尺度，需要进行二维仿射变换，对定位的图像进行平移、缩放、旋转等一系列变换。
设（+)为平均脸上的第个特征点坐标，（，）为通过人脸定位出的第；个特征点坐标，矩阵形式为
ds
yi=M
(1)
*基金项目：国家自然科学基金资助项目（61461021）)；上海市科委地方院校能力建设项目（15590501300）