(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910251533.X
(22)申请日 2019.03.29
(71)申请人 山东大学
地址 250199 山东省济南市历城区山大南
路27号
(72)发明人 贲晛烨　孙静　许宏吉　王保键　
程大海　任家畅　
(74)专利代理机构 济南金迪知识产权代理有限
公司 37219
代理人 许德山
(51)Int.Cl.
G06K  9/00(2006.01)
G06K  9/32(2006.01)
(54)发明名称
一种基于感兴趣区域特征点运动的焦虑、抑
郁、愤怒表情识别方法
(57)摘要
本发明涉及一种基于感兴趣区域特征点运
动的焦虑、抑郁、愤怒表情识别方法，包括：(1)对
表情视频进行预处理；(2)检测人脸68个特征点；
(3)划分为不同的感兴趣区域；(4)追踪人脸68个
特征点；(5)设置五种表情在对应感兴趣区域内
关键特征点之间距离的阈值；(6)对于每一段表
情图像序列，从初始帧开始，循环到每个感兴
趣区域内关键特征点距离在前后帧的变化累加
值，并与每种表情的阈值做差；(7)根据FACS编码
的提示，识别焦虑、抑郁、愤怒三种情绪状态。本
发明可以形象直观地得到表情的概率，提高情感
识别的效率，且该方法可以减少计算量，降低时
耗，
是一种高鲁棒性的表情识别方法。权利要求书4页  说明书12页  附图6页CN 109961054 A 2019.07.02
C N  109961054
A
1.一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，其特征在于，包括步骤如下：
(1)对表情视频进行预处理；
(2)调用Dlib视觉库，检测人脸68个特征点；
(3)根据人脸68个特征点的运动规律，将其划分为不同的感兴趣区域；
(4)采用KLT角点跟踪算法，追踪人脸68个特征点；
(5)设置五种表情在对应感兴趣区域内关键特征点之间距离的阈值；
(6)根据FACS编码的提示，识别焦虑、抑郁、愤怒三种情绪状态，焦虑表现为AU4+AU14，即皱眉并抿
嘴；抑郁表现为AU10+AU17，即皱鼻并嘟嘴；愤怒表现为AU4+AU5，即皱眉并瞪眼；AU4是指皱眉，AU14是指抿嘴，AU10是指皱鼻，AU17是指嘟嘴，AU5是指瞪眼；
对于每一段表情图像序列，从初始帧开始，循环到每个感兴趣区域内关键特征点距离在前后帧的变化累加值，并与每种表情的阈值对比，计算每种表情出现的概率P，设置概率P的阈值t为80％，当皱眉概率高于t且抿嘴概率高于t时，情绪识别为焦虑；当皱鼻概率高于t且嘟嘴概率高于t时，情绪识别为抑郁；当皱眉概率高于t且瞪眼概率高于t时，情绪识别为愤怒；否则，情绪识别为其它。
2.根据权利要求1所述的一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，其特征在于，所述步骤(1)中，对表情视频进行预处理，包括步骤如下：
A、对表情依次进行分帧、人脸定位；
B、人脸对齐：人脸定位完成后，检测到27个面部特征点，包括：左眼中心、右眼中心、鼻子中心、左嘴角、右嘴角、左眉毛左边缘、左眉毛右边缘、左眼左边缘、左眼睫毛上、左眼睫毛下、左眼右边缘、右眉毛左边缘、右眉毛右边缘、右眼左边缘、右眼睫毛上、右眼睫毛下、右眼右边缘、鼻梁高左、鼻梁高右、鼻梁中左、鼻梁中右、鼻梁低左、鼻梁低右、人中、嘴唇上、嘴唇中、嘴唇下；左眼中心、右眼中心连线和水平线有一定夹角，对人脸驱动变形后，通过使左眼中心、右眼中心连线与水平线平行，矫正人脸姿态，实现人脸对齐。
3.根据权利要求1所述的一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，其特征在于，所述步骤(3)中，根据人脸68个特征点的运动规律，将其划分为不同的感兴趣区域，是指：选取皱眉动作变化最明显的关键特征点包括左眉毛右边缘、右眼左边缘、鼻梁中部，组成区域一；选取瞪眼动作变化最明显的关键特征点包括左、右眼周八个特征点，组成区域二；选取皱眉动作变化最明显的关键特征点包括鼻子部位八个特征点，组成区域三；选取抿嘴、嘟嘴动作变化最明显的关键特征点包括嘴唇周围十七个特征点，组成区域四，区域即感兴趣区域。
4.根据权利要求1所述的一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，其特征在于，所述步骤(4)中，采用光流法，追踪人脸68个特征点，包括步骤如下：选择FAST角点作为跟踪点，通过方程式①解得的残差e：
Zd＝e  ①
式①中，Z是2×2的矩阵；Z＝∫∫W g(x)g T(x)ω(x)dx；
e是2×1的向量，是计算的残差，e＝∫∫W[J(x)-I(x)]g(x)ω(x)dx；
设置残差e的阈值为100；
如果求得的残差e小于残差e的阈值，则认为是跟踪到的一个角点，求出角点的偏移d；
设置d的阈值为10，若d小于10，则被认为是跟踪正确的角点。
5.根据权利要求1所述的一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，其特征在于，所述步骤(6)中，包括步骤如下：
D、检测第一帧图像中68个人脸特征点的位置，从第二帧图像开始，在表情图像序列中跟踪68个人脸特征点的位置，计算出68个人脸特征点在表情图像序列前后帧运动的欧氏距离，在第i帧中特征点P1(x1,y1)与P2(x2,y2)之间的距离为d i，如式②所示：
式②中，i表示表情图像序列中第i帧图像；
E、将前后帧间两个特征点距离作差，并计算整个表情图像序列差值的累加和D，如式③所示：
式③中，n为表情序列的帧数。
6.根据权利要求1所述的一种基于感兴趣区域特征点运动的焦虑、抑郁、愤怒表情识别方法，其特征在于，所述步骤(6)中，对于不同的AU所对应表情动作，取不同感兴趣区域内特征点进行计算，包括步骤如下：
F、AU4皱眉对应感兴趣区域为区域一，选择特征点22,23,28，分别求得表情序列中，特征点22与28的距离差值累加和D1，以及特征点23与28的距离差值累加和D2；
到D1,D2的最小值D1min,D2min，其所对应的表情帧，即为皱眉幅度最大的位置；
设置皱眉的特征点形变阈值var1为：  2.5为特征点22与28以及特征
靠近 李圣杰点23与28在皱眉幅度最大时设置的标准值，320为人脸大小的标准值，facesize为当前表情序列中人脸大小；
计算AU4皱眉出现的概率P1：
G、AU5瞪眼对应的感兴趣区域为区域二，选择左眼特征点38,39,41,42以及右眼特征点44,45,47,48，分别求得表情序列中特征点38与特征点42、特征点39与特征点41、特征点44与与特征点48、特征点45与特征点47的距离差值累加和D1′,D2′,D3′,D4′；
到D1′,D2′,D3′,D4′的最大值D′1max,D′2max,D′3max,D′4max，其对应的表情帧即为瞪眼动作幅度最大的位置；
设置瞪眼的特征点形变阈值var2为：  2.5为左眼特征点对(38,42)
与(39,41)距离取均值以及右眼特征点对(44,48)、(45,47)距离取均值后的标准值，320为人脸大小的标准值，facesize为当前表情序列中人脸大小；
先分别对左眼、右眼特征点最大距离差值累加和取均值D left、D right：
计算AU5瞪眼出现的概率P2：
H、AU10皱鼻对应感兴趣区域为区域三，选择特征点29,32,36，分别求得表情序列中特征点对(29,32)以及(29,26)的距离差值累加和D″1,D″2；
到D″1,D″2的最小值D″1min,D″2min，其所对应的表情帧，即为皱鼻幅度最大的位置，设置
皱眉的特征点形变阈值var3为：7.5为特征点对(29,32)以及(29,26)
在皱鼻幅度最大时设置的标准值，320为人脸大小的标准值，facesize为当前表情序列中人脸大小；
计算AU10皱鼻出现的概率P3：
I、AU17嘟嘴对应的感兴趣区域为区域四，选择区域内特征点对(51，59)、(52,58)、(53,
57)计算嘴部上下的运动幅度，选择特征点对(49,55)计算嘴部左右的运动幅度，分别求得表情序列中特征点对(51，59)、(52,58)、(53,57)三对特征点的距离差值累加和D″′1,D″′2, D″′3,D″′4,；
到D″′1,D″′2,D″′3的最大值D″′1max,D″′2max,D″′3max以及D″′4的最小值D″′4min，此时对应的表情帧即为嘟嘴动作幅度最大的位置，设置嘟嘴的特征点形变阈值左右方向为-5，上下方向为5；
先对嘴部上下方向上特征点对最大距离差值累加和取均值：
计算AU17嘟嘴出现的概率P4:
J、AU14抿嘴对应的感兴趣区域为区域四，选择区域内特征点对(51，59)、(52,58)、(53, 57)计算嘴部上下的运动幅度，分别求得表情序列中特征点对(51，59)、(52,58)、(53,57)三
对特征点的距离差值累加和到D1,D2,D3的最小值此时对应的表情帧即为抿嘴动作幅度最大的位置，设置抿嘴的特征点形变阈值为-5；
先对特征点对(51，59)、(52,58)、(53,57)最大距离差值累加和取均值：
计算AU14抿嘴出现的概率P5：
K、进行情绪状态识别：
若P1≥80％且P5≥80％，即皱眉与抿嘴出现概率均达80％，AU4+AU14，则情绪识别为焦虑；若P3≥80％且P4≥80％，即皱鼻与嘟嘴出现概率均达80％，AU10+AU17，则情绪识别为抑郁；若P1≥80％且P2≥80％，即皱眉与瞪眼出现概率均达80％，AU4+AU5，则情绪识别为焦虑；否则，情绪识别为其它。