将局部二进制模式应用于动态纹理识别的新方法

动态纹理的处理、描述与识别是纹理分析的热门领域。动态纹理是对普通纹理在时间域方面的扩展,包括动态特征和静态特征。基于LBP算法的扩展提出的VLBP算法较好的描述了动态纹理特征,但是计算量过大,模板过多。本文提出了一种由VLBP算法改进的基于局部二进制运动模式的特征提取方法用以动态纹理的描述和识别,它包括提取动态特征和提取静态特征两部分。将LBP算子做为块匹配准则提取局部二进制运动模式柱状图做为动态特征的描述,提取LBP柱状图做为静态特征的描述,并将二者连接得出描述动态纹理特征的联合的局部二进制运动模式柱状图。通过对DynTex集实验的结果表明,本文提出的方法在性能和识别率方面均要优于VLBP。     

基于小波分解和优选的VLBP特征的表情识别方法*

提出一种基于小波分解和优选的VLBP特征的表情识别方法。该方法首先通过小波分解将原始图像分为几个不同频率的子图像来增强图像信息,然后用VLBP算子对不同频率的子图像运用不同的分块大小提取特征,采用神经网络贡献分析对特征进行选择,最后用SVM分类器进行识别。实验表明,该方法比单纯从原图像中提取VLBP特征更加有效,识别率更高,并且VLBP特征的提取速度快,可用于实时的人脸表情识别。     

融合动作特征的多模态情绪识别

近年来,利用计算机技术实现基于多模态数据的情绪识别成为自然人机交互和人工智能领域重要 的研究方向之一。利用视觉模态信息的情绪识别工作通常都将重点放在脸部特征上,很少考虑动作特征以及融合 动作特征的多模态特征。虽然动作与情绪之间有着紧密的联系,但是从视觉模态中提取有效的动作信息用于情绪 识别的难度较大。以动作与情绪的关系作为出发点,在经典的 MELD 多模态情绪识别数据集中引入视觉模态的 动作数据,采用 ST-GCN 网络模型提取肢体动作特征,并利用该特征实现基于 LSTM 网络模型的单模态情绪识别。 进一步在 MELD 数据集文本特征和音频特征的基础上引入肢体动作特征,提升了基于 LSTM 网络融合模型的多 模态情绪识别准确率,并且结合文本特征和肢体动作特征提升了上下文记忆模型的文本单模态情绪识别准确率, 实验显示虽然肢体动作特征用于单模态情绪识别的准确度无法超越传统的文本特征和音频特征,但是该特征对于 多模态情绪识别具有重要作用。基于单模态和多模态特征的情绪识别实验验证了人体动作中含有情绪信息,利用 肢体动作特征实现多模态情绪识别具有重要的发展潜力。     

复合时空特征的双模态情感识别

目的 针对体积局部二值模式应用到视频帧特征提取上,特征维数大,对光照及噪声鲁棒性差等问题,提出一种新的特征描述算法—时空局部三值模式矩（TSLTPM）。考虑到TSLTPM描述的仅是纹理特征,本文进一步融合3维梯度方向直方图（3DHOG）特征来增强对情感视频的描述。方法 首先对情感视频进行预处理获得表情和姿态序列;然后对表情和姿态序列分别提取TSLTPM和3DHOG特征,计算测试序列与已标记的情感训练集特征间的最小欧氏距离,并将其作为独立证据来构造基本概率分配;最后使用D-S证据联合规则得到情感识别结果。结果 在FABO数据库上进行实验,表情和姿态单模态分别取得83.06%和94.78%的平均识别率,在表情上分别比VLBP（体积局部二值模式）、LBP-TOP（三正交平面局部二值模式）、TSLTPM、3DHOG高9.27%、12.89%、1.87%、1.13%;在姿态上分别比VLBP、LBP-TOP、TSLTPM、3DHOG高24.61%、27.55%、1.18%、0.98%。将两种模态进行融合以后平均识别率达到96.86%,说明了融合表情和姿态进行情感识别的有效性。结论 本文提出的TSLTPM特征将VLBP扩展成时空三值模式,能够有效降低维数,减少光照和噪声对识别的影响,与3DHOG特征形成复合时空特征有效增强了情感视频的分类性能,与典型特征提取算法的对比实验也表明了本文算法的有效性。另外,与其他方法的对比实验也验证了本文融合方法的优越性。     

基于多频域LBP-TOP的人脸表情识别

针对人脸表情时空域特征信息的有效提取问题,提出一种多频域LBP-TOP与最大间隔球形支持向量机相结合的人脸表情识别算法。采用小波分解增强序列各帧的图像信息,对同频率的子图像序列提取分块改进的LBP-TOP特征,采用最大间隔球形支持向量机进行样本的训练及识别。实验结果证明,该方法能有效提取运动的表情特征,识别率高,同时符合实时性要求。     

多级LBP直方图序列特征的人脸识别

人脸识别是当前人工智能和模式识别的研究热点。基于对小波分解和局部二进制模式(LBP)分析,提出了一种多级LBP直方图的序列特征 (M-HSLBP) 的提取方法。2维的小波分解具有对表情变化不敏感的特点,可以很好地压缩和表征人脸图像的特征;LBP是一种有效的纹理描述算子,使用多级可变大小的子窗口对小波变换后的图像进行扫描,对各级子图像进行改进LBP变换并形成多级LBP直方图序列特征,这种特征既能反映人脸局部特征又能反映其整体特征。径向基网络作为分类器具有很高的推广性能,有利于大容量样本的分类。在对人脸库ORL和YEL的识别实验中,该算法识别率达到98%以上,与传统算法相比,取得了更好的识别结果。     

姿势序列有限状态机动作识别方法

肢体动作分析与识别是实现体感交互的重要前提.为提高用户自然动作识别的效率与通用性,提出姿势序列有限状态机方法.首先,以用户为中心建立肢体节点坐标系,将描述用户动作的肢体节点数据从设备空间变换到用户空间,并建立三维网格划分模型,以尽可能消除用户个体差异;其次,在肢体节点坐标系定义肢体节点特征向量,借助关节点空间运动矢量、关节点运动时间间隔、关节点空间距离描述肢体动作特征,对预定义肢体动作序列进行采样分析;最后,采用关节运动正则表达式表示肢体动作轨迹,构造姿势序列有限状态机,实现对预定义动作的在线识别.针对17种预定义动作的实验结果表明,文中方法识别率高,具有良好的扩展性和通用性,能够满足体感交互应用需求.     

基于CBP-TOP特征的人脸表情识别*

针对人脸表情时空域特征信息的有效提取,本文提出了一种CBP-TOP（Centralized Binary Patterns From Three Orthogonal Panels）特征和SVM分类器相结合的人脸表情识别新方法。该方法首先将原始图像序列进行图像预处理,包括人脸检测、图像截取和图像尺度归一化,然后用CBP-TOP算子对图像序列进行分块提取特征,最后采用SVM分类器进行表情识别。实验结果表明,该方法能更有效提取图像序列的运动特征和动态纹理信息,提高了表情识别的准确率。和VLBP特征相比, CBP-TOP特征在表情识别中具有更高的识别率和更快的识别速度。     

基于动作识别的情绪提取方法研究

基于运动数据的动作识别技术是当今计算机视觉和模式识别研究领域的热点问题,然而根据动作识别结果进行人体情绪提取的研究却较少。为此,在现有人体行为学研究的基础上,结合计算机图形学、人工智能和机器学习等技术,得出一套关于人体情绪的数据集合,包括开心、愤怒、悲伤、恐惧4种基本情绪和惊喜、厌恶2种衍生情绪。从动作的角度分析这6种情绪得到动作,即情绪关系,按照动作识别的划分基准,将Period作为情绪提取的最小单位,确定单个Period的情绪列表,再结合动作和速率的参数,提取出在执行该动作时人体的情绪。实验结果表明,该方法能够有效地从3D运动数据中提取情绪信息。     

基于结构局部边缘模式的绿色植物物种识别

植物图像的边缘检测是基于图像分析植物物种识别技术的重要环节，利用边缘检测可以增强图像中的轮廓边缘、细节等信息，达到将目标植物从图像中分离出来的目的。因此，为了在绿色植物物种识别中，将图像中的目标植物与背景分离，首先利用可变局部边缘模式算子提取植物图像的边缘特征，再通过结构化局部边缘模式对边缘特征进行编码，来刻画局部边缘。实验结果表明，提出的边缘模式思想在绿色植物物种识别上能得到更高的识别率。     

Emotion recognition and its application to computer agents with spontaneous interactive capabilities

In this paper, we first study the recognition of emotions involved in human speech. We propose an emotion recognition algorithm based on a neural network and also propose a method to collect a large speech database that contains emotions. We carried out emotion recognition experiments based on the neural network trained using this database. An emotion recognition rate of approximately 50% was obtained in a speaker-independent mode for eight emotion states.

We then tried to apply this emotion recognition algorithm to a computer agent that plays a character role in the interactive movie system we are developing. We propose to use emotion recognition as key technology for an architecture of the computer characters with both narrative-based and spontaneous interaction capabilities.     

融合表情和BVP生理信号的双模态视频情感识别

目的 针对当前视频情感判别方法大多仅依赖面部表情、而忽略了面部视频中潜藏的生理信号所包含的情感信息,本文提出一种基于面部表情和血容量脉冲（BVP）生理信号的双模态视频情感识别方法。方法 首先对视频进行预处理获取面部视频;然后对面部视频分别提取LBP-TOP和HOG-TOP两种时空表情特征,并利用视频颜色放大技术获取BVP生理信号,进而提取生理信号情感特征;接着将两种特征分别送入BP分类器训练分类模型;最后利用模糊积分进行决策层融合,得出情感识别结果。结果 在实验室自建面部视频情感库上进行实验,表情单模态和生理信号单模态的平均识别率分别为80%和63.75%,而融合后的情感识别结果为83.33%,高于融合前单一模态的情感识别精度,说明了本文融合双模态进行情感识别的有效性。结论 本文提出的双模态时空特征融合的情感识别方法更能充分地利用视频中的情感信息,有效增强了视频情感的分类性能,与类似的视频情感识别算法对比实验验证了本文方法的优越性。另外,基于模糊积分的决策层融合算法有效地降低了不可靠决策信息对融合的干扰,最终获得更优的识别精度。     

基于交互注意力机制的多模态情感识别算法

在多模态语音情感识别中,现有的研究通过提取大量特征来识别情感,但过多的特征会导致关键特征被淹没在相对不重要特征里,造成关键信息遗漏.为此提出了一种模型融合方法,通过两种注意力机制来寻找可能被遗漏的关键特征.本方法在IEMOCAP数据集上的四类情感识别准确率相比现有文献有明显提升;在注意力机制可视化下,两种注意力机制分别找到了互补且对人类情感识别重要的关键信息,从而证明了所提方法相比传统方法的优越性.     

Linguistic-based emotion analysis and recognition for measuring consumer satisfaction: an application of affective computing

A growing body of research suggests that affective computing has many valuable applications in enterprise systems research and e-businesses. This paper explores affective computing techniques for a vital sub-area in enterprise systems—consumer satisfaction measurement. We propose a linguistic-based emotion analysis and recognition method for measuring consumer satisfaction. Using an annotated emotion corpus (Ren-CECps), we first present a general evaluation of customer satisfaction by comparing the linguistic characteristics of emotional expressions of positive and negative attitudes. The associations in four negative emotions are further investigated. After that, we build a fine-grained emotion recognition system based on machine learning algorithms for measuring customer satisfaction; it can detect and recognize multiple emotions using customers’ words or comments. The results indicate that blended emotion recognition is able to gain rich feedback data from customers, which can provide more appropriate follow-up for customer relationship management.     

基于智能算法的生理信号情感识别

针对基于生理信号的情感识别问题,采用具有模拟退火机制的遗传算法、最大最小蚁群算法和粒子群算法来进行特征选择,用Fisher分类器对高兴、惊奇、厌恶、悲伤、愤怒和恐惧6种情感进行分类,获得了较高的识别率,并找出了对情感识别系统模型的构建具有较好性能的特征组合,建立了对6类情感具有预测能力的识别系统。     

Suicide Ideation Detection of Covid Patients Using Machine Learning Algorithm

During Covid pandemic, many individuals are suffering from suicidal ideation in the world. Social distancing and quarantining, affects the patient emotionally. Affective computing is the study of recognizing human feelings and emotions. This technology can be used effectively during pandemic for facial expression recognition which automatically extracts the features from the human face. Monitoring system plays a very important role to detect the patient condition and to recognize the patterns of expression from the safest distance. In this paper, a new method is proposed for emotion recognition and suicide ideation detection in COVID patients. This helps to alert the nurse, when patient emotion is fear, cry or sad. The research presented in this paper has introduced Image Processing technology for emotional analysis of patients using Machine learning algorithm. The proposed Convolution Neural Networks (CNN) architecture with DnCNN preprocessing enhances the performance of recognition. The system can analyze the mood of patients either in real time or in the form of video files from CCTV cameras. The proposed method accuracy is more when compared to other methods. It detects the chances of suicide attempt based on stress level and emotional recognition.     

基于SVM-KNN算法的情绪脑电识别

情绪识别与日常生活的诸多领域都有很大联系.然而,通过单一算法难以获得较高的情绪识别准确率,为此,提出一种基于支持向量机(support vector machine,SVM)和K近邻(K-nearest neighbors,KNN)融合算法(SVMKNN)的情绪脑电识别模型.在情绪分类时,首先计算待识别样本与最优分类超平面的空间距离,若两者距离大于提前设定的阈值,选用SVM分类器对情绪样本分类,否则选用KNN分类器.最后在SEED情感数据集上进行实验测试,通过对比实验,得出SVM-KNN算法提高了情绪三分类的准确率.运用该模型可有效地对情绪类型进行识别,对于医疗护理方面获取表达障碍患者的情绪状态有积极意义.     

Fuzzy model of dominance emotions in affective computing

To date, most of the human emotion recognition systems are intended to sense the emotions and their dominance individually. This paper discusses a fuzzy model for multilevel affective computing based on the dominance dimensional model of emotions. This model can detect any other possible emotions simultaneously at the time of recognition. One hundred and thirty volunteers from various countries with different cultural backgrounds were selected to record their emotional states. These volunteers have been selected from various races and different geographical locations. Twenty-seven different emotions with their strengths in a scale of 5 were questioned through a survey. Recorded emotions were analyzed with the other possible emotions and their levels of dominance to build the fuzzy model. Then this model was integrated into a fuzzy emotion recognition system using three input devices of mouse, keyboard and the touch screen display. Support vector machine classifier detected the other possible emotions of the users along with the directly sensed emotion. The binary system (non-fuzzy) sensed emotions with an incredible accuracy of 93 %. However, it only could sense limited emotions. By integrating this model, the system was able to detect more possible emotions at a time with slightly lower recognition accuracy of 86 %. The recorded false positive rates of this model for four emotions were measured at 16.7 %. The resulted accuracy and its false positive rate are among the top three accurate human emotion recognition (affective computing) systems.