MEF融合HFF的戏剧视频关键情节自动提取

为了更好地从戏剧视频提取关键情节,提出了一种基于音乐情感特征(MEF)融合人脸特征(HFF)的自动提取方法.首先,利用基于音频指纹技术的二级音乐情感识别方法进行音频识别,并利用人脸特征进行视频识别;然后,利用音频和视频识别得到的各元素获取关键情节值,从而提取关键情节;最后,提出了一种量化评估方法评估关键情节提取方法的一致性.在四个戏剧视频上的评估实验验证了该方法的有效性及可靠性,相比其他几种较新的提取模型,该方法提取效果更好.     

维吾尔语音情感声学特征提取与建模研究

在收集较大规模情感语音语料库基础上,分析了维吾尔语语音在韵律特征和音质特征方面的19种语境信息和6种情感特征参数,并利用STRAIGHT算法实现了情感特征参数的提取,最后利用分类回归树（CART）算法针对各个情感特征和中性向其它情感的转换特征进行了建模。实验结果表明,所提取情感特征能准确的区分各个情感类型,为实现中性语音转换成各种目标情感语音奠定了基础。     

基于多分类器投票组合的语音情感识别

为了提高语音情感的正确识别率,提出一种基于多分类器投票组合的语音情感识别新方法.在提取情感语音的韵律特征和音质特征基础上,利用投票方法将支持向量机、K近邻法和人工神经网络三种分类器构成组合分类器,实现对汉语生气、高兴、悲伤和惊奇4种主要情感类型的识别.实验结果表明,与使用单一分类器相比,组合分类器对语音情感的识别取得了87.4%的平均正确识别率,识别效果优于单一分类器.     

基于自适应结构图的半监督语音情感特征选择

本文研究了语音情感识别中的半监督特征选择问题,即如何利用未标记语音情感数据来帮助选择具有情感判别性的特征.为了解决这个问题,提出了一种新的基于图的半监督特征选择方法.其可以根据标签适应度和流形平滑度,在图上估计一个预测标签矩阵,从而有效地利用标记数据中的标签信息,以及标记数据和未标记数据中的流形结构信息.与现有的基于图的方法相比,该方法能同时进行特征选择和局部结构学习,从而自适应地确定图相似度矩阵.同时,还对图相似度矩阵进行了约束,使其包含更准确的数据结构信息,从而可以选择更有判别性的特征.此外,提出了一种有效的迭代算法来优化该问题.在典型语音情感数据集上的实验结果表明,本文提出的方法是有效的.     

一种人工情感及行为策略模型的有限自动机实现

在情感模型和理论的基础上,针对情感特征,提出了一种新的人工情感框架模型,利用自动机理论,分析了情感在现有状态和外部环境刺激下的情感转移过程和行为策略,根据智能体所要求实现的控制功能,建立了一个基于有限自动机的人工情感模型,并构建了对应的时序电路,从功能的角度为实现人工情感的工程化提供了一种新的思路和方法.     

基于模糊集理论的语音情感识别

本文提出了一种基于模糊集理论的情感特征识别方法,实现了对3种情感的识别：欢快、愤怒和悲伤。利用提取的情感语句全局统计特征参数,对从10名话者中搜集的100句情感识别语句,获得了不错的平均情感识别率。     

基于改进的蛙跳算法与支持向量机的实用语音情感识别

支持向量机是一种基于统计学习理论的新型机器学习算法,在高维特征空间中寻找最优分类超平面,具有很好的分类精度和泛化性能.支持向量机的训练需要求解一个带约束的二次规划问题,针对数据规模很大情况下经典训练方法变得很困难的缺点,提出一种基于改进混合蛙跳算法的支持向量机分类器参数优化方法,既提高了混合蛙跳算法的收敛速度和精度,又能借助混合蛙跳算法的全局随机搜索能力,为支持向量机参数的优化选择提供一条有效途径.本文提取情感语句的韵律特征、音质特征和混沌特征参数,提出一种基于改进蛙跳算法的数据融合方法,并利用基于改进蛙跳算法的支持向量机进行实用语音情感的识别研究.在实验中比较了PCA方法、BP神经网络和数据融合方法用于语音情感识别的识别率,研究结果表明本文所提的各项改进机制能有效提升情感识别率,为实用语音情感的识别提供一种新方法和新思路.     

基于LS-SVM的情感语音识别

提出了一种基于LS-SVM的情感语音识别方法。即先提取实验中语音信号的基频,能量,语速等参数为情感特征,然后采用LS-SVM方法对相应的情感语音信号建立模型,进行识别。实验结果表明,利用LS-SVM进行基本情感识别时,识别率较高。     

一种微博用户情感影响者发现模型

情感在微博网络中传播并感染用户,对微博网络甚至现实世界都有重要影响.发现具有情感影响力的用户(情感影响者)对社会管理或制定市场策略等具有重要意义.本文建立了包含两种节点(用户,微博)和三种关系(转发,关注,发帖)的异质微博网络,利用微博情感相似性和用户情感行为相似性将其转化为只包含用户节点的同质网络,进而在该网络中使用随机游走模型发现情感影响者.贡献包含以下方面:利用微博情感相似性和用户的情感行为相似性验证了本文所构建微博网络的情感同配性,确认了情感影响在该网络中存在;提出EmotionRank模型用以寻找情感影响者;基于微博数据的实验结果有效验证了该模型的有效性和优越性.     

基于声门波和声道特征的语音情感识别

语音情感识别是实现自然人机交互不可缺失的部分,是人工智能的重要组成部分。发音器官的调控引起情感语音声学特征的差异,从而被感知到不同的情感。传统的语音情感识别只是针对语音信号中的声学特征或听觉特征进行情感分类,忽略了声门波和声道等发音特征对情感感知的重要作用。在我们前期工作中,理论分析了声门波和声道形状对感知情感的重要影响,但未将声门波与声道特征用于语音情感识别。因此,本文从语音生成的角度重新探讨了声门波与声道特征对语音情感识别的可能性,提出一种基于源-滤波器模型的声门波和声道特征语音情感识别方法。首先,利用Liljencrants-Fant和Auto-Regressive eXogenous(ARX-LF)模型从语音信号中分离出情感语音的声门波和声道特征;然后,将分离出的声门波和声道特征送入双向门控循环单元（BiGRU）进行情感识别分类任务。在公开的情感数据集IEMOCAP上进行了情感识别验证,实验结果证明了声门波和声道特征可以有效的区分情感,且情感识别性能优于一些传统特征。本文从发音相关的声门波与声道研究语音情感识别,为语音情感识别技术提供了一种新思路。     

用于跨库语音情感识别的DBN特征融合方法

跨数据库语音情感识别中,将不同尺度上提取的情感特征进行融合是目前的技术难点。本文利用深度学习领域的深度信念模型,提出了基于深度信念网络的特征层融合方法。将语音频谱图中隐含的情感信息作为图像特征,与传统情感特征融合。研究解决了跨数据库语音情感识别中,将不同尺度上提取的情感特征进行融合的技术难点。利用STB/Itti模型对语谱图进行分析,从颜色、亮度、方向三个角度出发,提取了新的语谱图特征;然后研究改进的DBN网络模型并对传统声学特征与新提取的语谱图特征进行了特征层融合,增强了特征子集的尺度,提升了情感表征能力。通过在ABC数据库和多个中文数据库上的实验验证,特征融合后的新特征子集相比传统的语音情感特征,其跨数据库识别结果获得了明显提升。      

基于核典型相关分析的语音情感识别研究

语音是人类表达思想和感情交流最重要的工具,是人类文化的重要组成部分。语音情感识别作为情感计算中的重要课题已经成为国际上的研究热点,受到越来越多的关注。已有神经科学研究表明,大脑是产生调节情感的物质基础。因此,在语音情感的研究中,我们不能仅考虑语音信号自身,还应将大脑的活动信号融入语音情感识别中,以实现更高准确率的情感识别。基于上述思想,本文提出了一种基于核典型相关分析（KCCA）的语音特征提取方法。该方法将语音特征与脑电图（EEG）特征映射到高维希尔伯特空间,并计算二者的最大相关系数。KCCA将语音特征在高维希尔伯特空间上向与脑电特征相关性最大的方向投影,最终得到包含脑电信息的语音特征。本文方法将与语音情感相关的脑电信息融入语音情感特征提取中,所提特征能够更准确的表征情感。同时,本方法在理论上具有良好的可迁移性,当所提脑电特征足够准确与具有代表性时,KCCA建模得到的投影向量具有通用性,可直接用于新的语音情感数据集中而无需重新采集和计算相应的脑电信号。在自建语音情感数据库与公开语音情感数据库MSP-IMPROV上的实验结果表明,使用投影语音特征进行语音情感分类的方法优于使用原始音频特征...     

中文语音情感常用特征识别性能分析

语音情感识别对于实现人机交互具有重要的应用价值.语音情感识别中,情感特征的选取与组合对于情感识别的准确率影响巨大.已有研究中,情感特征对识别率的贡献停留在定性分析中,未有定量的描述,不利于情感识别中特征的选择.本文针对中文语音情感识别中的常用特征进行定量分析,通过不同的情感特征进行组合,采用支持向量机进行分类,得到各情感特征对识别的贡献率.实验结果表明,单个特征中,梅尔倒谱系数贡献率最高,达到了78%;特征组合中,特征越多对识别率贡献越大.     

采用原子表示模型的维吾尔语语音情感识别

针对现有的基于表示学习的语音情感计算算法中存在着限制条件单一的问题,且没有证明它们的有效性,提出了一种采用原子表示模型的语音情感识别算法。通过引入一个新的条件,称为原子分类条件。在这种条件下,对正确识别新的测试情感样本有较好的效果。现有的基于表示的分类算法以单一的稀疏表示方法为主,而提出的算法可以结合稀疏表示模型和其他的表示模型。该算法能够放宽适用条件的范围,使得原子表示模型适应更多分类任务。采集并建立了维吾尔语语音情感数据库。在该情感数据库上,分析维吾尔语情感语音的基本声学特征。通过对情感特征空间进行原子表示的映射变换,可以有效表示情感特征空间。经实验结果证明所提出的方法优于传统的方法,在维吾尔语情感语音数据库上达到了64.17%识别率。      

A hybrid color and frequency features method for face recognition

This correspondence presents a novel hybrid Color and Frequency Features (CFF) method for face recognition. The CFF method, which applies an Enhanced Fisher Model (EFM), extracts the complementary frequency features in a new hybrid color space for improving face recognition performance. The new color space, the RIQ color space, which combines the R component image of the RGB color space and the chromatic components I and Q of the YIQ color space, displays prominent capability for improving face recognition performance due to the complementary characteristics of its component images. The EFM then extracts the complementary features from the real part, the imaginary part, and the magnitude of the R image in the frequency domain. The complementary features are then fused by means of concatenation at the feature level to derive similarity scores for classification. The complementary feature extraction and feature level fusion procedure applies to the I and Q component images as well. Experiments on the Face Recognition Grand Challenge (FRGC) version 2 Experiment 4 show that i) the hybrid color space improves face recognition performance significantly, and ii) the complementary color and frequency features further improve face recognition performance.     

基于多头注意力机制的模型层融合维度情感识别方法

近年来,情感识别成为了人机交互领域的研究热点问题,而多模态维度情感识别能够检测出细微情感变化,得到了越来越多的关注多模态维度情感识别中需要考虑如何进行不同模态情感信息的有效融合。针对特征层融合存在有效特征提取和模态同步的问题、决策层融合存在不同模态特征信息的关联问题,本文采用模型层融合策略,提出了基于多头注意力机制的多模态维度情感识别方法,分别构建音频模型、视频模型和多模态融合模型对信息流进行深层特征学习,最后放入双向长短时网络中得到最终情感预测值。所提方法相比于不同基线方法在激活度和愉悦度上均取得了最佳的性能,可以在高层维度对情感信息有效捕捉,进而更好的对音视频信息进行有效融合。      

基于CM-OMEMD和小波散射网络的语音情感识别

语音情感识别（Speech Emotion Recognition,SER）是人机交互的重要组成部分,具有广泛的研究和应用价值。针对当前SER中仍然存在着缺乏大规模语音情感数据集和语音情感特征的低鲁棒性而导致的语音情感识别准确率低等问题,提出了一种基于改进的经验模态分解方法（Empirical Mode Decomposition,EMD）和小波散射网络（Wavelet Scattering Network,WSN）的语音情感识别方法。首先,针对用于语音信号时频分析的EMD及其改进算法中存在的模态混叠问题（Mode Mixing）和噪声残余问题,提出了基于常数Q变换（Constant-Q Transform,CQT）和海洋捕食者算法（Marine Predator Algorithm,MPA）的优化掩模经验模态分解方法（Optimized Masking EMD based on CQT and MPA,CM-OMEMD）。采用CM-OMEMD算法对情感语音信号进行分解,得到固有模态函数（Intrinsic Mode Functions,IMFs）,并从IMFs中提取了可以表征情感的时频特征作为第一个特征集。然后采用WSN提取了具有平移不变性和形变稳定性的散射系数特征作为第二个特征集。最后将两个特征集进行融合,采用支持向量机（Support Vector Machine,SVM）分类器进行分类。通过在含有七种情感状态的TESS数据集中的对比实验,证明了本文提出的系统的有效性。其中CM-OMEMD减小了模态混叠,提升了对情感语音信号时频分析的准确性,同时提出的SER系统显著提高了情绪识别的性能。      

基于语谱图提取深度空间注意特征的语音情感识别算法

从语音情感特征的提取和分类建模出发,以混合卷积神经网络模型为基础,改进特征提取中的 Itti模型,包括：增加通过局部二值模式提取的纹理特征;结合听觉敏感度权重提取情感强相关特征。然后提出通过特征约束条件提取标定权重特征的约束挤压和激励网络结构;最后形成以 VGGnet 和长短时记忆网络混合网络为基础的微调模型,进一步提升了情感表征能力。通过在自然情感数据库和柏林德语数据库上进行验证,该模型在情感识别率上有明显的上升,相较于基准模型提升了 8. 43%,同时对比了本模型在自然数据库（FAU-AEC）和柏林数据库（EMO-DB）上的识别效果,实验结果证明模型具有良好的泛化性。     

基于ZCPA参数的语音情感识别研究

主要讨论了情感语音特征参数的提取、语音情感的分类、语音资料的获取和应用连续隐马可夫模型进行情感识别等,重点比较了ZCPA特征参数和传统特征参数在不同噪声环境下的识别率,实验表明,在不同的噪声环境下,采用ZCPA特征的语音情感的识别效果较好,识别率也没有明显的下降。     

语音信号的情感特征分析与识别研究综述

语音情感的分析与识别是近年来新兴研究课题之一，本文介绍了近几年来国内外语音情感识别的状况，阐述了各种人类情感分类的方法，归纳了各种语音特征参数的提取方法以及各特征参数对情感识别的意义，在此基础上综述了国内外在情感识别领域的研究进展与主要识别建模方法，同时总结了各种识别建模方法的利弊。最后概括了语音情感识别领域的发展趋势，并进行了展望。