一种分段式音乐情感识别方法

为了体现音乐情感跌宕起伏的变化,本文将乐曲划分为音符、小节和乐段,并提出一种分段式音乐情感识别方法.该方法从MIDI文件中提取音符特征,根据音符特征提取小节特征,并根据若干相邻小节的相似性将乐曲划分成若干独立的乐段,在提取乐段特征后利用BP神经网络识别乐段情感,最终获得整首乐曲的情感.实验结果表明,本文提出的音乐情感识别方法具有较好的识别效果.     

音乐情感自动分析研究

音乐情感自动分析在音乐检索和音乐推荐等方面具有广泛的应用.对3种音乐情感模型进行了对比分析,介绍了音乐情感分类方法,并指出已有研究存在的不足.音乐分割与摘要是高效音乐浏览与推荐的基础,在对音乐分割与摘要方法进行分析的基础上,指出了定长分割策略的不足;借助音乐相似性与情感可视化实现音乐推荐,对音乐相似性度量与可视化方法进行了概述.最后,展望了对音乐情感自动分析的研究方向.     

基于姿态的情感计算综述

情感计算的理论与算法研究是近年来人机交互领域的热点话题.当前,常见的情感计算集中在基于面部表情、语音、文本、人体姿态等方向,既有单一模态的算法,又有多模态的综合算法.基于面部表情和语音模态的算法占据多数,国内外基于人体姿态的算法相对较少.文中针对基于姿态的情感计算所面临的几个关键科学问题展开了综述,包括情感的心理学模型、人体姿态估计算法、姿态的情感特征提取算法、情感分类与标注算法、姿态情感数据集、基于姿态的情感识别算法等.具体来说,首先介绍了几种常用的情感计算心理学模型,评述了各类模型的适用场景;随后从人体检测和姿态估计2个角度对人体姿态估计的常用算法进行了总结,并讨论了2D和3D姿态估计的应用前景.针对特征提取算法,分析了基于全身和上半身身体动作的姿态特征提取算法.在情感标注方面,介绍了表演数据和非表演数据的情感标注算法,并指出了半自动或自动的标注非表演数据将是未来的重要发展趋势之一.针对姿态情感数据集,列举了近年来常见的14个数据集,并主要从是否是表演数据、数据维度、静态或动态姿势、全身或非全身数据等几个方面进行了总结.在基于姿态的情感识别算法方面,主要介绍了基于人工神经网络的情感识别算法,指出了不同算法的优劣之处和适用的数据集类型.文中的综述研究,总结提炼了国内外该领域经典且前沿的工作,希望为相关的研究者提供研究帮助.     

基于情感音乐模板的音乐检索系统研究

传统的基于文本信息描述的音乐检索技术已经无法满足人们对检索智能化的需求,于是产生了基于内容的音乐检索方法.在此基础上将情感需求引入到检索中,对基于情感的音乐检索方法及模型进行了相关研究.首先构建了音乐情感空间来获得用户的情感描述;然后通过对情感音乐模型进行定义提出了情感音乐模板库,以得到满足用户情感需求的匹配模板;最后,在此基础上提出了基于情感音乐模板的音乐检索系统模型,力求探讨出一种基于情感的有效检索方法.     

基于传感器技术的实时交互式音乐可视化研究

音乐是情感的传递和延伸,而情感是音乐的本质。但当前大部分人感知音乐的方式仍然只有听觉,不能多维度地感知音乐情景。为了让听者能够多模态的感知音乐,研究利用传感器技术构建出基于传感器技术的实时交互式音乐可视化系统,并结合蚁群算法对随机森林算法进行优化,以此提高音乐情感识别的精度。结果表明,所提方法在Relief特征空间最高准确率可达81.9%。在实际应用中,对应的烦躁、抑郁、兴奋和放松音乐情感分类的精确率分别为86.3%、94.4%、97.6%和81.2%。说明所提出的交互式音乐可视化方法能够进行准确的音乐情感识别,具有较好的应用效果,能够为音乐可视化发展提供更具优势的技术支持。     

融合CNN-BiLSTM和自注意力模型的音乐情感识别

随着音乐科技研究的不断深入,音乐情感识别已被广泛实践和应用在音乐推荐、音乐心理治疗、声光场景构建等方面。模拟人类感受音乐表现情感的过程,针对音乐情感识别中长短时记忆神经网络的长距离依赖和训练效率低的问题,提出一种新的网络模型CBSA（CNN BiLSTM self attention）,应用于长距离音乐情感识别回归训练。模型使用二维卷积神经网络获取音乐情感局部关键特征,采用双向长短时记忆神经网络从获取的局部关键特征中提取序列化音乐情感信息,利用自注意力模型对获取的序列化信息进行动态权重调整,突出音乐情感全局关键点。实验结果表明,CBSA模型可缩短分析音乐情感信息中数据规律的训练时间,有效地提高音乐情感识别精确度。     

基于音乐情感识别的舞台灯光控制方法研究

为了实现音乐情感识别的舞台灯光自动控制,需对音乐文件进行情感标记。针对人工情感标记效率低、速度慢的问题,开展了基于音乐情感识别的舞台灯光控制方法研究,提出了一种基于支持向量机和粒子群优化的音乐情感特征提取、分类和识别算法。首先以231首MIDI音乐文件为例,对平均音高、平均音强、旋律的方向等7种音乐基本特征进行提取并进行标准化处理;之后组成音乐情感特征向量输入支持向量机（SVM）多分类器,并利用改进的粒子群算法（PSO）优化分类器参数,建立标准音乐分类模型;最后设计灯光动作模型,将新的音乐文件通过离散情感模型与灯光动作相匹配,生成舞台灯光控制方法。实验结果表明了情感识别模型的有效性,与传统SVM多分类模型相比,明显提高了音乐情感的识别率,减少了测试时间,从而为舞台灯光设计人员提供合理参考。     

语音情感识别研究进展综述

对语音情感识别的研究现状和进展进行了归纳和总结,对未来语音情感识别技术发展趋势进行了展望. 从5个角度逐步展开进行归纳总结,即情感描述模型、具有代表性的情感语音库、语音情感特征提取、语音情感识别算法研究和语音情感识别技术应用,旨在尽可能全面地对语音情感识别技术进行细致的介绍与分析,为相关研究人员提供有价值的学术参考;最后,立足于研究现状的分析与把握,对当前语音情感识别领域所面临的挑战与发展趋势进行了展望.侧重于对语音情感识别研究的主流方法和前沿进展进行概括、比较和分析.     

多文化场景下的多模态情感识别

自动情感识别是一个非常具有挑战性的课题,并且有着广泛的应用价值.本文探讨了在多文化场景下的多模态情感识别问题.我们从语音声学和面部表情等模态分别提取了不同的情感特征,包括传统的手工定制特征和基于深度学习的特征,并通过多模态融合方法结合不同的模态,比较不同单模态特征和多模态特征融合的情感识别性能.我们在CHEAVD中文多模态情感数据集和AFEW英文多模态情感数据集进行实验,通过跨文化情感识别研究,我们验证了文化因素对于情感识别的重要影响,并提出3种训练策略提高在多文化场景下情感识别的性能,包括：分文化选择模型、多文化联合训练以及基于共同情感空间的多文化联合训练,其中基于共同情感空间的多文化联合训练通过将文化影响与情感特征分离,在语音和多模态情感识别中均取得最好的识别效果.     

基于曲式和情感识别的音乐动画CAD系统

本文介绍了一个根据音乐的曲式和情感识别的音乐动画CAD系统.该系统主要由四部分组成.首先对乐曲的曲式特征进行识别从而将整首乐曲分成若干个乐段;然后分别对每一个乐段的情感内涵进行识别;第三,根据动画的物理模型建立基本表演程序库;最后,通过对各乐段的情感与基本表演程序库中的基本表演程序进行匹配而生成音乐动画.我们以一个音乐喷泉为动画模型对该方法进行了验证,结果是相当满意的.     

A survey of music emotion recognition

Music is the language of emotions. In recent years, music emotion recognition has attracted widespread attention in the academic and industrial community since it can be widely used in fields like recommendation systems, automatic music composing, psychotherapy, music visualization, and so on. Especially with the rapid development of artificial intelligence, deep learning-based music emotion recognition is gradually becoming mainstream. This paper gives a detailed survey of music emotion recognition. Starting with some preliminary knowledge of music emotion recognition, this paper first introduces some commonly used evaluation metrics. Then a three-part research framework is put forward. Based on this three-part research framework, the knowledge and algorithms involved in each part are introduced with detailed analysis, including some commonly used datasets, emotion models, feature extraction, and emotion recognition algorithms. After that, the challenging problems and development trends of music emotion recognition technology are proposed, and finally, the whole paper is summarized.     

音乐粗情感域中的软切割及分类方法

针对音乐灯光表演控制系统无法自动获取其控制所需的音乐特征信息,结合传统的Arousal-Valence模型提出了一种可用于音乐灯光表演的音乐粗情感模型。针对此模型,通过小波分析中的Mallat算法提取比较项并采用强度、节奏比值判断法,对音乐片段进行两次“软切割”,再根据相应的产生式专家系统规则便能够很好地对其进行粗情感域中的分类及特征量提取。仿真结果表明,该方法能够有效地按音乐情感将音乐片段分类,同时能够提取出满足音乐灯光表演控制系统时域上对音乐分段时间节点的高精度要求。     

语音情感识别综述

人类的语音情感变化是一个抽象的动态过程,难以使用静态信息对其情感交互进行描述,而人工智能的兴起为语音情感识别的发展带来了新的契机。从语音情感识别的概念和在国内外发展的历史进程入手,分别从5个方面对近些年关于语音情感识别的研究成果进行了归纳总结。介绍了语音情感特征,归纳总结了各种语音特征参数对语音情感识别的意义。分别对语音情感数据库的分类及特点、语音情感识别算法的分类及优缺点、语音情感识别的应用以及语音情感识别现阶段所遇到的挑战进行了详细的阐述。立足于研究现状对语音情感识别的未来研究及其发展进行了展望。     

基于优化残差网络的多模态音乐情感分类

Aiming at the problems of traditional music sentiment classification due to the difficulty of feature extraction, the model classification accuracy is not high and the manual workload is large, this paper proposes a multi-modal music sentiment classification method based on an optimized deep residual network. This method first uses multi-modal translation to convert difficult-to-extract feature music audio modalities into easy-to-operate image modalities; at the same time, based on the deep residual network, the convolution kernel size of the network input layer and the speed of the residual block, the connection has been optimized and improved, which reduces the information loss and shortens the calculation time. In addition, in order to alleviate the shortcomings of Softmax classifiers such as intra-class dispersion and inter-class aggregation, this paper introduces a variant of the Center loss function to improve the Softmax classification function performance. The experimental results prove the effectiveness and robustness of the optimized residual network model in this paper. Compared with the original residual network, the accuracy rate of music emotion classification is improved by 4.27 percentage points.     

Music genre recognition using convolutional recurrent neural network architecture

The genre is an abstract feature, but still, it is considered to be one of the important characteristics of music. Genre recognition forms an essential component for a large number of commercial music applications. Most of the existing music genre recognition algorithms are based on manual feature extraction techniques. These extracted features are used to develop a classifier model to identify the genre. However, in many cases, it has been observed that a set of features giving excellent accuracy fails to explain the underlying typical characteristics of music genres. It has also been observed that some of the features provide a satisfactory level of performance on a particular dataset but fail to provide similar performance on other datasets. Hence, each dataset mostly requires manual selection of appropriate acoustic features to achieve an adequate level of performance on it. In this paper, we propose a genre recognition algorithm that uses almost no handcrafted features. The convolutional recurrent neural network‐based model proposed in this study is trained on melspectrogram extracted from 3‐s duration audio clips taken from GTZAN dataset. The proposed model provides an accuracy of 85.36% on 10‐class genre classification. The same model has been trained and tested on 10 genres of MagnaTagATune dataset having 18,476 clips of 29‐s duration. The model has yielded an accuracy of 86.06%. The experimental results suggest that the proposed architecture with melspectrogram as input feature is capable of providing consistent performances across the different datasets     

触觉手势情感识别的超限学习方法

为了解决声音和图像情感识别的不足,提出一种新的情感识别方式:触觉情感识别。对CoST（corpus of social touch）数据集进行了一系列触觉情感识别研究,对CoST数据集进行数据预处理,提出一些关于触觉情感识别的特征。利用极限学习机分类器探究不同手势下的情感识别,对14种手势下的3种情感（温柔、正常、暴躁）进行识别,准确度较高,且识别速度快识别时间短。结果表明,手势的不同会影响情感识别的准确率,其中手势“stroke”的识别效果在不同分类器下的分类精度均为最高,且有较好的分类精度,达到72.07%;极限学习机作为触觉情感识别的分类器,具有较好的分类效果,识别速度快;有的手势本身对应着某种情感,从而影响分类结果。     

面向中文歌词的音乐情感分类方法

情感是音乐最重要的语义信息,音乐情感分类广泛应用于音乐检索,音乐推荐和音乐治疗等领域.传统的音乐情感分类大都是基于音频的,但基于现在的技术水平,很难从音频中提取出语义相关的音频特征.歌词文本中蕴含着一些情感信息,结合歌词进行音乐情感分类可以进一步提高分类性能.本文将面向中文歌词进行研究,构建一部合理的音乐情感词典是歌词情感分析的前提和基础,因此基于Word2Vec构建音乐领域的中文情感词典,并基于情感词加权和词性进行中文音乐情感分析.本文首先以VA情感模型为基础构建情感词表,采用Word2Vec中词语相似度计算的思想扩展情感词表,构建中文音乐情感词典,词典中包含每个词的情感类别和情感权值.然后,依照该词典获取情感词权值,构建基于TF-IDF （Term Frequency-Inverse Document Frequency）和词性的歌词文本的特征向量,最终实现音乐情感分类.实验结果表明所构建的音乐情感词典更适用于音乐领域,同时在构造特征向量时考虑词性的影响也可以提高准确率.