多特征证据理论融合的视觉词典构建

现有的视觉词典构建方法一般是将多个特征构成整个向量并通过聚类形成视觉词典,这种方法在视觉聚类的过程中只考虑了特征的整体相似性而忽略了不同特征对构建视觉词典的影响。提出了一种基于Dempster-Shafer（D-S）证据理论的多特征融合的视觉词典构建方法。该方法应用证据理论融合不同特征的视觉相似性,构造出更加精确的视觉词典。在证据理论的基础上,使用两种特征实现了对视觉词典的再分,使得相似的特征更好地集中在一类中。与传统视觉词典构建方法相比,本文方法获得了更好的结果。应用以上视觉词典构造方法并将之应用于分类实验,在支持向量机与朴素贝叶斯分类器上取得的分类实验结果表明,应用本文方法构建的视觉词典能有效提高视觉词典的精确度,分类效果得到了很大的提高。     

基于D-S证据的多语段融合语音情感识别

为获得更丰富的情感信息、有效识别长语音的情感状态,提出基于D-S证据理论的多粒度语段融合语音情感识别方法。采用2种分段方法对语音样本分段,用SVM对语段进行识别,再利用D-S证据理论对各语音段识别结果进行决策融合,得到2种分段方法下语音的情感识别结果,将这2个识别结果进一步融合得到最终结果。实验结果表明,该方法具有较好的整体识别性能,能有效提高语音情感的识别率。     

基于Gabor小波和稀疏表示的人脸表情识别

通过分析Gabor小波和稀疏表示的生物学背景和数学特性,提出一种基于Gabor小波和稀疏表示的人脸表情识别方法。采用Gabor小波变换对表情图像进行特征提取,建立训练样本Gabor特征的超完备字典,通过稀疏表示模型优化人脸表情图像的特征向量,利用融合识别方法进行多分类器融合识别分类。实验结果表明,该方法能够有效提取表情图像的特征信息,提高表情识别率。     

环境辅助的多任务混合声音事件检测方法

在混合声音事件检测任务中,不同事件的声音信号相互混杂,从混合语音信号中提取的全局特征无法很好地表达每种单独的事件,导致当声音事件数量增加或者环境变化时,声音事件检测性能急剧下降。目前已存在的方法尚未考虑环境变化对检测性能的影响。鉴于此,文中提出了一种基于多任务学习的环境辅助的声音事件检测模型(Environment-Assisted Multi-Task,EAMT),该模型主要包含场景分类器和事件检测器两大核心部分,其中场景分类器用于学习环境上下文特征,该特征作为事件检测的额外信息与声音事件特征融合,并通过多任务学习方式来辅助声音事件检测,以此提高模型对环境变化的鲁棒性及多目标事件检测的性能。基于声音事件检测领域的主流公开数据集Freesound以及通用性能评估指标F1分数,将所提模型与基准模型(Deep Neural Network,DNN)及主流模型(Convolutional Recurrent Neural Network,CRNN)进行对比,共设置了3组对比实验。实验结果表明:1)相比单一任务的模型,基于多任务学习的EAMT模型的场景分类效果和事件检测性能均有所提升,且环境上下文特征的引入进一步提升了声音事件检测的性能;2)EAMT模型对环境变化具有更强的鲁棒性,在环境发生变化时,EAMT模型事件检测的F1分数高出其他模型2%~5%;3)在目标声音事件数量增加时,相比其他模型,EAMT模型的表现依旧突出,在F1指标上取得了2%~10%的提升。     

基于时空融合图网络学习的视频异常事件检测

视频中异常事件所体现的时空特征存在着较强的相关关系.针对视频异常事件发生的时空特征相关性而影响检测性能问题,提出了基于时空融合图网络学习的视频异常事件检测方法,该方法针对视频片段的特征分别构建空间相似图和时间连续图,将各片段对应为图中的节点,考虑各节点特征与其他节点特征的Top-k相似性动态形成边的权重,构成空间相似图;考虑各节点的m个时间段内的连续性形成边的权重,构成时间连续图.将空间相似图和时间连续图进行自适应加权融合形成时空融合图卷积网络,并学习生成视频特征.在排序损失中加入图的稀疏项约束降低图模型的过平滑效应并提升检测性能.在UCF-Crime和ShanghaiTech等视频异常事件数据集上进行了实验,以接收者操作曲线(receiver operating characteristic curve,ROC)以及曲线下面积(area under curve,AUC)值作为性能度量指标.在UCF-Crime数据集下,提出的方法在AUC上达到80.76%,比基准线高5.35%;在ShanghaiTech数据集中,AUC达到89.88%,比同类最好的方法高5.44%.实验结果表明:所提出的方法可有效提高视频异常事件检测的性能.     

Ad hoc无线网络中的组播路由协议

由固定网络、基础结构移动网络和非基础结构无线网络组成的集成网络将成为未来互联网发展的趋势。同时,面向组计算和组通信的需求不断增长,要求未来的集成网络能为用户提供组播通信的功能。Adhoc无线网络是非基础结构无线网络的典型代表,具有带宽有限、拓扑结构易变和电池能源有限的特点,这些特性使得未来集成网络实现组播通信具有一定的挑战性。该文在分析Adhoc无线网络基本特性的基础上,综合评述了新近的Adhoc网络组播路由协议的研究现状,并对几种典型的Adhoc网络组播路由协议的特点进行了分类分析和比较,最后讨论了Adhoc无线网络组播路由协议的发展趋势和挑战。     

融合功能性副语言的语音情感识别新方法

针对声音突发特征（笑声、哭声、叹息声等,称之为功能性副语言）携带大量情感信息,而包含这类突发特征的语句由于特征突发性的干扰整体情感识别率不高的问题,提出了融合功能性副语言的语音情感识别方法。该方法首先对待识别语句进行功能性副语言自动检测,根据检测结果将功能性副语言从语句中分离,从而得到较为纯净的两类信号：功能性副语言信号和传统语音信号,最后将两类信号的情感信息使用自适应权重融合方法进行融合,从而达到提高待识别语句情感识别率和系统鲁棒性的目的。在包含6种功能性副语言和6种典型情感的情感语料库上的实验表明：该方法在与人无关的情况下得到的情感平均识别率为67.41%,比线性加权融合、Dempster-Shafer（DS）证据理论、贝叶斯融合方法分别提高了4.2%、2.8%和2.4%,比融合前平均识别率提高了8.08%,该方法针对非特定人语音情感识别具有较好的鲁棒性及识别准确率。     

面向复杂场景的人物视觉理解技术

面向复杂场景的人物视觉理解技术能够提升社会智能化协作效率,加速社会治理智能化进程,并在服务人类社会的经济活动、建设智慧城市等方面展现出巨大活力,具有重大的社会效益和经济价值。人物视觉理解技术主要包括实时人物识别、个体行为分析与群体交互理解、人机协同学习、表情与语音情感识别和知识引导下视觉理解等,当环境处于复杂场景中,特别是考虑“人物—行为—场景”整体关联的视觉表达与理解,相关问题的研究更具有挑战性。其中,大规模复杂场景实时人物识别主要集中在人脸检测、人物特征理解以及场景分析等,是复杂场景下人物视觉理解技术的重要研究基础;个体行为分析与群体交互理解主要集中在视频行人重识别、视频动作识别、视频问答和视频对话等,是视觉理解的关键行为组成部分;同时,在个体行为分析和群体交互理解中,形成综合利用知识与先验的机器学习模式,包含视觉问答对话、视觉语言导航两个重点研究方向;情感的识别与合成主要集中在人脸表情识别、语音情感识别与合成以及知识引导下视觉分析等方面,是情感交互的核心技术。本文围绕上述核心关键技术,阐述复杂场景下人物视觉理解领域的研究热点与应用场景,总结国内外相关成果与进展,展望该领域的前沿技术与发展趋势。     

相对位置乐观锁机制及在协同编辑中的应用

为了满足实时协同编辑对快速响应、无约束协作的要求，提出了一种基于相对位置的乐观锁机制并发控制算法．该算法引入了编辑锁和读锁，并对加锁的起始位置和编辑操作位置用相对位置表示，当锁申请成功将写进锁表或者操作发送到各协作结点时，再把它们转换成绝对位置，加锁的粒度可根据编者的需要任意选择，编者在加锁请求获得确认前，可预先进行编辑操作．应用实例表明：该算法既保证了数据维护的一致性，又具有快速响应性．     

基于条件变分自编码器的端到端情感语音合成方法

情感语音合成作为语音合成的一个重要分支,在人机交互领域得到了广泛的关注。如何获得更好的情感嵌入并有效地将其引入到语音合成声学模型中是目前主要存在的问题。表达性语音合成往往从参考音频中获得风格嵌入,但只能学习到风格的平均表示,无法合成显著的情感语音。该文提出一种基于条件变分自编码器的端到端情感语音合成方法（Conditional Duration-Tacotron,CD-Tacotron）,该方法在Tacotron2模型的基础上进行改进,引入条件变分自编码器从语音信号中解耦学习情感信息,并将其作为条件因子,然后通过使用情感标签将其编码为向量后与其他风格信息拼接,最终通过声谱预测网络合成情感语音。在ESD数据集上的主观和客观实验表明,与目前主流的方法GST-Tacotron和VAE-Tacotron相比,该文提出的方法可以生成更具表现力的情感语音。