面向多模态自监督特征融合的音视频对抗对比学习

目的 同一视频中的视觉与听觉是两个共生模态,二者相辅相成,同时发生,从而形成一种自监督模式。随着对比学习在视觉领域取得很好的效果,将对比学习这一自监督表示学习范式应用于音视频多模态领域引起了研究人员的极大兴趣。本文专注于构建一个高效的音视频负样本空间,提高对比学习的音视频特征融合能力。方法 提出了面向多模态自监督特征融合的音视频对抗对比学习方法：1)创新性地引入了视觉、听觉对抗性负样本集合来构建音视频负样本空间;2)在模态间与模态内进行对抗对比学习,使得音视频负样本空间中的视觉和听觉对抗性负样本可以不断跟踪难以区分的视听觉样本,有效地促进了音视频自监督特征融合。在上述两点基础上,进一步简化了音视频对抗对比学习框架。结果 本文方法在Kinetics-400数据集的子集上进行训练,得到音视频特征。这一音视频特征用于指导动作识别和音频分类任务,取得了很好的效果。具体来说,在动作识别数据集UCF-101和HMDB-51(human metabolome database)上,本文方法相较于Cross-AVID(cross-audio visual instance discrimination...     

考虑旁侧入流水面曲线一维水力学模型及应用

为得到某防洪工程的水面曲线,依托新疆某地区拟建堤防工程,综合运用水文学、数学、水力学知识,借助于计算机建立了考虑旁侧入流计算水面曲线一维水力学模型,结果显示:50年一遇水面曲线计算推求结果低于设计堤顶高程约2～3m。考虑旁侧入流一维水力学模型水面曲线计算结果是更加合理的,可为同类其他堤防工程设计和安全运行提供借鉴。     

音频盲取证中一种基于EM的重采样检测方法

盲取证指针对篡改信号无需添加任何附加信息就可鉴别出信号的真伪,而音频篡改中篡改者经常利用重采样以达到更好的篡改效果,因此重采样检测作为音频盲取证的重要组成部分得到了高度的重视。对信号的重采样会引入相关性,这种相关性是周期出现的,本文通过基于期望最大化的检测方法揭示这种相关性,并通过判断这种相关性是否呈现周期性达到检测目的。在检测流程中采取了奇异防止、低频段去除、归一化三阶原点矩等措施,达到了更好的检测效果。实验验证了该方法对于各种插值函数的鲁棒性,以及不同重采样率下和音频拼接篡改时检测的有效性。     

TopEnd——一个典型的客户／服务器中间件

ＴｏｐＥｎｄ──一个典型的客户／服务器中间件西安交通大学计算机系（７１００４９）陈雁翔，陆丽娜客户／服务器中间件是一种软件集，它介于应用程序和操作系统之间，为企业级客户／服务器应用的开发、维护及管理提供方便，通过使用中间件还能够提高系统的性能。目前有...     

红外遥控技术在智能抄表系统中的应用

介绍了智能抄表系统中,利用单片机串行口对多费率电能表进行自动抄表的红外通信接口的设计方法,并给出了通信接口的硬件电路、红外载波和信号调制波形,以及通信接口的收发程序流程图.     

基于纯度和BBN算法的无监督的话者聚类

由于说话人之间声学特征上的差异,可以将来自于不同说话人的语音段按照话者之间的相似程度进行聚类.在语音段长度不等和说话人数目未知的情况下,本文提出了一种基于纯度信息的不同话者语音段的无监督聚类方法.首先为每个语音段分别建立GMM模型,通过模型似然比计算和GLR距离测度获得语音段之间的相似程度,对语音数据集进行无监督的分级聚类.采用纯度信息和BBN算法进行每级聚类的聚类质量和效果计算,并以此进行分级聚类的剪枝选择.文中给出了平行剪枝和最优剪枝两种剪枝方法及剪枝的评估方法.实验表明,该方法具有较好的聚类效果.     

基于帧间相关特性和汉语音节组成规则的连接数字串的音节切分

本文提出了一种基于帧间相关特性的连续语音流的音节切分方法,采用反映相邻帧间LPC系数相关程度的帧间相关特性及其参数,进行连续语音流的分段切分,并通过时域参数对切分出的各个语音段进行音索性质标记,再根据汉语音节组成规则最后确定出音节切分及其边界.汉语数字串语音流的音节切分实验表明了该方法的有效性.     

基于对话语音的与文本无关的说话人确认系统的研究

本文建立了一个基于对话语音的与文本无关的说话人确认系统,它和传统的与文本无关的说话人确认系统的关键不同在于,训练及测试语音不再只包含一个人而都是对话语音,因此需要分割出属于不同说话人的语音段,以建立说话人模型和实现最终判决。文中详细介绍了高斯混合模型-背景模型(GMM-UBM)这种说话人确认系统的框架,重点讨论了基于GLR(Generalized Likelihood Ratio)距离测度的无监督语音分割算法。最终阐述的输出评分的规整方法即ZNORM(Zero Normalization)和持续时间修正,可以使确认系统的性能提高近10%。     

脸由音生：语音驱动的静动态人脸生成方法

语音驱动人脸生成旨在挖掘语音片段和人脸之间的静动态关联性,进而由给定的语音片段生成对应的人脸图像。然而已有的研究方法大多只考虑其中的一种关联性,且对静态人脸生成的研究严格依赖于时序对齐的音视频数据,在一定程度上限制了静态模型的使用范围。提出了一种基于条件生成对抗网络的语音驱动静动态人脸生成模型（SDVF-GAN）。该模型基于自注意力机制构建语音编码器网络以获得更为准确的听觉特征表达,并将其作为静态生成网络和动态生成网络的输入;静态生成网络利用基于投影层的图像判别器合成出属性一致（年龄、性别）且高质量的静态人脸图像,动态生成网络利用基于注意力思想的嘴唇判别器和图像判别器合成出嘴唇同步的动态人脸序列。实验利用所构建的属性对齐的Voice-Face数据集和公共的LRW数据集分别训练静态人脸生成网络和动态人脸生成网络。结果表明,该模型综合研究了语音和人脸之间的属性对应和嘴唇同步关系,实现了质量更高且关联性和同步性更强的人脸图像生成。     

面向工科学生创新能力培养的实验室开放体系建设

构建科学合理的实验室开放体系,对于培养工科大学生的创新精神和实践能力至关重要。从如何开放实验内容、将学生吸引到实验室、采取何种方式激励教师投入等角度,对实验室开放体系的建设进行探讨。