面向多模态视频时刻检索的查询感知跨模态双重对比学习网络

近期,跨模态视频语料库时刻检索（VCMR）这一新任务被提出,它的目标是从未分段的视频语料库中检索出与查询语句相对应的一小段视频片段.现有的跨模态视频文本检索工作的关键点在于不同模态特征的对齐和融合,然而,简单地执行跨模态对齐和融合不能确保来自相同模态且语义相似的数据在联合特征空间下保持接近,也未考虑查询语句的语义.为了解决上述问题,本文提出了一种面向多模态视频片段检索的查询感知跨模态双重对比学习网络（QACLN）,该网络通过结合模态间和模态内的双重对比学习来获取不同模态数据的统一语义表示.具体地,本文提出了一种查询感知的跨模态语义融合策略,根据感知到的查询语义自适应地融合视频的视觉模态特征和字幕模态特征等多模态特征,获得视频的查询感知多模态联合表示.此外,提出了一种面向视频和查询语句的模态间及模态内双重对比学习机制,以增强不同模态的语义对齐和融合,从而提高不同模态数据表示的可分辨性和语义一致性.最后,采用一维卷积边界回归和跨模态语义相似度计算来完成时刻定位和视频检索.大量实验验证表明,所提出的QACLN优于基准方法.     

基于多模态图和对抗哈希注意力网络的跨媒体细粒度表示学习

跨媒体数据搜索中不同媒体类型的数据间存在特征异构和语义鸿沟问题,且社交网络数据往往呈现语义稀疏性、多样性等特性.针对上述问题,文中提出基于多模态图和对抗哈希注意力网络的跨媒体细粒度表示学习模型,获取统一的跨媒体语义表示,应用于社交网络跨媒体搜索.首先,构建图像-单词关联图,并基于图随机游走策略挖掘图像和文本单词间直接语...     

基于Zernike矩的空间视频序列时空自适应性超分辨率重建模型

Video Super-Resolution (SR) reconstruc-tion produces video sequences with High Resolu-tion (HR) via the fusion of several Low-Resolution (LR) video frames. Traditional methods rely on the accurate estimation of subpixel motion, which con-strains their applicability to video sequences with relatively simple motions such as global translation. We propose an efficient iterative spatio-temporal a-daptive SR reconstruction model based on Zernike Moment (ZM), which is effective for spatial video sequences with arbitrary motion. The model uses re-gion correlation judgment and self-adaptive thresh-old strategies to improve the effect and time effi-ciency of the ZM-based SR method. This leads to better mining of non-local self-similarity and local structural regularity, and is robust to noise and rota-tion. An efficient iterative curvature-based interpo-lation scheme is introduced to obtain the initial HR estimation of each LR video frame. Experimental results both on spatial and standard video sequences demonstrate that the proposed method outperforms existing methods in terms of both subjective visual and objective quantitative evaluations, and greatly improves the time efficiency.     

基于深度卷积神经网络的图像自编码算法

针对目前图像编码的研究工作更加重视信息无损性,而没有体现出社交网络图像区分度的问题,本研究提出一种新颖的基于深度卷积神经网络的社交网络图像自编码算法,将深度卷积神经网络提取特征的能力与社交网络中图像的特点相结合,得到性能良好的图像自编码。结合社交网络图片的特性与聚类算法,先将图片进行聚类得到距离信息,再利用深度卷积神经网络学习图片的距离信息,提取深度卷积神经网络中的全连接层作为编码,重复以上步骤,并得到最终的图像编码。试验结果表明,本研究提出的算法在图像搜索中的效果好于其他算法,更利于在社交网络图像搜索中使用。     

跨媒体主题分析及应用研究

研究食品安全领域跨媒体数据的主题分析技术,融合多种媒体形式数据的语义,准确表达跨媒体文档的主题。由于食品安全事件相关多媒体数据的大量涌现,单一媒体的主题分析技术不能全面反映整个数据集的主题分布,存在语义缺失、主题空间不统一,语义融合困难等问题。提出一种跨媒体主题分析方法,首先以概率生成方法分别对文本和图像数据进行语义分析,然后利用跨媒体数据间的语义相关性进行视觉主题学习,建立视觉主题模型,进而实现视觉数据和文本主题之间的映射。仿真结果表明,跨媒体主题分析方法能够有效获取与图像语义相关的文本主题,且主题跟踪的准确度优于文本主题跟踪方法,能够为食品安全事件的监测提供依据。     

基于时空特征和神经网络的视频超分辨率算法

提出了一种基于时空特征和神经网络的视频超分辨率重建算法,实现了视频视觉分辨率质量和细节清晰度的提升. 该算法综合考虑了外部图像块之间的关联映射关系和内部图像块间的相似性,利用深度卷积神经网络学习得到的拟合系数快速地重建视频细节. 采用时空非局部特征相似性优化重建结果,将相邻视频帧间的非局部互补冗余信息融入学习视频帧结果中,解决了误匹配等问题,进一步提升了超分辨率性能. 实验结果表明,所提方法在客观评价指标和主观视觉效果上均取得了较好的重建效果.     

基于用户意图理解的社交网络跨媒体搜索与挖掘

随着在线社交网络的盛行,网络用户不仅对信息资讯的获取速度和实时性提出了更高的要求,对个性化和精确化的搜索需求日益增长。为了提升搜索引擎的质量以及其结果列表的准确性,需要深层次地挖掘用户搜索意图。本文分析了用户搜索意图理解在线社交网络跨媒体进行精准搜索与挖掘的研究现状,包括知识图谱在线社交网络多模态信息感知、面向用户搜索意图匹配的跨媒体大数据深度语义学习方面的应用,以及用户搜索意图理解的在线社交网络精准搜索与挖掘的应用等。最后,对未来研究存在的问题和可能面临的挑战进行了展望。     

基于深度注意力网络的课堂教学视频中学生表情识别与智能教学评估

为了解决复杂课堂场景下学生表情识别的遮挡的问题,同时发挥深度学习在智能教学评估应用上的优势,提出了一种基于深度注意力网络的课堂教学视频中学生表情识别模型与智能教学评估算法。构建了课堂教学视频库、表情库和行为库,利用裁剪和遮挡策略生成多路人脸图像,在此基础上构建了多路深度注意力网络,并通过自注意力机制为多路网络分配不同权重。通过约束损失函数限制各路权重的分配,将人脸图像的全局特征表示为每个支路的特征乘上注意力权重的和除以所有支路的注意力权重之和,并基于学习到的人脸全局特征进行学生课堂表情分类,实现遮挡情况下学生人脸表情识别。提出了融合课堂学生表情和行为状态的智能教学评估算法,实现了课堂教学视频中学生表情识别与智能教学评估。在公开数据集FERplus与自建课堂教学视频数据集上进行实验对比与分析,验证了提出的课堂教学视频中学生表情识别模型能够达到87.34%的准确率,且提出的融合课堂学生表情和行为状态的智能教学评估算法在课堂教学视频数据集上也取得优秀的性能。