多模态特征融合的长视频行为识别方法

行为识别技术在视频检索具有重要的应用价值;针对基于卷积神经网络的行为识别方法存在的长时序行为识别能力不足、尺度特征提取困难、光照变化及复杂背景干扰等问题,提出一种多模态特征融合的长视频行为识别方法;首先,考虑到长时序行为帧间差距较小,易造成视频帧的冗余,基于此,通过均匀稀疏采样策略完成全视频段的时域建模,在降低视频帧冗余度的前提下实现长时序信息的充分保留;其次,通过多列卷积获取多尺度时空特征,弱化视角变化对视频图像带来的干扰;后引入光流数据信息,通过空间注意力机制引导的特征提取网络获取光流数据的深层次特征,进而利用不同数据模式之间的优势互补,提高网络在不同场景下的准确性和鲁棒性;最后,将获取的多尺度时空特征和光流信息在网络的全连接层进行融合,实现了端到端的长视频行为识别;实验结果表明,所提方法在UCF101和HMDB51数据集上平均精度分别为97.2％和72.8％,优于其他对比方法,实验结果证明了该方法的有效性.     

基于多模态生物识别的安全身份认证技术

本文分析了传统身份认证方法在电子取证中存在的问题,突出了生物特征识别技术应用于电子取证中的优点。针对单模态生物特征技术存在识别精度不够等问题,提出了将多模态生物特征技术的安全身份认证的体系结构,并探讨了多种特征信息融合的方法。[编者按]     

基于掌纹、人脸在特征层融合的身份识别算法

首先利用小波变换增强掌纹、人脸图像;然后利用一种新的子空间分析方法——对角离散余弦变换和二维主元判别分析(Diagonal,Discrete Cosine Transform and Two-Dimensional Principle Component Analysis,Dia-DCT+2DPCA)相结合的算法提出了一种掌纹、人脸特征融合的识别方法;最后运用最小距离分类器进行识别。实验结果表明,该文提出的掌纹、人脸特征融合方法实现了特征层融合,有效地提高了身份识别的正确识别率。     

基于细粒度特征融合的部分多模态哈希

多模态数据的指数级增长使得传统数据库在存储和检索方面遇到挑战,而多模态哈希通过融合多模态特征并映射成二进制哈希码,能够有效地降低数据库的存储开销并提高其检索效率.虽然目前已经有许多针对多模态哈希的工作取得了较好的效果,但是仍然存在着3个重要问题:(1)已有方法偏向于考虑所有样本都是模态完整的,然而在实际检索场景中,样本缺失部分模态的情况依然存在;(2)大多数方法都是基于浅层学习模型,这不可避免地限制了模型的学习能力,从而影响最终的检索效果;(3)针对模型学习能力弱的问题已提出了基于深度学习框架的方法,但是它们在提取各个模态的特征后直接采用了向量拼接等粗粒度特征融合方法,未能有效地捕获深层语义信息,从而弱化了哈希码的表示能力并影响最终的检索效果.针对以上问题,提出了PMH-F3模型.该模型针对样本缺失部分模态的情况,实现了部分多模态哈希.同时,基于深层网络架构,利用Transformer编码器,以自注意力方式捕获深层语义信息,并实现细粒度的多模态特征融合.基于MIRFlickr和MSCOCO数据集进行了充分实验并取得了最优的检索效果.实验结果表明:所提出的PMH-F³     

多模态融合的互联网设备单位归属识别方法

多模态是描述一个整合不同数据包括文本、图像、声音等信息的过程.在互联网领域,设备单位归属是指连接到互联网中的设备属于哪一个单位或组织.网络设备所属单位的识别对提高网络的安全性和服务性等方面起着重要的作用.域名作为计算机的定位标识,确定它所属的单位对网络的安全和管理十分必要.现有的确定域名所属单位的方法通常是通过查询设备注册商,但由于提供服务的云服务商,域名服务商的存在,大多数域名的注册单位并不是域名的使用单位.为了能快速、准确地确定域名所属的单位,这篇文章以域名对应的网站为基础,通过分析网站中的文字信息和图像信息,提出了一种基于多模态的识别域名所属单位的方法.实验结果表明,与已有方法比较,这篇文章中介绍的方法在识别域名的真正所属单位的方面拥有着更好的性能.     

基于多模态融合的人脸反欺骗算法研究

人脸反欺骗技术可以准确判断捕获的人脸图像是真实人脸还是虚假人脸,是人脸识别系统安全的重要保障.传统的人脸反欺骗方法主要是利用手工设计的特征,如LBP、HoG、SIFT、SURF和DoG来刻画真实人脸和虚假人脸之间的不同特征分布,但人工设计的特征难以适应无约束环境下(如光照、背景的变化)的人脸反欺骗问题.鉴于此,该文提出...     

基于分类距离分数的自适应多模态生物特征融合

匹配分数是传统的融合分数指标,但是其不能很好地区分类内和类间数据,分类置信度虽然可以较好地将类内类间数据分开,但对于匹配分数仅次于分类阈值的数据,其分类效果不是很理想.因此,首先提出了一种基于分类距离分数的融合分数指标,其不仅携带一级分类信息,也含有匹配分数与分类阈值之间的距离信息,可增大融合后类内类间分数之间的距离,为融合算法提供了一个具有有效判别信息的特征融合集,提高了融合指标的利用率;进一步,利用信息熵表示信息价值多少的这一特性,定义特征关联系数和特征权重系数,并将加权融合和传统SUM规则统一在一个自适应算法框架中,提高了融合识别率.实验结果验证了所提出方法的有效性.     

图文语义增强的多模态命名实体识别方法

为了解决多模态命名实体识别方法中存在的图文语义缺失、多模态表征语义不明确等问题,提出了一种图文语义增强的多模态命名实体识别方法。其中,利用多种预训练模型分别提取文本特征、字符特征、区域视觉特征、图像关键字和视觉标签,以全面描述图文数据的语义信息;采用Transformer和跨模态注意力机制,挖掘图文特征间的互补语义关系,以引导特征融合,从而生成语义补全的文本表征和语义增强的多模态表征;整合边界检测、实体类别检测和命名实体识别任务,构建了多任务标签解码器,该解码器能对输入特征进行细粒度语义解码,以提高预测特征的语义准确性;使用这个解码器对文本表征和多模态表征进行联合解码,以获得全局最优的预测标签。在Twitter-2015和Twitter-2017基准数据集的大量实验结果显示,该方法在平均F1值上分别提升了1.00%和1.41%,表明该模型具有较强的命名实体识别能力。     

多模态数据融合综述

随着当今信息技术的飞速发展,信息的存在形式多种多样,来源也十分广泛.不同的存在形式或信息来源均可被称之为一种模态,由两种或两种以上模态组成的数据称之为多模态数据.多模态数据融合负责将多个模态的信息进行有效的整合,汲取不同模态的优点,完成对信息的整合.自然现象具有十分丰富的特征,单一模态很难提供某个现象的完整信息.面对保...     

基于行为足迹的多模态融合身份认证

针对单模态身份认证方法存在特征单一容易被伪造和攻破的问题,提出基于用户行为足迹的多模态特征融合隐式身份认证方法.在移动设备中采集用户使用设备时的触摸压力、触摸轨迹、加速度等传感器数据,利用特征选择技术提取触摸屏交互、移动模式、物理位置等特征并对其进行训练与融合,最终通过多模态特征融合模型实现用户身份认证.实验结果表明,...     

多模态生物特征提取及相关性评价综述

生物特征识别是身份认证的重要手段,特征提取技术在其中扮演了关键角色,直接影响识别的结果。随着特征提取技术日趋成熟,学者们逐渐将目光投向了生物特征间的相关性问题。本文以单模态和多模态生物识别中的特征提取方法为研究对象,回顾了人脸与指纹的特征提取方法,分析了基于经验知识的特征分类提取方法以及基于深度学习的计算机逻辑采样提取方法,并从图像处理的角度对单模态与多模态方法进行对比。以当前多模态生物特征提取方法和DNA表达过程为引,提出了不同模态的生物特征之间存在相关性的猜想,以及对这一猜想进行建模的思路。在多模态生物特征提取的基础上,对今后可能有进展的各生物特征之间的相关性建模进行了展望。     

Performance evaluation of score level fusion in multimodal biometric systems

In a multimodal biometric system, the effective fusion method is necessary for combining information from various single modality systems. In this paper the performance of sum rule-based score level fusion and support vector machines (SVM)-based score level fusion are examined. Three biometric characteristics are considered in this study: fingerprint, face, and finger vein. We also proposed a new robust normalization scheme (Reduction of High-scores Effect normalization) which is derived from min-max normalization scheme. Experiments on four different multimodal databases suggest that integrating the proposed scheme in sum rule-based fusion and SVM-based fusion leads to consistently high accuracy. The performance of simple sum rule-based fusion preceded by our normalization scheme is comparable to another approach, likelihood ratio-based fusion [8] (Nandakumar et al., 2008), which is based on the estimation of matching scores densities. Comparison between experimental results on sum rule-based fusion and SVM-based fusion reveals that the latter could attain better performance than the former, provided that the kernel and its parameters have been carefully selected.     

Designing efficient fusion schemes for multimodal biometric systems using face and palmprint

In this paper, we address the problem of designing efficient fusion schemes of complementary biometric modalities such as face and palmprint, which are effectively coded using Log-Gabor transformations, resulting in high dimensional feature spaces. We propose different fusion schemes at match score level and feature level, which we compare on a database of 250 virtual people built from the face FRGC and the palmprint PolyU databases. Moreover, in order to reduce the complexity of the fusion scheme, we implement a particle swarm optimization (PSO) procedure which allows the number of features (identifying a dominant subspace of the large dimension feature space) to be significantly reduced while keeping the same level of performance. Results in both closed identification and verification rates show a significant improvement of 6% in performance when performing feature fusion in Log-Gabor space over the more common optimized match score level fusion method.     

Multi-level feature optimization and multimodal contextual fusion for sentiment analysis and emotion classification

The availability of the humongous amount of multimodal content on the internet, the multimodal sentiment classification, and emotion detection has become the most researched topic. The feature selection, context extraction, and multi-modal fusion are the most important challenges in multimodal sentiment classification and affective computing. To address these challenges this paper presents multilevel feature optimization and multimodal contextual fusion technique. The evolutionary computing based feature selection models extract a subset of features from multiple modalities. The contextual information between the neighboring utterances is extracted using bidirectional long-short-term-memory at multiple levels. Initially, bimodal fusion is performed by fusing a combination of two unimodal modalities at a time and finally, trimodal fusion is performed by fusing all three modalities. The result of the proposed method is demonstrated using two publically available datasets such as CMU-MOSI for sentiment classification and IEMOCAP for affective computing. Incorporating a subset of features and contextual information, the proposed model obtains better classification accuracy than the two standard baselines by over 3% and 6% in sentiment and emotion classification, respectively.     

基于人脸与虹膜的融合算法研究

对原始图像作对角变换,并在此基础上利用二维离散余弦变换(2DDCT)进行特征压缩,将人脸与虹膜特征相融合,利用二雏主元分析(2DPCA)分别从纵横双向进行特征提取,最后利用最小距离分类器进行识别.基于CAS-PEAL人脸数据库与CASIA虹膜数据库的实验结果表明,该方法降低了维数,有效地利用了分类特征信息,提高了正确识别率;证明了该算法的有效性,为多生物特征识别提供了一种新途径.     

基于对比学习的多特征融合戴口罩人脸识别

随着计算机视觉技术应用的发展和智能终端的普及,口罩遮挡人脸识别已成为人物身份信息识别的重要部分。口罩的大面积遮挡对人脸特征的学习带来极大挑战。针对戴口罩人脸特征学习困难这一问题,提出了一种基于对比学习的多特征融合口罩遮挡人脸识别算法,该算法改进了传统的基于三元组关系的人脸特征向量学习损失函数,提出了基于多实例关系的损失函数,充分挖掘戴口罩人脸和完整人脸多个正负样本之间的同模态内和跨模态间的关联关系,学习人脸中具有高区分度的能力的特征,同时结合人脸的眉眼等局部特征和轮廓等全局特征,学习口罩遮挡人脸的有效特征向量表示。在真实的戴口罩人脸数据集和生成的戴口罩人脸数据上与基准算法进行了比较,实验结果表明所提算法相比传统的基于三元组损失函数和特征融合算法具有更高的识别准确率。     

基于双流对称特征融合网络模型的海洋船舶目标识别

海洋船舶目标识别在民用和军事领域有着重要的战略意义, 本文针对可见光图像和红外图像提出了一种 基于注意力机制的双流对称特征融合网络模型, 以提升复杂感知环境下船舶目标综合识别性能. 该模型利用双流对 称网络并行提取可见光和红外图像特征, 通过构建基于级联平均融合的多级融合层, 有效地利用可见光和红外两种 模态的互补信息获取更加全面的船舶特征描述. 同时将空间注意力机制引入特征融合模块, 增强融合特征图中关 键区域的响应, 进一步提升模型整体识别性能. 在VAIS实际数据集上进行系列实验证明了该模型的有效性, 其识别 精确度能达到87.24%, 综合性能显著优于现有方法.     

基于感知重采样和多模态融合的连续情感识别

情感识别在人机交互中发挥着重要的作用,连续情感识别因其能检测到更广泛更细微的情感而备受关注。在多模态连续情感识别中,针对现有方法获取的时序信息包含较多冗余以及多模态交互信息捕捉不全面的问题,提出基于感知重采样和多模态融合的连续情感识别方法。首先感知重采样模块通过非对称交叉注意力机制去除模态冗余信息,将包含时序关系的关键特征压缩到隐藏向量中,降低后期融合的计算复杂度。其次多模态融合模块通过交叉注意力机制捕捉模态间的互补信息,并利用自注意力机制获取模态内的隐藏信息,使特征信息更丰富全面。在Ulm-TSST和Aff-Wild2数据集上唤醒度和愉悦度的CCC均值分别为63.62%和50.09%,证明了该模型的有效性。     

多模态情感识别研究进展*

情感识别研究热点正从单模态转移到多模态。针对多模态情感特征提取与融合的技术难点,本文列举了目前应用较广的多模态情感识别数据库,介绍了面部表情和语音情感这两个模态的特征提取技术,重点阐述了多模态情感融合识别技术,主要对多模态情感特征融合策略和融合方法进行了综述,对不同算法下的识别效果进行了对比。最后,对多模态情感识别研究中存在的问题进行了探讨,并对未来的研究方向进行了展望。     

Score level fusion of multimodal biometrics using triangular norms

A multimodal biometric system that alleviates the limitations of the unimodal biometric systems by fusing the information from the respective biometric sources is developed. A general approach is proposed for the fusion at score level by combining the scores from multiple biometrics using triangular norms (t-norms) due to Hamacher, Yager, Frank, Schweizer and Sklar, and Einstein product. This study aims at tapping the potential of t-norms for multimodal biometrics. The proposed approach renders very good performance as it is quite computationally fast and outperforms the score level fusion using the combination approach (min, mean, and sum) and classification approaches like SVM, logistic linear regression, MLP, etc. The experimental evaluation on three databases confirms the effectiveness of score level fusion using t-norms.