基于多模态生物识别的安全身份认证技术

本文分析了传统身份认证方法在电子取证中存在的问题,突出了生物特征识别技术应用于电子取证中的优点。针对单模态生物特征技术存在识别精度不够等问题,提出了将多模态生物特征技术的安全身份认证的体系结构,并探讨了多种特征信息融合的方法。[编者按]     

基于FAR和FRR融合的多模态生物特征识别

通过多生物特征识别融合可以显著地改善系统的识别性能,在多生物特征识别中, 匹配分数级融合最常用. 现有的匹配分数级融合策略包括基于归一化的融合、基于密度的融合和基于分类器的融合. 本文分析了这三种融合策略的优缺点, 结合分数归一化和基于密度方法的优点, 提出了一种新的基于信任度的融合策略. 其中, 信任度是以错误拒绝率和错误接受率为基础, 既避免了直接求取某个匹配分数的后验概率, 又能够刻画匹配分数的分布. 将本文方法与几种有代表性的方法进行实验比较, 结果表明, 这种新融合模式可以有效地改进多生物特征识别系统的性能.     

多模态数据融合综述

随着当今信息技术的飞速发展,信息的存在形式多种多样,来源也十分广泛。不同的存在形式或信息来源均可被称之为一种模态,由两种或两种以上模态组成的数据称之为多模态数据。多模态数据融合负责将多个模态的信息进行有效的整合,汲取不同模态的优点,完成对信息的整合。自然现象具有十分丰富的特征,单一模态很难提供某个现象的完整信息。面对保持融合后具有各个模态信息的多样性以及完整性、使各个模态的优点最大化、减少融合过程造成的信息损失等方面的融合要求,如何对各个模态的信息进行融合成为了多个领域广泛存在的一个新挑战。简要阐述了常见的多模态融合方法、融合架构,总结了三个常见的融合模型,简要分析协同、联合、编解码器三大架构的优缺点以及多核学习、图像模型等具体融合方法。在多模态的应用方面,对多模态视频片段检索、综合多模态信息生成内容摘要、多模态情感分析、多模态人机对话系统进行了分析与总结。指出了当前多模态融合出现的问题,并提出未来的研究方向。     

基于匹配分数的多生物特征识别融合综述

受数据噪音和识别系统本身的限制,基于单一生物特征的身份认证系统所能达到的准确率是有限的。通过多生物特征识别来提高识别的准确率成为当前生物特征识别领域的研究热点之一。首先介绍了多生物特征识别的必要性、多生物特征识别的分类,然后重点介绍了基于匹配分数的多生物特征识别融合的研究现状,最后总结了多生物特征识别研究中的问题和未来的研究方向。     

多模态深度学习综述

模态是指人接收信息的方式,包括听觉、视觉、嗅觉、触觉等多种方式。多模态学习是指通过利用多模态之间的互补性,剔除模态间的冗余性,从而学习到更好的特征表示。多模态学习的目的是建立能够处理和关联来自多种模式信息的模型,它是一个充满活力的多学科领域,具有日益重要和巨大的潜力。目前比较热门的研究方向是图像、视频、音频、文本之间的多模态学习。着重介绍了多模态在视听语音识别、图文情感分析、协同标注等实际层面的应用,以及在匹配和分类、对齐表示学习等核心层面的应用,并针对多模态学习的核心问题:匹配和分类、对齐表示学习方面给出了说明。对多模态学习中常用的数据集进行了介绍,并展望了未来多模态学习的发展趋势。     

多模态深度学习综述

在多模态深度学习发展前期总结当前多模态深度学习,发现在不同多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各类问题进行子分类和论述,同时列举了为解决各类问题产生的神经网络模型。最后论述了实际多模态系统、多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。     

生物特征识别技术发展与应用综述

生物特征识别技术是一种利用人体独一无二的生物特征进行身份识别的技术。介绍了当前生物特征识别技术的工作模式和发展现状,指出了生物特征识别技术的发展趋势,并对当前生物特征识别过程中面对的安全性进行了论述。     

基于细粒度特征融合的部分多模态哈希

多模态数据的指数级增长使得传统数据库在存储和检索方面遇到挑战,而多模态哈希通过融合多模态特征并映射成二进制哈希码,能够有效地降低数据库的存储开销并提高其检索效率.虽然目前已经有许多针对多模态哈希的工作取得了较好的效果,但是仍然存在着3个重要问题:(1)已有方法偏向于考虑所有样本都是模态完整的,然而在实际检索场景中,样本缺失部分模态的情况依然存在;(2)大多数方法都是基于浅层学习模型,这不可避免地限制了模型的学习能力,从而影响最终的检索效果;(3)针对模型学习能力弱的问题已提出了基于深度学习框架的方法,但是它们在提取各个模态的特征后直接采用了向量拼接等粗粒度特征融合方法,未能有效地捕获深层语义信息,从而弱化了哈希码的表示能力并影响最终的检索效果.针对以上问题,提出了PMH-F3模型.该模型针对样本缺失部分模态的情况,实现了部分多模态哈希.同时,基于深层网络架构,利用Transformer编码器,以自注意力方式捕获深层语义信息,并实现细粒度的多模态特征融合.基于MIRFlickr和MSCOCO数据集进行了充分实验并取得了最优的检索效果.实验结果表明:所提出的PMH-F³     

多模态的情感分析技术综述

情感分析是指利用计算机自动分析确定人们所要表达的情感,其在人机交互和刑侦破案等领域都能发挥重大作用.深度学习和传统特征提取算法的进步为利用多种模态进行情感分析提供了条件.结合多种模态进行情感分析可以弥补单模态情感分析的不稳定性以及局限性等缺点,能够有效提高准确度.近年来,研究者多用面部表情信息、文本信息以及语音信息三种...     

基于深度学习的多模态生物特征融合模型

面对公安实战中获取的低质量生物特征数据,单模态生物特征识别技术的精度并不理想,现有的多模态融合算法存在融合层次单一、泛化性不强等问题,深度神经网络的发展为其提供了有效的解决途径。构建基于深度神经网络的多模态生物特征融合模型,将像素层、特征层、分数层等不同层次的融合方法统一到融合模型中,在像素层采用空间、通道和强度融合三种策略;在特征层通过反向传播整体优化模态专用分支与联合表示层,构建模态之间一阶依赖关系;在分数层使用基于Rank1评价和基于模态评价两种方法完成匹配分数融合。模拟实战数据构建虚拟同源多模态数据集进行模型验证。实验结果表明,多模态像素层融合方法提升效果有限,难以增强数据的区分度;多模态特征层融合方法相比单模态算法提升2.2个百分点;分数层融合方法相比单模态算法提升3.5个百分点,最佳检索精度可达99.6%。基于深度学习方法提出的多模态生物特征融合模型极大地提高了模型的泛化性和检索精度。     

基于心脏信号生物识别综述

基于心脏信号的生物识别技术是目前生物识别的重要研究方向,对基于心脏信号的身份识别技术以及用于身份识别的各种心脏信号及其产生的机理进行介绍,并对心脏信号的采集形式进行分析.通过对多种基于心脏信号的身份识别技术步骤和分类算法的比较,对基于心脏信号的身份识别方法的可行性进行研究和探讨.     

一种基于多通道信息融合的教师运动跟踪方法

提出一种基于多通道信息融合的教师运动跟踪方法。该方法改进了传统的运动人像检测算法,能进行多目标的识别与跟踪。并结合智能教室的上下文环境信息,提出一个多通道信息融合推理算法,解决了单纯利用运动人像跟踪算法所带来的误检问题。实验表明该方法是有效的。     

基于深度神经网络的多模态信息检索

为了提高大数据中多模态信息的检索效果,提出一种基于深度神经网络的多模态信息检索算法.设计深度自编码器,将不同模态的数据投影到一个相同的广义子空间内;利用稀疏编码技术降低共同特征向量的维度,过滤冗余特征和噪声特征;通过去卷积操作和上采样操作对数据进行重建.基于公开模态识别数据集的实验结果表明,该算法能够有效地学习和泛化多...     

面向用户的多媒体检索中的多模态界面框架设计

本文提出并设计了一种面向用户的多媒体信息检索中的多模态界面框架。该框架将知识指导、语义概念学习、自然语言处理及用户特性分析等技术于一体，从而为设计通用多媒体信息检索系统奠定了基础。     

基于多模态信息挖掘融合的视频检索技术

基于内容的多媒体检索特别是视频检索,由于多媒体数据本身具有复杂的语义,所以极大地提高了检索的难度.算法着眼于视频本身挖掘出充分的资源信息并且将这些信息加以融合来提高视频检索的性能.基于这种思想,提出一种多模态视频检索模型以及相应的手动式搜索和交互式搜索的算法方案.搜索策略在TRECVID视频检索比赛中取得了不错的成绩.     

基于任务的多通道整合设计与实例

多通道人机交互技术的研究旨在为计算机用户提供一个方便高效的人机交互环境。     

A multimodal biometric test bed for quality-dependent, cost-sensitive and client-specific score-level fusion algorithms

This paper presents a test bed, called the Biosecure DS2 score-and-quality database, for evaluating, comparing and benchmarking score-level fusion algorithms for multimodal biometric authentication. It is designed to benchmark quality-dependent, client-specific, cost-sensitive fusion algorithms. A quality-dependent fusion algorithm is one which attempts to devise a fusion strategy that is dependent on the biometric sample quality. A client-specific fusion algorithm, on the other hand, exploits the specific score characteristics of each enrolled user in order to customize the fusion strategy. Finally, a cost-sensitive fusion algorithm attempts to select a subset of biometric modalities/systems (at a specified cost) in order to obtain the maximal generalization performance. To the best of our knowledge, the BioSecure DS2 data set is the first one designed to benchmark the above three aspects of fusion algorithms. This paper contains some baseline experimental results for evaluating the above three types of fusion scenarios.     

基于代数几何码的生物信息密钥保护机制

改进了文献[1]使用生物数据对密钥进行保护的方案,使用ReedMuller码和Hermitian曲线上的代数几何码代替了原方案中的Hadmard码和ReedSolomon码,获得了更大的纠错能力和更高的信息率。使用改进后的方案,密钥可以从用户的生物数据和存储在防窜改的智能卡中的纠错数据中被恢复。     

基于虹膜识别的身份鉴别

描述了基于虹膜识别的身份鉴别系统.该系统包括虹膜图像摄取、图像预处理、特征提取和匹配四个部分.虹膜图像摄取采用了自主开发研制的装置,特征提取采用Gabor滤波和Daubechies-4小波变换等纹理分析方法,匹配采用方差倒数加权欧氏距离方法.与现有的其它方法相比,该方法利用了二维虹膜图像丰富的纹理信息并具有旋转、平移和尺度不变性.