基于侧链连接卷积神经网络的手掌静脉图像识别

针对手掌静脉图像数量少且质量参差不齐,进而导致掌脉识别系统的性能降低的现象,提出一种基于侧链连接卷积神经网络的手掌静脉图像识别方法。首先,在ResNet模型的基础上,用卷积层和池化层提取掌脉特征。然后,采用指数线性单元（ELU）激活函数、批归一化（BN）和Dropout技术来改进和优化模型,以缓解梯度消失、防止过拟合、加快收敛及增强模型泛化能力。最后,引入稠密连接网络（DenseNet）,使提取到的手掌静脉特征更具丰富性和有效性。在两个公开库和一个自建库上分别进行实验,结果表明所提方法在三个数据库上的识别率分别为99.98%、97.95%、97.96%。可见该方法能有效提高掌脉识别系统的性能,且更适用于掌脉识别的实际应用。     

低资源语音识别中融合多流特征的卷积神经网络声学建模方法

针对卷积神经网络（CNN）声学建模参数在低资源训练数据条件下的语音识别任务中存在训练不充分的问题,提出一种利用多流特征提升低资源卷积神经网络声学模型性能的方法。首先,为了在低资源声学建模过程中充分利用有限训练数据中更多数量的声学特征,先对训练数据提取几类不同的特征;其次,对每一类类特征分别构建卷积子网络,形成一个并行结构,使得多特征数据在概率分布上得以规整;然后通过在并行卷积子网络之上加入全连接层进行融合,从而得到一种新的卷积神经网络声学模型;最后,基于该声学模型搭建低资源语音识别系统。实验结果表明,并行卷积层子网络可以将不同特征空间规整得更为相似,且该方法相对传统多特征拼接方法和单特征CNN建模方法分别提升了3.27%和2.08%的识别率;当引入多语言训练时,该方法依然适用,且识别率分别相对提升了5.73%和4.57%。     

掌纹掌脉图像超小波域融合识别算法

针对单一生物特征识别技术易受外界各种因素影响,识别率和稳定性有待提高的问题,提出一种掌纹掌脉图像超小波域融合识别算法NSCT-NBP。首先,对掌纹掌脉图像利用非下采样Contourlet变换（NSCT）进行分解,将得到的低频和高频子图像分别利用区域能量和图像自相似原理进行融合;然后,对融合后的图像利用近邻二值模式（NBP）提取纹理特征,获得特征向量;最后,通过计算特征向量间的汉明距离比较融合图像间的近似程度来计算等误率（EER）。在PloyU图库及自建图库上进行实验,结果表明,NSCT-NBP算法可获得最低的EER,分别为0.72%和0.96%,识别时间仅为0.0530 s和0.0871 s,与当前最优的基于小波变换和Gabor滤波器的掌纹掌脉融合方法相比,在两个图库上EER分别降低了4%和36.8%。NSCT-NBP算法能够有效融合掌纹掌脉图像的纹理特征,具有良好的识别性能,并且掌纹掌脉特征的融合增强了识别系统的安全性。     

一种新的高效轻量级卷积神经网络模型

针对目前食物识别系统中网络模型参数量多、模型较大的问题，提出一种23层结构、参数量只有204k的网络模型，使用基本构造块（7×7、5×5、3×3）生成特征图，用不同感受野的2个池化层来融合卷积层的特征图，再用1×1的卷积核进行非线性组合，然后连接到空间金字塔池化层，最后在softmax分类器中分类。在公开数据集上的实验表明，与ResNet50和GoogLeNet相比，本文网络模型在分类性能不降低的情况下，模型参数分别减少了99.14%和96.63%。     

手掌静脉图像识别技术综述

人体的手掌静脉具有唯一性、稳定性,隐藏在表皮下,结构复杂很难被复制,手掌静脉图像难以窃取拍摄,这些使得手掌静脉成为一种高安全性的生物特征。作为生物特征识别领域的前沿课题,手掌静脉图像识别技术以其高安全性等优势拥有着广泛的应用前景,成为近几年的研究热点。本文从手掌静脉图像识别技术的原理入手,综述了手掌静脉图像识别的四个阶段：图像采集,图像预处理、特征提取及匹配。根据特征提取方法不同,将掌脉图像识别方法分为基于结构特征的方法、基于纹理特征的方法和基于子空间的三类方法。最后,对掌脉图像识别技术的难点进行了总结,对发展趋势进行了展望。     

基于自适应融合的手掌静脉增强方法

针对掌脉轮廓不清晰，图像对比度低、亮度低，进而导致识别性能降低的现象，提出一种自适应融合的手掌静脉增强方法。首先，基于暗原色先验（DCP）去雾算法，根据掌脉图像变异系数自适应选择去雾系数，得到DCP增强图像，并且基于部分子块重叠直方图均衡（POSHE）算法得到POSHE增强图像；然后，将图像分为16个子块，依据图像灰度均值与标准差确定各子块权重；最后，根据各子块权重对DCP和POSHE增强图像进行自适应融合，得到最终增强图像。该方法既保留了DCP算法在增强图像对比度和亮度的同时不引入明显噪声的优点，又保留了POSHE算法在增强图像对比度和亮度的同时不损失局部细节的特点；同时，两者的自适应融合既解决了DCP图像阴影部分掌脉缺失现象，又削弱了POSHE产生的块效应。在对两个公开库和自建库分别进行的实验中，三个数据库的等错误率分别为0.0004、0.0472、0.0579，识别率分别为99.98%、94.27%、92.05%。实验结果表明，与现有的图像增强方法相比，该方法降低了等错误率，提高了识别精度。     

基于2D-FFT的掌静脉图像Gabor滤波快速增强法

手掌静脉纹识别技术作为新一代高精度的生物特征识别技术,被广泛用于个人身份鉴定领域.有效提取手掌静脉特征对于手掌静脉分类至关重要.然而,由于采集到的手掌静脉图像的质量较差,必须在识别前对手掌静脉图像进行增强.使用二维离散快速傅里叶变换（2D-FFT）代替传统空域卷积滤波,实现Gabor滤波器与原图像的频域卷积滤波.实验结果显示,本文提出的增强方法,相比较传统的自适应直方图均衡化和Retinex算法具有更佳的增强效果,相比于传统Gabor空域卷积滤波具有更低的计算复杂度,更适用于实时系统.     

基于加权密集连接卷积网络的深度强化学习方法

针对深度强化学习中卷积神经网络（CNN）层数过深导致的梯度消失问题，提出一种将密集连接卷积网络应用于强化学习的方法。首先，利用密集连接卷积网络中的跨层连接结构进行图像特征的有效提取；然后，在密集连接卷积网络中加入权重系数，加权密集连接卷积网络中的每一层都接收到前面几层产生的所有特征图，且之前所有层在跨层连接中被赋予不同的初始权重；最后，在训练中动态调整每层的权重，从而更加有效地提取特征。与常规深度强化学习方法相比，在GridWorld仿真实验中，在相同训练步数内的平均奖励值提升了85.67%；在FlappyBird仿真中，平均奖励值提升了55.05%。实验结果表明所提方法能在不同难度的游戏仿真实验中获得更好的性能。     

基于单样本的手掌静脉识别方法

针对单样本手掌静脉识别率较低的问题,研究了一种结合手掌静脉2DPCA特征和分区LBP特征的识别方法。利用图像重采样和奇异值扰动方法生成虚拟样本,利用2DPCA从生成的虚拟样本图像上提取静脉特征进行识别;利用LBP从原单样本手掌静脉提取分区特征进行识别;利用决策层融合方法将以上两种方法进行融合。在Poly U手掌静脉库上的实验表明,该方法能有效地解决手掌静脉的单样本识别问题。     

基于低秩行为信息和多尺度卷积神经网络的人体行为识别方法

针对人体行为识别中传统行为信息获取方法需要繁琐步骤和各类假设的问题,结合卷积神经网络（CNN）在图像视频处理中的优越性能,提出了一种基于低秩行为信息（LAI）和多尺度卷积神经网络（MCNN）的人体行为识别方法。首先,对行为视频进行分段,并分别对每个视频段进行低秩学习以提取到相应的LAI,然后在时间轴上对这些LAI进行连接以获取整个视频的LAI,进而有效捕获视频中的行为信息,避免了繁琐的提取步骤和各类假设。其次,针对LAI的特点,设计了MCNN模型。该模型通过多尺度卷积核获取不同感受野下的LAI行为特征,并合理设计各卷积层、池化层及全连接层来进一步提炼特征并最终输出行为类别。将所提出的方法在KTH和HMDB51两个基准数据库上进行性能验证,同时设计和进行了三组对比实验。实验结果表明,所提方法在两个数据库上分别取得了97.33%和72.05%的识别率,与双重变换（TFT）方法和深时间嵌入网络（DTEN）方法相比,识别率分别至少提高了0.67和1.15个百分点。所提方法能进一步促进行为识别技术在安防、人机交互等领域的广泛应用。     

基于手指双模态特征的自动身份验证方法及系统

针对目前单模态生物特征识别在稳定性与安全性等方面的不足以及多模态融合识别的多设备多输入困难等问题, 本文提出一种充分考虑类内与类间度量的学习模型, 实现基于手指双模态特征的自动身份验证方法及系统。由于指静脉与指折痕具有不易改变, 难以伪造的特点, 本文选取这两种重要的手部特征进行身份验证。通过结合两种不同模态特征, 利用自编码网络对类内特征进行表示, 来构建基于度量学习的孪生网络模型, 从而提取类内与类间特征; 接着将提取的指静脉和指折痕特征进行距离计算, 将距离融合后使用逻辑回归模型进行概率判断, 最终实现有效的双模态融合身份验证。为验证我们提出方法的有效性,我们对指静脉识别结果性能进行了对比。实验结果表明, 我们的方法在更具有挑战性的数据库上识别等错误率为 1.69%, 较之现有代表性论文提出的模型的等错误率降低了 2.96%。我们也将构建的双模态融合模型与仅使用单一模态模型进行对比, 结果表明融合指静脉和指折痕特征的融合模型的等错误率为 1.55%,比单一模态的指静脉与指折痕模型分别降低了 0.14%和 3.0%, 表明了双模态身份验证模型性能更优。进一步地, 本文采集了一个更具有挑战性的数据库, 开发了显示图像及识别结果的图形界面,最终实现了一个从数据采集到识别匹配的端对端的一体化自动身份验证系统。基于以上研究, 本文首次提出了一个基于指静脉和指折痕特征的多目自动身份验证方案, 实现集准确性, 鲁棒性和实效性为一体的系统。     

基于有监督双正则NMF的静脉识别算法

为使提取的静脉图像特征具有较好的聚类特性以更利于正确识别,提出了一种基于有监督非负矩阵分解的识别算法。首先,对静脉图像进行分块处理,通过融合所有的子图像特征形成静脉的原始特征;其次,采用特征的稀疏性与聚类属性双正则项,对原始的非负矩阵分解模型进行改进;然后,基于梯度下降法对改进的非负矩阵分解模型进行求解,实现对原始特征的降维与优化;最后,利用最近邻算法对新的特征进行匹配,从而获得识别结果。实验结果表明,对于3种静脉样本数据库,所提识别算法的错误接受率与错误拒绝率分别可以达到0.02与0.03;此外,其2.89s的识别时间可以满足实时性要求。     

基于局部线性二值模式的掌纹掌脉融合识别

为了改善图像模糊导致鲁棒性下降这一问题,提出了一种基于掌纹掌脉双模态融合的多生物特征识别方法.对传统的线性二值模式(LBP)方法进行改进,提出了一种新的特征提取方法——局部线性二值模式(LLBP);对掌纹掌脉图像进行分块操作,形成分块局部线性二值模式(BLLBP),并将掌纹和掌脉特征进行融合;利用汉明距离进行匹配.实验图库分别为接触式公用图库和自建PolyU模糊图库以及自建SUT-D模糊图库,并与目前典型方法进行对比实验,结果表明:在三个图库中可分别获得最低等错误率(EER)为1.1513%,4.5162%和7.0439%,充分证明了该方法能够进一步提高身份识别的防伪性、鲁棒性及识别精度,具有可行性.     

A Performance Evaluation of Classic Convolutional Neural Networks for 2D and 3D Palmprint and Palm Vein Recognition

Palmprint recognition and palm vein recognition are two emerging biometrics technologies. In the past two decades, many traditional methods have been proposed for palmprint recognition and palm vein recognition, and have achieved impressive results. However, the research on deep learning-based palmprint recognition and palm vein recognition is still very preliminary. In this paper, in order to investigate the problem of deep learning based 2D and 3D palmprint recognition and palm vein recognition in-depth, we conduct performance evaluation of seventeen representative and classic convolutional neural networks (CNNs) on one 3D palmprint database, five 2D palmprint databases and two palm vein databases. A lot of experiments have been carried out in the conditions of different network structures, different learning rates, and different numbers of network layers. We have also conducted experiments on both separate data mode and mixed data mode. Experimental results show that these classic CNNs can achieve promising recognition results, and the recognition performance of recently proposed CNNs is better. Particularly, among classic CNNs, one of the recently proposed classic CNNs, i.e., EfficientNet achieves the best recognition accuracy. However, the recognition performance of classic CNNs is still slightly worse than that of some traditional recognition methods.

     

Selection of optimized features for fusion of palm print and finger knuckle‐based person authentication

The impact of digital technology in biometrics is much more efficient at interpreting data than humans, which results in completely replacement of manual identification procedures in forensic science. Because the single modality‐based biometric frameworks limit performance in terms of accuracy and anti‐spoofing capabilities due to the presence of low quality data, therefore, information fusion of more than one biometric characteristic in pursuit of high recognition results can be beneficial. In this article, we present a multimodal biometric system based on information fusion of palm print and finger knuckle traits, which are least associated to any criminal investigation as evidence yet. The proposed multimodal biometric system might be useful to identify the suspects in case of physical beating or kidnapping and establish supportive scientific evidences, when no fingerprint or face information is present in photographs. The first step in our work is data preprocessing, in which region of interest of palm and finger knuckle images have been extracted. To minimize nonuniform illumination effects, we first normalize the detected circular palm or finger knuckle and then apply line ordinal pattern (LOP)‐based encoding scheme for texture enrichment. The nondecimated quaternion wavelet provides denser feature representation at multiple scales and orientations when extracted over proposed LOP encoding and increases the discrimination power of line and ridge features. To best of our knowledge, this first attempt is a combination of backtracking search algorithm and 2D²LDA has been employed to select the dominant palm and knuckle features for classification. The classifiers output for two modalities are combined at unsupervised rank level fusion rule through Borda count method, which shows an increase in performance in terms of recognition and verification, that is, 100% (correct recognition rate), 0.26% (equal error rate), 3.52 (discriminative index), and 1,262 m (speed).     

基于稀疏编码的手背静脉识别算法

为提高静脉特征提取的有效性,提出了基于稀疏编码的手背静脉识别算法。首先,在图像采集过程中,依据实时的质量评价结果对采集系统参数进行自适应调整,获取高质量静脉图像;其次,针对主观选择的特征有效性主要依赖于经验的缺陷,提出了基于稀疏编码的特征学习机制,从而获得客观优质的静脉特征。实验结果表明,基于所提算法获得的静脉特征具有较好的类间区分性与类内紧凑性,令使用该算法的系统具有较高的识别率。     

基于Shearlet变换和均匀局部二值模式特征的协作表示人脸识别算法

为了获得人脸图像中更丰富的纹理特征以提高人脸识别率,提出了一种基于Shearlet变换和均匀局部二值模式(ULBP)算子提取特征(Shearlet_ULBP特征)的协作表示方法--Shearlet_ULBP CRC用于人脸识别。首先,人脸图像通过Shearlet变换分解,得到多尺度多方向的幅值域图谱,再经过简单的平均融合,获得融合后的幅值域图谱;然后,通过ULBP算子结合分块的方法获得该Shearlet变换后融合图像的直方图特征;最后,结合协作表示的方法来分类所提取到的特征。该方法可以提取到图像更丰富的边缘以及纹理信息,在ORL、Extended Yale B和AR人脸数据库上进行测试,在图像无遮挡的情况下识别率都达到了99%以上,在有遮挡情况下也都达到了91%以上的识别率。实验结果表明,所提方法不仅对于光照、姿态和表情变化具备较强的鲁棒性,同时能在一定程度上处理人脸图像中存在遮挡的情形。     

Palm vein recognition using adaptive Gabor filter

Vein pattern recognition is one of the newest biometric techniques researched today. One of the reliable and robust personal identification authentication approaches using palm vein patterns is presented in this paper. In our work, we consider the palm vein as a piece of texture and apply texture-based feature extraction techniques to palm vein authentication. A Gabor filter provides the optimized resolution in both the spatial and frequency domains, thus it is a basis for extracting local features in the palm vein recognition. However, Gabor filter has many potential parameter combinations to use, and it is a common practice now to use multiple Gabor filters or to determine desired single combination by experience. The overall aim of this work is to discuss the optimization algorithm that determines the best parameter values of a single Gabor filter for palm vein recognition. In order to obtain effective pattern of palm vascular, we proposed an innovative and robust adaptive Gabor filter method to encode the palm vein features in bit string representation. The bit string representation, called VeinCode, offers speedy template matching and enables more effective template storage and retrieval. The similarity of two VeinCodes is measured by normalized Hamming distance. A total of 4140 palm vein images were collected form 207 persons to verify the validity of the proposed palm vein recognition approach. High accuracy has been obtained by the proposed method and the speed of this method is rapid enough for real-time palm vein recognition. Experimental results demonstrate that our proposed approach is feasible and effective in palm vein recognition.