多尺度密集网络在红外和可见光图像融合应用

为了进一步提升红外和可见光图像的融合效果,提出了一种基于多尺度卷积算子和密集连接网络的图像融合模型.该模型首先使用多尺度卷积算子计算图像的直接多尺度特征,然后使用密集连接网络计算图像的间接多尺度特征.为了得到图像像素信息在不同尺度下的融合权重,通过叠加的方式将各个尺度密集连接网络的输出进行融合,并使用活动图方法计算两类图像的融合权重,最后根据权重计算结果得到融合图像,实验在THO数据集和CMA数据集获得较好的识别率.     

基于注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法

为了解决目标跟踪过程中复杂场景下精度不高以及网络训练时正负样本不平衡的问题,提出一种结合注意力机制和特征金字塔的孪生卷积神经网络目标跟踪算法。该算法采用孪生卷积神经网络提取图像特征,并在特征提取过程中引入通道注意力机制,提升卷积特征的表征能力;利用特征金字塔模型对高低层卷积特征进行融合,将融合后的特征进行相似性学习;通过使用focal loss函数,来解决训练正负样本不平衡的问题。在OTB100和VOT2015数据集上对该算法进行实验验证与分析,结果表明,该算法精度和成功率都取得了较好的效果,具有较好的应用价值。     

基于Siamese网络的行人重识别方法

针对目前行人重识别技术的缺点,提出一种基于Siamese网络的行人重识别方法.首先使用Dropout算法对卷积神经网络进行改良,降低发生过拟合问题的概率;而后构造一个Siamese网络,将CNN （Convolution Neural Network）中特征提取和检验相融合,提高图像识别的效率和准确率;最后利用度量学习算法中的马氏距离作为检索图像匹配相似度的评价指标.实验结果表明：针对Market-1501数据集,该方法可以有效提高采用卷积神经网络的行人重识别方法识别效率和准确率.     

基于差分孪生卷积神经网络的大规模不平衡数据分类算法

传统基于支持向量机的不平衡数据分类算法包含矩阵运算,无法应用于大规模的不平衡数据集。针对这种情况,提出基于差分孪生卷积神经网络的大规模不平衡数据分类算法。设计差分卷积机制增强卷积神经网络的深度结构表示能力,在不改变滤波器数量的情况下提高模型的判别能力。通过差分孪生卷积神经网络分别优化每个类的特征图,每个类关联多个超平面,根据输入样本与超平面的距离决定输出样本的类标签。基于多组不平衡数据集的实验结果表明,该算法实现了较好的分类性能。     

基于多通道卷积神经网络的非结构化道路路表分析

针对传统卷积神经网络CNN(Convolutional Neural Networks)在训练或学习时只利用图像的灰度信息,丢失了颜色信息的问题,提出一种基于多通道卷积神经网络来提取特征的方法。该算法对于每一个颜色通道分别学习一个多层卷积神经网络,并且在输出层通过全连通的神经网络进行融合。算法首先建立三个多层卷积神经网络来学习图像三个通道(RGB,HSV,Lab等)的特征;然后将三个颜色通道的特征赋予不同的权值(权值和为1)后进行融合,得到样本的特征;最后通过一个全连通的神经网络得到分类结果。实验结果分析表明,该算法相比于传统卷积神经网络能取得更高的准确性,同时能更好地适应复杂多变的环境。     

差异特征融合的无监督SAR图像变化检测

针对Siamese网络忽略不同层级差异特征之间的关联导致检测精度有限的问题,提出了基于差异特征融合的无监督SAR(synthetic aperture radar)图像变化检测算法。首先,利用对数比值算子和均值比值算子构建两幅信息互补的差异图,通过引入能量矩阵对差异图进行像素级融合以提高其信噪比;其次,设计了一种基于差异特征融合的Siamese网络(difference feature fusion for Siamese,DFF-Siamese),该网络能够通过差异特征提取模块在决策层综合衡量不同层级特征之间的差异程度,从而有效增强网络的特征表达能力;最后,利用模糊聚类算法对融合结果进行分类构建“伪标签”,用于训练DFF-Siamese网络以实现高精度SAR图像变化检测。在3组真实遥感数据集上的实验结果表明,本文提出的算法与其他对比算法相比具有更高的检测精度和更低的错误率。     

基于双支残差特征融合的图像去雾算法

针对现有的基于卷积神经网络去雾算法无法有效地去除真实雾图非均匀分布的雾霾问题,提出一种基于双支残差特征融合网络的端到端图像去雾算法.上下文空间域注意分支针对有雾图像的高频雾气区域进行像素注意,将空间域注意模块插入多尺度扩张卷积组,对雾霾特征的像素空间进行权重赋值;通道域注意编解码分支针对高频雾霾特征的通道方向进行注意,设置ResNet自编码结构并引入通道注意解码结构对不同通道特征图的权重进行赋值;特征融合模块采用自适应权重融合像素注意和通道注意的雾层特征信息,输出不均匀雾气残差层;将原始雾图和雾气残差层作差实现图像去雾,设计判别网络提高去雾图的视觉观感.采用真实雾气图像数据集NH-Haze进行评估,实验结果表明,所提算法对非均匀分布雾图的去雾视觉效果良好,在峰值信噪比和结构相似度评价上均优于对比算法.     

基于可变形卷积的孪生网络目标跟踪算法

为解决多数基于孪生网络的跟踪算法存在骨干网络特征提取能力弱、模板不适应目标变化等问题,在SiamFC的基础上提出基于可变形卷积的孪生网络算法(DCSiam).首先,采用可变形卷积模块在不同方向上学习多层特征数据的自适应偏移量,增大卷积过程中的有效感受野;然后,通过多层可变形互相关融合得到最终响应图,以增强骨干网络的深层语义特征提取能力;最后,采用一种高置信度的模板在线更新策略,每隔固定帧计算响应图的峰值旁瓣比与最大值作为更新依据,使用加权的方式融合特征以更新模板.使用OTB2013、 OTB2015、VOT2016和VOT2017四个公共基准数据集对所提出算法进行跟踪性能评估,实验结果表明,在OTB2015数据集上, DCSiam算法整体精确率、成功率较基线分别提高9.5%和7.5%,很好地实现了复杂情况下的目标跟踪,验证了所提出算法的有效性.     

基于卷积神经网络的显著性检测

显著性检测在图像处理领域应用广泛,当前显著性检测主要有自底而上与自顶而下及一些相关或改进算法,它们各有优势和缺陷。提出了一种基于卷积神经网络的显著性检测算法,利用卷积神经网络在图像处理方面强大的功能提取图像特征,进行特征融合,最后得到显著性图,用于显著性检测。将本文方法与传统的显著性检测方法进行对比,发现本文方法效果显著。     

基于多尺度和多层级特征融合的立体匹配方法

基于卷积神经网络的立体匹配方法未充分利用图像中各个层级的特征图信息,造成对图像在不适定区域的特征提取能力较差。提出一种融合多尺度与多层级特征的立体匹配方法。通过在双塔结构卷积神经网络模型的前端设计一个池化金字塔层,提取图像的多尺度低层结构特征。在该网络模型的后端融合最后三层网络的高级语义特征来提取图像特征,并对图像特征进行相似性度量后输出视差图。在KITTI 2015数据集上的实验结果表明,与LUO和Anita方法相比,该方法的像素误差精度分别由14.65%、8.30%降至8.02%,且可得到细节信息更好的视差图。     

基于CNN的改进行人重识别技术

针对行人重识别研究中训练样本的不足,为提高识别精度及泛化能力,提出一种基于卷积神经网络的改进行人重识别方法。首先对训练数据集进行扩充,使用生成对抗网络无监督学习方法生成无标签图像;然后与原数据集联合作半监督卷积神经网络训练,通过构建一个Siamese网络,结合分类模型和验证模型的特点进行训练;最后加入无标签图像类别分布方法,计算交叉熵损失来进行相似度量。实验结果表明,在Market-1501、CUHK03和DukeMTMC-reID数据集上,该方法相比原有的Siamese方法在Rank-1和mAP等性能指标上有近3～5个百分点的提升。当样本较少时,该方法具有一定应用价值。     

A multimodal-Siamese Neural Network (mSNN) for person verification using signatures and EEG

Signatures have long been considered to be one of the most accepted and practical means of user verification, despite being vulnerable to skilled forgers. In contrast, EEG signals have more recently been shown to be more difficult to replicate, and to provide better biometric information in response to known a stimulus. In this paper, we propose combining these two biometric traits using a multimodal Siamese Neural Network (mSNN) for improved user verification. The proposed mSNN network learns discriminative temporal and spatial features from the EEG signals using an EEG encoder and from the offline signatures using an image encoder. Features of the two encoders are fused into a common feature space for further processing. A Siamese network then employs a distance metric based on the similarity and dissimilarity of the input features to produce the verification results. The proposed model is evaluated on a dataset of 70 users, comprised of 1400 unique samples. The novel mSNN model achieves a 98.57% classification accuracy with a 99.29% True Positive Rate (TPR) and False Acceptance Rate (FAR) of 2.14%, outperforming the current state-of-the-art by 12.86% (in absolute terms). This proposed network architecture may also be applicable to the fusion of other neurological data sources to build robust biometric verification or diagnostic systems with limited data size.     

Multi-scale convolutional neural network for multi-focus image fusion

In this study, we present new deep learning (DL) method for fusing multi-focus images. Current multi-focus image fusion (MFIF) approaches based on DL methods mainly treat MFIF as a classification task. These methods use a convolutional neural network (CNN) as a classifier to identify pixels as focused or defocused pixels. However, due to unavailability of labeled data to train networks, existing DL-based supervised models for MFIF add Gaussian blur in focused images to produce training data. DL-based unsupervised models are also too simple and only applicable to perform fusion tasks other than MFIF. To address the above issues, we proposed a new MFIF method, which aims to learn feature extraction, fusion and reconstruction components together to produce a complete unsupervised end-to-end trainable deep CNN. To enhance the feature extraction capability of CNN, we introduce a Siamese multi-scale feature extraction module to achieve a promising performance. In our proposed network we applied multiscale convolutions along with skip connections to extract more useful common features from a multi-focus image pair. Instead of using basic loss functions to train the CNN, our model utilizes structure similarity (SSIM) measure as a training loss function. Moreover, the fused images are reconstructed in a multiscale manner to guarantee more accurate restoration of images. Our proposed model can process images with variable size during testing and validation. Experimental results on various test images validate that our proposed method yields better quality fused images that are superior to the fused images generated by compared state-of-the-art image fusion methods.     

融合注意力机制的孪生网络目标跟踪算法研究

在全卷积孪生网络跟踪算法（SiamFC）的基础上,提出一种融合注意力机制的孪生网络目标跟踪算法。在网络模板分支,通过融合注意力机制,由神经网络学习模板图像的通道相关性和空间相关性,进而增大前景贡献,抑制背景特征,提升网络对正样本特征的辨别力;同时,使用VggNet-19网络提取模板图像的浅层特征和深层特征,两种特征自适应融合。在OTB2015和VOT2018数据集上得到的实验结果表明,与SiamFC相比,所提算法能够更好地应对运动模糊、目标漂移和背景多变等问题,取得了更高的准确率和成功率。     

基于四元数局部编码和卷积网络的表情识别

为充分利用彩色图像的颜色信息和通道之间的关联性,提出一种联合四元数矩阵相位信息和幅值信息的特征提取方法,结合卷积神经网络(CNN)进行表情识别。将彩色表情图像表示为纯四元数矩阵并进行Clifford平移,对相位和幅值分别进行局部二值模式(LBP)编码,提取多尺度融合的图像特征,将特征输入CNN进行训练并分类。实验结果表明,该算法在RafD和MMI表情库上的识别率分别为79.42%和93.28%,相比其它表情识别算法,识别率更高且识别效果稳定。     

多尺度融合的立体匹配算法

针对局部立体匹配方法存在的匹配窗口大小选择困难、弱纹理或高光区域立体匹配精度较低等问题,文中结合卷积神经网络(CNN)与图像金字塔方法,提出多尺度融合的立体匹配算法.训练CNN,用于自动学习待匹配图像对的图像特征,完成匹配代价计算.构建图像金字塔,对待匹配图像对进行多尺度表达.构建弱纹理区域模板,将各层待匹配图像划分为弱纹理区域和丰富纹理区域,将弱纹理区域图像变换成小尺度图像进行匹配度计算,降低弱纹理图像的误匹配率.在变换回大尺度图像时与丰富纹理区域匹配结果融合,保持匹配精度.在KITTI 数据集上的实验表明,文中算法具有较好的图像匹配效果.     

应用通道增强MSER与CNN的维吾尔文本区域定位

为了准确有效地定位出图像中的维吾尔文本区域,提出了一种基于通道增强最大稳定极值区域（Maximally Stable Extremal Region,MSER）和卷积神经网络（Convolutional Neural Network,CNN）的图像文本区域定位方法。应用通道增强MSER提取候选区域,根据文本特征的启发式规则以及CNN分类结果去除非文本和重复区域,通过区域融合算法得到词级别文本区域,根据该区域的色彩相近程度和空间关系召回遗漏的文本区域,并通过CNN网络对召回的区域分类融合,定位出图像文本区域。实验结果表明,该方法可以准确有效地定位文本区域,具有鲁棒性和应用性。     

基于深度级联孪生网络的小样本调制识别算法

为解决传统基于深度学习的调制识别算法在小样本条件下识别准确率较低的问题,提出一种基于深度级联孪生网络的通信信号小样本调制识别算法。根据通信信号时序图的时空特性,设计由卷积神经网络和长短时记忆网络级联的特征提取模块将原始信号特征映射至特征空间,同时在孪生网络架构下对提取的特征进行距离度量并以相似性约束训练网络,避免特征提取模块在训练过程中出现过拟合现象,最终通过最近邻分类器识别待测样本的调制类别。在DeepSig公开调制数据集上的实验结果表明,与传统基于深度学习的调制识别算法相比,该算法能有效降低训练过程中所需的样本量,且在小样本条件下的识别准确率更高。     

基于哈希编码和卷积神经网络的图像检索方法

针对图像检索,提出一种基于哈希编码和卷积神经网络的方法。主要是在卷积神经网络（CNN）中加入哈希层,采用由粗到精的分级检索策略,根据学习到的哈希码进行粗检索得到与查询图像相同或相似的[m]幅图像构成图像池,计算池内图像与查询图像高层语义特征之间的欧氏距离进行精检索,达到最终的检索目的。提出方法将哈希层的损失作为优化目标之一,结合图像的两种特征进行检索,弥补了现有方法中直接利用CNN深层特征检索耗时、占用内存的不足。在印花织物和CIFAR-10数据集上的实验结果表明,提出方法检索性能优于其他现有方法。