基于层次化双重注意力网络的乳腺多模态图像分类

为解决现有多模态图像融合方法忽略临床先验知识的利用,且多模态之间的信息交互不充分等问题,提出基于层次化双重注意力网络的乳腺多模态图像分类方法,引入新的先验学习模块,有效挖掘和利用临床先验,提升单模态特征的区分性。设计层次化的双重注意力模块,利用注意力机制同时增强全局模态间通道特征和局部模态内特征的区分性信息,增强模态间的信息交互,进一步提升多模态融合的分类性能。试验结果表明,与其他方法对比,提出的模型能够取得更好的性能,在受试者工作特征曲线下面积、准确性、特异性和灵敏度分别达到为82.5%、83.3%、80.0%和85.0%。结果证明建立层次化双重注意力网络预测乳腺肿瘤良恶性可行。     

多分支主干监督网络下的RGB-D图像显著性检测

针对现有的RGB-D图像显著性检测技术难以充分挖掘深度图像的有效信息,无法使RGB特征和深度特征有效融合的问题,提出了一种多分支主干监督网络下的RGB-D图像显著性检测方法。基于Resnet50网络获得两种图像的各层特征,利用深度改进模块从通道和空间注意力的角度提取到有用的深度特征信息。利用特征分组监督融合模块,依据卷积神经网络的理论,对RGB和深度特征从高层到底层分组进行多尺度多模态特征融合,每组融合加入上层融合结果和真值图进行监督,最终迭代得到预测显著图。通过4个具有代表性数据集上进行的实验,对比目前先进的RGB-D图像显著性检测,表明此模型平均绝对误差指标最小,在F值、E值和S值指标上均有提高,性能优于其他模型,具有良好的鲁棒性。     

基于语义增强特征融合的多模态图像检索模型

为了在多模态图像检索任务中建立文本特征与图像特征的相关性，提出基于语义增强特征融合的多模态图像检索模型（SEFM）.该模型通过文本语义增强模块、图像语义增强模块2部分在特征融合时对组合特征进行语义增强.在文本语义增强模块建立多模态双重注意力机制，利用双重注意力建立文本与图像之间的关联以增强文本语义；在图像语义增强模块引入保留强度和更新强度，控制组合特征中查询图像特征的保留和更新程度.基于以上2个模块可以优化组合特征使其更接近目标图像特征.在MIT-States和Fashion IQ这2个数据集上对该模型进行评估，实验结果表明在多模态图像检索任务上该模型与现有方法相比在召回率和准确率上都有所提升.     

基于改进Xception的玉米大斑病识别

利用无人机平台进行作物病害识别时,由于其拍摄图像分辨率高、目标病斑占比小,现有检测方法需要对图像进行多步骤处理,费时费力且检测效果不稳定。为减少图像处理步骤,提高检测准确率,文章以无人机拍摄图像中玉米大斑病为检测对象,首先将图像按照一定的比例进行缩小和裁剪,利用2种不同分辨率的图像重构公开数据集;然后对Xception网络进行改进,通过增加密集连接减少病斑特征信息丢失,以提高特征信息融合能力,增加注意力模块调整图像通道,以抑制无效信息;最后训练模型完成对玉米大斑病的识别并进行性能评估。实验结果表明,所提模型识别准确率达到了95.23%,单张图片识别时间减少到了0.547 6 s。该模型能够有效检测无人机拍摄的图像中的玉米大斑病。     

基于注意力与多级特征融合的YOLOv5算法

针对复杂场景下目标检测与识别精度较低的问题,提出了一种基于注意力与多级特征融合的YOLOv5目标检测与识别算法。该算法在传统YOLOv5s模型的主干网络中引入双空间方向的金字塔切分注意力机制,增强对特征空间和通道信息的学习能力,同时在瓶颈网络中采用多级特征融合结构,对不同分支的特征进行融合,增加特征的丰富性,提升应对复杂场景的能力。此外,利用C3Ghost模块和深度可分离卷积分别替换C3模块和普通卷积,降低网络参数量和复杂度。结果表明：与传统的YOLOv5s算法相比,所提算法在VOC2007+2012数据集的均值平均精度高达85%,在智能零售柜商品识别数据集的均值平均精度高达97.2%,表现出较好的性能。     

基于Efficient-Net的轮胎X光片缺陷检测技术研究

为解决传统深度学习网络模型在轮胎X光瑕疵图像检测上识别率低、准确性差的问题,基于特征金字塔网络FPN提出一种多级特征提取网络TWFPN并将其与Ef-ficient-Net目标识别网络融合,得到高度融合语义和细节信息的瑕疵特征向量并改进检测算法流程;通过融合背景信息的检测算法对模型识别结果进行重新判定,得到最终的瑕疵类别...     

基于多尺度特征融合的轻量化道路提取模型

针对当前用于遥感图像道路提取领域的语义模型存在计算复杂度较高、道路提取效果不佳的问题,提出基于多尺度特征融合的轻量化道路提取模型（MFL-DeepLab V3+).为了减少模型参数量并降低模型的计算复杂度,骨干网络选用轻量化Mobilenet V2网络代替原模型的Xception网络,在空洞空间金字塔池化（ASPP）模块中引入深度可分离卷积.为了增强模型的道路提取能力,优化对细小路段的提取效果,在解码区提出联合注意力的多尺度特征融合（MFFA）.基于Massachusetts roads数据集的各项实验表明,MFL-DeepLab V3+模型的参数规模显著降低,较原模型参数量压缩了88.67%,道路提取图像完整,边缘清晰,精确率、召回率和F1分数分别达到88.45%、86.41%和87.42%,与其他模型相比取得了更好的提取效果.     

基于多尺度特征和注意力机制的轻量级虹膜分割模型

针对基于深度学习的虹膜分割模型存在参数量大、计算量大、占用空间大的问题,提出了一种轻量级的虹膜分割模型。首先,将Linknet中特征提取网络替换为改进的轻量级网络MobileNetv3。这种设计在保持准确性的同时显著地提高了模型效率。其次,为了减少虹膜特征信息丢失,设计了一个多尺度特征提取模块。再次,引入了通道注意力机制,抑制无关噪声,加大虹膜区域的权重。最后,在3个虹膜数据库上将本文模型与其他虹膜分割模型进行比较,结果表明,本文模型在虹膜分割准确率和效率之间取得了更好的平衡。     

基于视觉Transformer时空自注意力的工人行为识别

针对人机协作特殊场景中工人行为识别的问题，提出基于Transformer网络的视频人体行为识别模型，利用Transformer网络核心的自注意力机制，减少网络的结构复杂度，提升网络的性能.模型在提取图像空间特征的基础上，增加时间特征的分析，从空间和时间2个维度实现对视频数据的处理.在处理后的数据中提取分类向量传入分类模块，得到最终的识别结果.为了验证模型的有效性，分别在公开数据集UCF101和实验室采集的工人常规行为（自建）数据集上进行人体行为识别实验.实验结果显示，在UCF101上模型平均识别准确率为93.44%，在自建数据集上模型平均识别准确率为98.54%.     

一种注意力机制的多尺度特征融合MRI重建

针对深度卷积神经网络重建磁共振图像存在的高频细节纹理丢失问题，本文提出一种注意力机制的多尺度特征融合磁共振成像(magnetic resonance imaging, MRI)重建。在U-Net模型基础上，采用参考图像的特征，约束低分辨磁共振图像的重建，并引入多尺度特征挤压注意力(multi-scale feature squeeze attention, MFSA)模块，建立跨通道信息交互，在通道维度上对多尺度特征层进行特征提取并融合，强化高频细节纹理的特征信息，提高磁共振图像重建的分辨率。同时，为验证所提注意力模块的有效性，保持其他参数不变，在测试集上分别对网络加入的注意力模块前后进行对比实验。实验结果表明，本文所提出的MFSA,能提高图像的重建质量，使图像获得更丰富的信息，各项指标均达到最优，重建结果纹理清晰，接近于真实图像，更能满足人类的视觉感受，而且网络在峰值信噪比和结构相似性等质量评价指标方面均得到较大改善，在定量评估上明显优于其他网络，而且通过不同尺度注意力相融合，使网络在小数据集上就可明显提升图像的感知质量。该研究具有较大的应用价值。     

模式分类中的特征融合方法

特征融合方法是模式识别领域的一种重要方法.计算机视觉领域的图像识别问题作为一种特殊的模式分类问题,仍然存在很多挑战.特征融合方法能够综合利用多种图像特征,实现多特征的优势互补,获得更加鲁棒和准确的识别结果.笔者基于信息融合理论分析了特征融合方法的原理,介绍了特征融合方法的研究现状,讨论了特征融合与3类主流基础理论相结合的方法,其中基于贝叶斯理论的特征融合算法可以实现多特征的融合决策,基于稀疏表示理论的特征融合算法能够得到多特征的联合稀疏表示,基于深度学习理论的特征融合算法能够强化深度神经网络模型的特征学习过程.     

基于多级特征级联的遥感图像实时语义分割

针对遥感图像语义分割中存在的分割耗时长、分割小目标不准确的问题,提出基于多级特征级联的高分辨率遥感图像快速语义分割模型(multi-level feature cascade network,MFCNet).该模型主要由特征编码、特征融合以及目标细化3部分组成.特征编码对输入的不同分辨率图像用不同量级主干网络进行特征提...     

基于3D-CBAM注意力机制的人体动作识别

针对已有的动作识别方法的特征提取不足、识别率较低等问题,结合双流网络、3D卷积神经网络和卷积LSTM网络的优势,提出一种融合模型. 该融合模型为了更好地提取人体动作特征,采用SSD目标检测方法将人体目标分割出作为局部特征和原视频的全局特征共同训练,并采用后期融合进行分类; 将3D卷积块注意模块采用shortcut结构的方式融合到3D卷积神经网络中,加强神经网络对视频的通道和空间特征提取; 并且通过将神经网络中部分3D卷积层替换为ConvLSTM层的方法,更好地得到视频的时序关系. 实验在公开的KTH数据集     

结合小波与递归神经网络的低分辨率人脸识别

针对低分辨率人脸图像缺少有效信息而导致识别率较低的问题,提出一种结合哈尔小波与递归神经网络的低分辨率人脸识别方法。首先,通过深层网络直接预测小波系数,经过小波逆变换得到高分辨率人脸图像,可以有效地重建高频信息;其次,在卷积神经网络中加入递归模块,在增加网络深度的同时减少参数冗余,提升模型的映射能力;最后,提出一种优化的重建与感知损失融合方法,将小波系数重建损失与感知损失进行加权融合,用以生成有利于识别的人脸图像。基于公开数据集,对图像重建质量与识别性能进行了对比。实验结果表明,即使在极低的分辨率条件下(8×8,16×16),仍然能够重建出更加锐利的人脸图像。在此基础上,其识别能力优于目前领先的超分辨率重建算法。     

一种基于DSmT推理的物品融合识别算法

针对目前提升深度模型分类表现方法存在的硬件性能不足、结构创新不易、训练样本有限等问题,提出一种基于DSmT(Dezert-Smarandache)推理的物品融合识别算法。对于待识别目标,应用数据融合思想将来自不同深度学习模型提供的识别信息进行融合处理。利用已有的预训练深度学习模型,根据分类识别任务进行特定的微调;针对DSmT理论中构造信度赋值困难的问题,使用深度学习网络对图像的判别输出进行证据源信度赋值;在决策级层运用DSmT组合理论对信度赋值融合处理,进而实现物品的准确识别。在不改变网络模型结构与同一数据集的情况下,将提出的方法与单一网络模型和平均值处理方法进行对比测试试验。试验结果表明,该方法可以有效地提高物品图像的识别率。     

一种基于分块的虹膜识别方法（研究生论坛）

为了解决低质量虹膜图片识别效果不好的问题,提出了一种基于分块的虹膜识别算法。该方法并不像常规算法一样对整个图片进行识别,而是首先将虹膜区域均等地分割为无重叠的分块,然后对每一个分块提取低秩矩阵作为特征,接着使用稀疏分类器进行分类,最后依据稀疏浓度指数,将各分块识别结果进行贝叶斯融合,由于虹膜图片不同区域的质量不一样,该方法能够降低质量不好的虹膜区域对最终识别结果的影响。在标准虹膜数据库CASIA-Iris-Interval 和 IIT Delhi V1上的实验结果显示该算法拥有较高的正确识别率,且对于低质量的虹膜图片具有较强的鲁棒性,对分块和训练图片数量的研究表明,将虹膜区域分为8个分块较为合适,使用7张训练图片就能够很好的表示一类。     

基于运动学动态图的人体动作识别方法

为了识别RGB-D视频中的人体动作,针对视频中运动信息利用不充分的问题,提出了一种基于运动学动态图的人体动作识别方法。首先利用RGB视频序列和对应的深度图序列生成场景流特征图,基于场景流特征图计算运动学特征图序列,其中包含丰富的运动信息;使用分层排序池化将运动学特征图序列编码为运动学动态图,同时将RGB视频序列编码为外观动态图,最后将运动学动态图和外观动态图输入到双流卷积网络进行人体动作识别。结果表明:基于运动学动态图和双流卷积网络的人体动作识别方法融合了外观信息和运动信息,不仅充分表征了视频的动态,而且使用了视频中具有丰富运动信息的运动学特征;在公开的数据集上对本方法进行验证,在M2I数据集和SBU Kinect Interaction数据集的动作识别率分别为91.8%和95.2%。     

Multimodal spontaneous affect recognition using neural networks learned with hints

A multimodal fusion classifier is presented based on neural networks （NNs） learned with hints for automatic spontaneous affect recognition. In case that different channels can provide com- plementary information, features are utilized from four behavioral cues： frontal-view facial expres- sion, profile-view facial expression, shoulder movement, and vocalization （audio）. NNs are used in both single cue processing and multimodal fusion. Coarse categories and quadrants in the activation- evaluation dimensional space are utilized respectively as the heuristic information （hints） of NNs during training, aiming at recognition of basic emotions. With the aid of hints, the weights in NNs could learn optimal feature groupings and the subtlety and complexity of spontaneous affective states could be better modeled. The proposed method requires low computation effort and reaches high recognition accuracy, even if the training data is insufficient. Experiment results on the Semaine nat- uralistic dataset demonstrate that our method is effective and promising.     

Jamming Recognition Based on Feature Fusion and Convolutional Neural Network

The complicated electromagnetic environment of the BeiDou satellites introduces various types of external jamming to communication links, in which recognition of jamming signals with uncertainties is essential. In this work, the jamming recognition framework proposed consists of feature fusion and a convolutional neural network (CNN). Firstly, the recognition inputs are obtained by prepossessing procedure, in which the 1-D power spectrum and 2-D time-frequency image are accessed through the Welch algorithm and short-time Fourier transform (STFT), respectively. Then, the 1D-CNN and residual neural network (ResNet) are introduced to extract the deep features of the two prepossessing inputs, respectively. Finally, the two deep features are concatenated for the following three fully connected layers and output the jamming signal classification results through the softmax layer. Results show the proposed method could reduce the impacts of potential feature loss, therefore improving the generalization ability on dealing with uncertainties.     

3D model recognition and segmentation based on multi-feature fusion

Current methods focusing on 3D model recognition and segmentation have to some extent ignored the relationship between the high-level global single-point features and the low-level local geometric features of those models, resulting in poor recognition results. A multi-feature fusion approach which takes into consideration the aforementioned ignored relationship is proposed. First, a global single-point network is established to extract the global single-point features with high-level semantic recognition ability by increasing both the width of convolution kernel and the depth of the network. Second, an attentional fusion layer is constructed to learn the implicit relationship between global single-point features and local geometric features to fully explore the fine-grained geometric features that can better represent model categories. Finally, the global single-point features and fine-grained geometric features are further fused to achieve the complementation of advantages and enhance the feature richness. Experimental verification is carried out on the 3D model recognition datasets ModelNet40, ModelNet10 and segmentation datasets ShapeNet Parts, S3DIS, vKITTI, respectively, and comparison with current mainstream recognition algorithms shows that the proposed algorithm not only has higher recognition and segmentation accuracy, but also has stronger robustness.