一种基于ResPNet的光伏组件红外成像故障检测方法

目前利用无人机获取光伏组件红外影像数据越来越多地应用于光伏组件故障检测中。但光伏组件红外影像数据各类别样本相似度较高，现有深度学习模型的光伏组件红外影像特征提取能力较低，导致光伏组件多故障类型分类精度偏低。针对以上问题，基于ResNet(residual network)模型构建ResPNet(residual photovoltaic network)模型进行光伏组件红外影像故障检测。ResPNet模型在ResNet模型基础上，加入了底层特征信息增强模块、多尺度特征信息增强模块、全局特征信息增强模块，用于提升模型的光伏组件红外影像特征提取能力。在公开的光伏组件红外影像数据集Infrared Solar Modules上进行实验，ResPNet模型的12类光伏组件红外影像分类精度达到84.6%，不但优于ResNet-50模型，而且优于其他的光伏组件红外影像分类模型。通过级联多个ResPNet模型，取得了该数据集目前已知最高的12类光伏组件红外影像分类检测精度（85.9%）。     

联合实例深度的多尺度单目3D目标检测算法

针对单目3D目标检测算法中存在图像缺乏深度信息以及检测精度不佳的问题，提出一种联合实例深度的多尺度单目3D目标检测算法。首先，为了增强模型对不同尺度目标的处理能力，设计基于空洞卷积的多尺度感知模块，同时考虑到不同尺度特征图之间的不一致性，从空间和通道两个方向对包含多尺度信息的深度特征进行重新精炼。其次，为了使模型获得更好的3D感知，将实例深度信息作为辅助学习任务来增强3D目标的空间深度特征，并使用稀疏实例深度来监督该辅助任务。最后，在KITTI测试集以及评估集上对所提算法进行验证。实验结果表明，所提算法相较于基线算法在汽车类别的平均精度提升了5.27%，有效提升了单目3D目标检测算法的检测性能。     

基于ResNet50改进模型的图像分类研究

针对深度学习中残差网络ResNet50存在的信息丢失、特征提取不充分、网络过拟合和训练困难等问题，文中提出一种基于改进ResNet50的图像分类算法。针对残差网络ResNet50在提取特征时存在丢失输入特征映射情况，造成信息丢失的问题，对主干网络中Stage4的下采样块添加平均池化层，进一步提高网络特征提取能力；针对ResNet50训练过程中存在网络过拟合以及泛化能力差的问题，使用标签平滑方法对交叉熵损失函数进行修改，有效缓解网络损失值震荡幅度；针对ResNet50计算量大、训练困难的问题，使用混合精度和余弦退火衰减方法对模型进行训练，在加快网络收敛速度的同时提高模型的分类精度。实验结果表明，与原ResNet50网络相比，文中算法在ImageNet-1k数据集上Top1和Top5的精度分别提升3.2%和1.6%，能够更好地应用于图像分类任务。     

生物模板保护背景下的迁移学习

基于深度卷积神经网络（CNN）的方法是生物模板保护中较流行的技术。生物特征信息作为人的唯一属性，具有最高安全保护性。目前，大量研究工作正致力于通过更强大的模型架构和更好的学习技术来进一步改进匹配精度。然而，在探索现有深度人脸识别模型的特征提取能力的研究仍然相对较少。文中分析了经典的三种深度学习网络在不同人脸数据集的特征提取能力，具体来说，对比了VGG16、ResNet50、GoogleNet在同一种模板保护下的性能。仿真结果表明：在图像退化的人脸验证VGG16性能优于其他模型；在图像质量高的情况下，ResNet50最优；GoogleNet在面对复杂学习任务性能更强。匹配精度表明迁移学习优于绝大多数特征提取方法。     

RA-ProtoNet：基于元学习的小样本遥感场景分类方法

深度学习在解决遥感影像场景分类问题中发挥了重要作用，但在某些特定的遥感场景分类问题中，存在可训练带标签样本严重不足的情况（单类样本数少于10），造成现有的传统深度模型分类效果不理想。针对上述问题，提出一种小样本遥感场景分类方法，并构建一种基于元学习（meta-learning）训练策略的模型ResNet14-Attention-ProtoNet(RA-ProtoNet)。首先，采用预训练的深度残差网络ResNet14作为特征嵌入模块，提取遥感影像深度特征；其次，针对同类样本特征不明显会对类级（class-level）表达造成的干扰问题，在类级表达模块，采用基于双向长短期记忆网络（BiLSTM）的注意力机制强化类内样本信息，生成样本的类级特征表达；最后，利用欧氏距离度量待分类样本与类级特征之间的距离，实现分类预测。在UCMERCED、AID-30和NWPU-RESISC45等3个遥感影像数据集上，将所提方法与基于迁移学习和现有元学习方法的遥感场景分类方法进行对比实验，在5-way 5-shot条件下，所提方法的整体场景分类精度分别达到81.30%、83.29%和81.22%。实验结果表明...     

基于注意力机制的多方向文本检测

针对多方向排列的文本因其尺度变化大、复杂背景干扰而导致检测效果仍不甚理想的问题,本文提出了一种基于注意力机制的多方向文本检测方法。首先,考虑到自然场景下干扰信息多,构建文本特征提取网络(text feature information ResNet50,TF-ResNet),对图像中的文本特征信息进行提取;其次,在特征融合模型中加入文本注意模块(text attention module, TAM),抑制无关信息的同时突出显示文本信息,以增强文本特征之间的潜在联系;最后,采用渐进扩展模块,逐步融合扩展前部分得到的多个不同尺度的分割结果,以获得精确检测结果。本文方法在数据集CTW1500、ICDAR2015上进行实验验证和分析,其F值分别达到80.4%和83.0%,比次优方法分别提升了2.0%和2.4%,表明该方法在多方向文本检测上与其他方法相比具备一定的竞争力。     

基于渐进式特征增强网络的超分辨率重建算法

为了在图像重建质量和网络参数之间取得较好的平衡,本文提出一种基于渐进式特征增强网络的超分辨率（Super-Resolution,SR）重建算法。该方法主要包含两个模块:浅层信息增强模块和深层信息增强模块。在浅层信息增强模块中,首先利用单层卷积层提取低分辨率（Low-Resolution,LR）图像的浅层信息,再通过我们设计的多尺度注意力块来实现特征的提取和增强。深层信息增强模块先利用残差学习块学习图像的深度信息,然后将得到的深层信息通过设计的多尺度注意力块来获得增强后的深层多尺度信息。最后我们利用跳转连接的方式将首层得到的浅层信息和深层多尺度信息进行像素级相加得到融合特征图,再对其进行上采样操作,得到最终的高分辨率（High-Resolution, HR）图像。实验结果表明,相比于一些主流的深度学习超分辨率方法,本文方法重建得到的图像无论是主观效果还是客观指标,都取得了更好的效果。      

尺度变化的Retinex红外图像增强

经典Retinex模型增强算法采用固定尺度高斯核平滑滤波,导致单一尺度Retinex无法进行全局有效增强,而多尺度Retinex权重系数选取困难,二者均不能满足视觉要求。针对以上问题,基于人眼视觉掩盖效应提出一种尺度变化高斯核平滑滤波的Retinex算法。首先利用人眼视觉掩盖效应的屏蔽函数检测像素邻域空间细节,依据像素区域细节信息丰富程度设计出尺度变化的高斯平滑滤波器,实现照度估计,最后对尺度变化高斯平滑滤波器实现提出实用方法。实验证明本文算法有效提高红外图像对比度,增强细节信息,在主观视觉效果和客观评价指标上整体优于修正对比度限制直方图均衡算法、单尺度Retinex、多尺度Retinex及平稳小波和Retinex增强算法。     

红外与可见光图像多尺度Transformer融合方法

目前主流的深度融合方法仅利用卷积运算来提取图像局部特征,但图像与卷积核之间的交互过程与内容无关,且不能有效建立特征长距离依赖关系,不可避免地造成图像上下文内容信息的丢失,限制了红外与可见光图像的融合性能。为此,本文提出了一种红外与可见光图像多尺度Transformer融合方法。以Swin Transformer为组件,架构了Conv Swin Transformer Block模块,利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码-解码网络,实现了图像全局特征提取与全局特征重构;设计了特征序列融合层,利用SoftMax操作计算特征序列的注意力权重系数,突出了源图像各自的显著特征,实现了端到端的红外与可见光图像融合。在TNO、Roadscene数据集上的实验结果表明,该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制,利用Transformer建立图像的长距离依赖关系,构建了图像全局特征融合模型,比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。     

基于自适应多尺度与轮廓梯度的遥感图像分割网络

遥感图像分割算法易受环境因素干扰，如物体遮挡、光照不均匀等。现有的深度学习遥感图像语义分割方法通常采取端到端的编解码结构，但针对相似度较高物体的结构和轮廓，仍存在分割不准确的问题。为了提高算法鲁棒性、分类准确率，提出一种基于轮廓梯度学习的深度卷积神经网络遥感图像语义分割算法。为了提高预测特征图的质量，首先基于SegNet模型，提出自适应注意力的多通道多尺度特征融合网络（D-MMA Net），其中D-MA block采用基于注意力的自适应多尺度模块，根据学习到的权重自适应地对不同尺度特征进行提取，以获得更多有效的高级语义特征。为进一步细化提取物体的边界，基于Sobel边缘检测算子原理提出可学习的轮廓提取模块。最后将轮廓信息与多尺度语义特征相结合，以增强对图像空间分辨率的鲁棒性。实验结果表明，所提算法提高分割的准确率，对于不规则物体边界，能有良好的分割效果。     

多尺度注意力机制的电子元器件深度迁移识别方法

电子元器件的识别对于现代电子产品的智能生产和制造具有重要的作用,为了进一步获取电子元器件图像的关键特征,提升图像细粒度表达能力,提出一种基于多尺度注意力机制深度迁移识别方法。以Xception为主干网络架构,引入多尺度池化通道注意力和多尺度空间注意力模块,结合空间金字塔池化的思想,对特征图的每个通道进行不同尺度的最大池化和均值池化,获取通道方向上不同尺度的特征信息;在空间层面上进行不同尺度的空洞卷积,增大特征图的感受野,获取更加全面的空间特征信息;通过深度迁移学习,实现特征参数共享,进一步提高模型的泛化能力。在5种常见的电子元器件数据集上进行实验,结果表明,所提方法能有效获取图像不同尺度的显著特征信息,提升识别效果。     

基于Gabor调制的深度多层子空间人脸识别算法

人脸识别的关键在于特征提取,过去主要从完美的低维特征子空间来刻画高维图像,但是近年来深度学习模型为特征提取提供新方向。本文提出在Gabor特征描述子调制下的深度子空间模型,在深度子空间这一新型深度学习框架基础上,使用Gabor滤波器组处理图像,并构建深度特征提取多层网络,得到Gabor调制下的深层抽象特征。首先将传统的8个方向5个尺度的40个Gabor滤波器在尺度上进行压缩得到8个基本Gabor滤波器组;然后将经过Gabor滤波的描述特征分别送入深度化改造的子空间模型,得到图像的深层特征表示;其次将这些特征进行哈希编码,直方图分块,作为描述特征。本文在FERET、ORL、CMU_PIE等数据库上讨论加入Gabor滤波器调制后的深度多层子空间特征提取模型在人脸识别问题上性能的提升,实验结果表明,该算法可以取得较好的识别率,并对光照、表情、姿态等有很好的鲁棒性,能够弥补浅层网络易受训练图像影响的缺点。      

改进YOLOv5s算法的地铁场景行人目标检测

地铁场景行人目标存在大小不一、不同程度遮挡以及环境过暗导致目标模糊等问题，很大程度影响了行人目标检测的准确性。针对上述问题，本研究提出了一种改进YOLOv5s目标检测算法以增强地铁场景行人目标检测的效果。构建地铁场景行人数据集，标注对应标签，进行数据预处理操作。本研究在特征提取模块中加入深度残差收缩网络，将残差网络、注意力机制和软阈值化函数相结合以增强有用特征信道，削弱冗余特征信道；利用改进空洞空间金字塔池化模块，在不丢失图像信息的前提下获得多尺度、多感受野的融合特征，有效捕获图像全局上下文信息；设计了一种改进非极大值抑制算法，对目标预测框进行后处理，保留检测目标最优预测框。实验结果表明：提出的改进YOLOv5s算法能有效提高地铁场景行人目标检测的精度，尤其对小行人目标和密集行人目标的检测，效果提升更为显著。     

基于深度学习的分形图像压缩编码模型设计

针对传统编码模型存在的图像分割处理效果不佳、分割精度不高、耗时较长以及编码质量较差的问题，提出基于深度学习的分形图像压缩编码模型。建立图像分割约束条件，对图像进行分割处理，以处理后的图像作为深度学习中ResNet网络模型的输入，提取原始分形图像的特征并将图像块分类；建立特征图像块匹配规则，排序图像块，记录分形码，将分形码作为图像在度量空间内的表现形式，通过度量空间的压缩变换实现分形图像压缩编码。实验结果表明：所提模型的图像压缩编码质量较高，具有一定的应用价值。     

基于机器视觉和深度学习的建筑垃圾智能识别研究

针对当前建筑垃圾分选中存在的分选效率不高、自动化程度较低等问题,提出了一种基于机器视觉和深度学习的建筑垃圾智能分选系统并对检测识别过程进行了详细研究。该系统采用背景建模法对建筑垃圾进行检测定位,可以有效避免运输皮带抖动、磨损和光照变化等情况,提高检测精度和定位速度。此外该系统基于ResNet卷积神经网络模型对建筑垃圾进行分类识别,并通过迁移学习方法对建筑垃圾分类模型的训练效率进行了优化,将模型的分类准确率提高到了99.47%,有助于更好地实现建筑垃圾的智能化分选。     

基于CBAM-EfficientNet的垃圾图像分类算法研究

针对垃圾分类数据集,本文采用基于Imagenet数据集的迁移参数初始化Efficient-net模型,与经典的VGG和Res-Net50模型对比,得到了较高的泛化性能和准确率.为了降低源领域数据集的特征参数对于目标领域数据集特征参数产生负迁移的影响,本文加入了 CBAM注意力机制增强重要特征并忽视无效特征,同时使用批归一化和随机失活模块加速网络的训练并减轻过拟合程度,从而得到高性能、高效率的CBAM-EfficientNet垃圾分类模型.实验结果表明,基于Efficient-net模型的垃圾分类的准确率高于经典的VGG和ResNet50模型5％以上,而本文所提出的CBAM-EfficientNet进一步提高了 2.5％.     

基于深度学习网络的三维激光雷达弱小目标分割研究

为了提升三维激光雷达弱小目标分割的抗干扰性与实时性，有效提取三维激光雷达图像有用信息，设计了基于深度学习网络的三维激光雷达弱小目标分割方法。采集目标三维激光雷达图像，应用小波方法去除三维激光雷达图像噪声；从去噪后的图像中提取三维激光雷达图像多尺度特征，并将特征输入到深度学习网络中训练，建立三维激光雷达弱小目标分割模型，实现弱小目标分割。测试结果表明：该方法能够高精度分割三维激光雷达目标，且分割速度较快，具有较高的实际应用价值。     

多尺度特征与双注意力机制的高光谱影像分类

针对经典卷积神经网络(convolutional neural network,CNN) 的高光谱影像分类方法存在关键细节特征表现不足、训练需要大量样本等问题,提出一种基于多尺度特征与双注意力机制的高光谱影像分类方法。首先,利用三维卷积提取影像的空谱特征,并采用转置卷积获得特征的细节信息;然后,通过不同尺寸的卷积核运算提取多尺度特征并实现不同感受野下多尺度特征的融合;最后,设计双注意力机制抑制混淆的区域特征,同时突出区分性特征。在两幅高光谱影像上进行的实验结果表明:分别在每类地物中 随机选取10%和0.5%的样本作为训练样本,提出模型的总体分类精度分别提高到99.44%和98.86%;对比一些主流深度学习分类模型,提出模型能够关注于对分类任务贡献最大的关键特征,可以获取更高的分类精度。     

基于双通道注意力机制的ResNet果实外观品质分类北大核心CSCD

为了实现对采摘后的果实进行快速、精确的外观品质分类,并配合分拣生产线完成果实大规模集中分拣,该研究提出了一种基于改进ResNet的果实分类方法。首先,将深度残差神经网络(deep residual neural network,ResNet)网络中的残差模块与双通道SE模块(dual channel squeeze-and-excitation block,DC-SE Block)结合,增强有效的通道特征并抑制低效或无效的通道特征,提高特征图的表达能力,从而提升识别精度;其次,在原始ResNet模型中加入Inception模块,将果实不同尺度的特征进行融合,增强对较小缺陷的识别能力;最后,对收集到的4类不同外观品质的果实图像进行数据增强并利用迁移学习的方法对模型进行初始化。以苹果为例进行的试验结果表明:经过数据集训练之后的改进模型,在测试集下的准确率达到99.7%,高于原模型的98.5%;精确率达到99.7%,高于原模型的98.3%;召回率达到99.7%,高于原模型的98.7%;在图形处理器(graphic processing unit,GPU)下的平均检测速度达到32.3帧/s,略低于原模型的35.7帧/s。与GoogleNet、MobileNet等几种目前先进的分类方法进行比较并对不同改进模型进行对比试验的结果表明,该方法具有良好的分类性能,对解决果实外观品质的精准分级问题具有重要参考价值。     

基于深度学习的酒标分割研究

红酒图像中的酒标区域含有重要的红酒品类信息,而对酒标区域的定位与分割可以有效去除背景区域对图像匹配算法的干扰。传统图像分割算法大多基于局部图像特征和人工设计规则,对噪声较为敏感,并且难以应对大规模数据的处理。针对传统算法的不足,本文首先构造了一个大规模酒标分割数据集,然后提出了一种基于深度学习的酒标分割方法。我们构造了一个基于残差网络的语义分割模型,并且在模型中加入跨层连接,实现低层特征和高层特征的有效融合,使得分割的边缘细节更加清晰和准确。另外,我们采用了带孔卷积金字塔池化结构整合多尺度信息,在增大模型感受野的同时使得模型适应不同尺度的酒标区域。在我们构造的酒标数据集上的实验结果表明,本文提出的酒标分割网络能够进行实时的酒标图像分割,并且达到了相当高的分割准确率。