结合特征增强和多尺度感受野的低照度目标检测

低照度图像普遍存在噪声、颜色失真和低对比度等图像退化问题,不仅影响视觉体验,而且严重影响低照度目标检测精度.为了更好地完成低照度目标检测任务,提出一种结合特征增强和多尺度感受野（feature enhancement and multi-scale receptive field, FEMR）的低照度目标检测算法.首先,像素级高阶映射（pixel-level high-order mapping, PHM）模块学习低照度到正常照度的高阶映射关系,进而提高低照度目标特征显著性,从而获得初步增强的特征信息.然后,关键信息增强（key information enhancement, KIE）模块结合多种注意力机制,突出重要特征并过滤噪声信息,获得进一步增强的特征信息.此外,长距离特征捕获（long distance feature capture, LFC）模块引入多种尺度的条状感受野,捕获低照度场景中孤立区域的长距离关系.实验表明,所提算法在低照度目标检测精度方面具有较好的表现,同时能直接输出正常照度风格图像下的检测结果,实现端到端的低照度目标检测,便于人眼直接评估检测结果的精度.     

一种基于MDARNet的低照度图像增强方法

由于低照度环境下所采集的图像存在亮度低、对比度差、出现噪声和色彩失衡等低质问题,严重影响其在图像处理应用中的性能.为了提升低照度图像质量,以获得具有完整结构和细节且自然清晰的图像,结合Retinex理论与卷积神经网络,提出了一种基于MDARNet的低照度图像增强方法,并引入Attention机制模块和密集卷积模块以提升性能.首先,MDARNet利用同时包含二维和一维的3个不同尺度卷积核对图像进行初步特征提取,并用像素注意模块对多尺度特征图进行针对性学习;其次,设计跳跃连接结构对图像进行特征提取,使图像特征被最大限度地利用;最后,用通道注意模块和像素注意模块同时对提取到的特征图进行权重学习和照度估计.实验结果表明：MDARNet能够有效提升低照度图像的亮度、对比度、色彩等;且相较于一些经典算法,该方法在视觉效果及客观评价指标（PSNR,SSIM,MS-SSIM,MSE）能够得到更好的效果.     

FAGNet:基于MAFPN和GVR的遥感图像多尺度目标检测算法

针对大场景遥感图像内容复杂,并且具有目标种类较多、尺度不一、方向多变等特点,导致遥感图像中目标多类多尺度多方向的问题,提出一种基于多尺度注意力特征金字塔网络(MAFPN)以及滑动顶点回归(GVR)机制的遥感图像目标检测方法.首先利用骨干网络提取多层特征作为MAFPN的输入,MAFPN结合特征融合和注意力机制,在融合多个尺度的特征映射的基础上使用通道域注意力和空间域注意力机制来抑制噪声,增强有效特征复用,提高网络对目标多尺度特征的自适应性;将MAFPN输出的融合特征图输入区域建议网络(RPN)生成感兴趣区域,然后将其送入分类/回归网络;在分类/回归网络中使用GVR机制在预测水平框的基础上增加4个顶点偏移比例参数和旋转因子,将水平框转换为旋转框,以减少边框中冗余区域,使预测得到的旋转边框更贴合目标.在DOTA公开数据集上与多种基于卷积神经网络的经典检测算法进行对比的实验结果表明,该方法的平均检测精度得到显著提高,能够更加准确地检测多个尺度以及多个方向的目标,实现了多尺度目标的鲁棒性检测.     

融合多尺度上下文信息的实例分割

目的 实例分割通过像素级实例掩膜对图像中不同目标进行分类和定位。然而不同目标在图像中往往存在尺度差异,目标多尺度变化容易错检和漏检,导致实例分割精度提高受限。现有方法主要通过特征金字塔网络(feature pyramid network,FPN)提取多尺度信息,但是FPN采用插值和元素相加进行邻层特征融合的方式未能充分挖掘不同尺度特征的语义信息。因此,本文在Mask R-CNN(mask region-based convolutional neural network)的基础上,提出注意力引导的特征金字塔网络,并充分融合多尺度上下文信息进行实例分割。方法 首先,设计邻层特征自适应融合模块优化FPN邻层特征融合,通过内容感知重组对特征上采样,并在融合相邻特征前引入通道注意力机制对通道加权增强语义一致性,缓解邻层不同尺度目标间的语义混叠;其次,利用多尺度通道注意力设计注意力特征融合模块和全局上下文模块,对感兴趣区域(region of interest,RoI)特征和多尺度上下文信息进行融合,增强分类回归和掩膜预测分支的多尺度特征表示,进而提高对不同尺度目标的掩膜预测质量。结果 在MS ...     

多尺度融合残差编解码器的低照度图像增强方法

在低光照环境下,由于光子数极少且噪声较大,线阵相机的感光源不能充分曝光,从而导致图像的质量下降.为此,提出一种多尺度融合的残差编解码器的低照度图像增强方法,直接学习原始传感器RAW明暗图像之间的端到端映射,在完全恢复原始图像细节和色彩的同时有效增强图像的亮度;为了增加特征多样性并加快网络训练速度,在网络结构中加入残差块;为了聚合上下文的全局多尺度特征,设计一个密集上下文特征聚合模块,以弥补网络深层缺失的空间信息.基于SID数据集,与其他10种方法进行对比实验,结果表明,所提方法在视觉效果、定量评价(PSNR和SSIM)方面都明显优于其他大部分方法,可以在恢复图像亮度的同时,有效地表示图像的边缘和色彩等,并在弱光增强下获得令人满意的视觉质量.     

基于改进Mosaic数据增强和特征融合的Logo检测

近年来,Logo检测在知识产权保护和产品品牌管理等领域得到了广泛应用。针对Logo检测中的复杂背景和多尺度问题,提出了一种改进Mosaic数据增强和特征融合的Logo检测算法。将六张原始图片随机翻转、缩放和拼接构成合成图像,与单张图像和由四张原始图片合成的图像一起作为YOLOv4模型的训练输入,并确定三种输入形式的最优比例,同时使用一种新的训练策略,改进的Mosaic数据增强方法丰富了Logo对象的尺度和背景,使模型更好地学习全局和局部特征;在路径整合网络(PANet)的基础上引入跨层连接、重复堆叠、直接连接和加权特征融合等操作,改进的PANet扩大了模型感受野,增强了模型的多尺度特征表达能力。实验结果表明,提出的MP-YOLOv4算法在减小21.7%模型大小的同时, IoU(Intersection of Union)等于0.5时的平均精度上达到了67.4%,较YOLOv4提高了2.4%,同时在多尺度目标上的检测性能得到了改善。     

面向遥感视觉问答的尺度引导融合推理网络

遥感视觉问答(remote sensing visual question answering,RSVQA)旨在从遥感图像中抽取科学知识.近年来,为了弥合遥感视觉信息与自然语言之间的语义鸿沟,涌现出许多方法.但目前方法仅考虑多模态信息的对齐和融合,既忽略了对遥感图像目标中的多尺度特征及其空间位置信息的深度挖掘,又缺乏对尺度特征的建模和推理的研究,导致答案预测不够全面和准确.针对以上问题,本文提出了一种多尺度引导的融合推理网络(multi-scale guided fusion inference network,MGFIN),旨在增强RSVQA系统的视觉空间推理能力.首先,本文设计了基于Swin Transformer的多尺度视觉表征模块,对嵌入空间位置信息的多尺度视觉特征进行编码;其次,在语言线索的引导下,本文使用多尺度关系推理模块以尺度空间为线索学习跨多个尺度的高阶群内对象关系,并进行空间层次推理;最后,设计基于推理的融合模块来弥合多模态语义鸿沟,在交叉注意力基础上,通过自监督范式、对比学习方法、图文匹配机制等训练目标来自适应地对齐融合多模态特征,并辅助预测最终答案.实验结果表明,本文提出的模型在两个公共RSVQA数据集上具有显著优势.     

基于Retinex的自适应非均匀低照度图像增强算法

非均匀低照度图像会影响目标识别跟踪的效果,为了增强非均匀低照度图像,提出一种基于Retinex理论的自适应亮度层图像增强算法。首先将图像HSI模型中I层图像分离出来;然后通过Retinex理论和多尺度引导滤波器获得I层的入射分量,根据输入图像的均值自动获取调整参数k,对入射分量的亮度进行自适应调整;最后通过主成分分析法(PCA)提取两个图像中的细节特征并进行融合。对比实验表明,该算法能有效提升非均匀低照度图像的整体亮度和细节信息,同时减少非均匀照度的影响。     

基于迭代多尺度引导滤波Retinex 的低照度图像增强

为提高低照度图像的视觉感知,提出了基于迭代多尺度引导滤波Retinex 的低照度 图像增强算法。首先,将图像转换到YCbCr 空间;然后对Y 分量用迭代多尺度引导滤波算法 估计照度图像,以指数形式迭代增加尺度参数与平滑参数,在保持边缘的同时消除各种对比度 细节;接着用照度图像求得反射图像,并进行对比度校正;最后将图像转换到RGB 空间,得 到最终增强后的图像。实验表明,该方法能更好地估计照度图像,从而使增强后的图像视觉效 果获得明显改善。     

结合深度学习与特征多尺度融合的微钙化簇检测

为了准确识别X线图像中的微钙化簇以进行乳腺癌的辅助诊断与早期预防,结合细粒度级联增强网络(FCE-Net)与多尺度特征融合算法(MFF),提出微钙化簇目标检测方法.首先构建FCE-Net累加卷积模块层级权重,并增强多分支结构,得到细粒度卷积特征图.然后构建MFF候选检测网络,通过二倍上采样融合多尺度特征,得到目标置信度和区域坐标.最后在感兴趣区域池化层分类目标并调整边界框.在MIAS数据集上实验表明,结合FCE-Net与MFF可以提升微小目标的深层特征提取能力,同时增强目标分类与定位的准确度.     

基于YOLOv8n的无人机航拍目标检测

针对无人机航拍检测任务中小目标检测精度低的问题, 提出一种基于YOLOv8n的目标检测算法(SFE-YOLO). 首先, 嵌入浅层特征增强模块, 将输入特征的浅层空间信息与颈部获取的深层语义信息融合, 以增强小目标特征表示能力, 并使用全局上下文块(GC-Block)对融合信息进行重校准, 抑制背景噪声. 其次, 引入可变形卷积来代替C2F中的部分标准卷积, 提高网络对几何变化的适应性. 再次, 引入ASPPF模块, 融合平均池化技术, 增强模型对多尺度特征的表达并降低漏检率. 最后, 在颈部网络的基础上嵌入中尺度特征合成层, 融合主干网络中更多的中间特征, 使不同尺度的特征过渡更平滑, 并通过跳跃连接增强特征重用性. 该模型在数据集VisDrone2019和VOC2012上进行验证, mAP@0.5值达到30.5%和67.3%, 相较于基线算法YOLOv8n提升了3.6%和0.8%, 能够提升无人机图像目标检测性能, 同时具有较好的泛化性.     

自适应融合多尺度特征的无锚框遥感图像目标检测算法

针对遥感图像内容丰富且复杂,具有目标种类多、密集分布和尺寸变化剧烈等特点,导致遥感图像中目标多尺度尤其是小目标难以检测的问题,提出一种基于自适应多尺度特征融合(AMFF)和注意力特征增强(AFE)的无锚框遥感图像目标检测算法.首先将主干网络提取的图像特征输入AMFF,自适应地融合多个尺度的特征,增加特征复用,提升网络的多尺度特征表达能力;然后将AMFF输出的特征输入到加入了AFE模块的检测头中,AFE通过结合多分支空洞卷积与注意力机制,在提高网络对目标尺度的泛化能力的同时增强有效特征信息;最后进行分类和回归,得到检测结果.在DIOR和NWPU VHR-10公开数据集上,与多种主流目标检测算法的实验结果表明,所提算法在2个数据集上的平均检测精度分别为72.4%和87.4%,较基线网络分别提升9.4和13.5个百分点,比次优结果分别提升6.3和1.7个百分点;平均检测精度高于主流目标检测算法,较基线网络的平均检测精度显著提高,能够更加准确地检测小尺度目标,同时有效地提升多尺度目标的检测精度.     

基于多速率空洞卷积的多尺度水下小目标检测

水下场景成像条件复杂、小目标的分辨率低且信息量少而难以提取有效的特征信息，导致水下小目标检测识别率低并且虚警率高。针对该问题，提出一种基于多速率空洞卷积的多尺度水下小目标检测方法。使用主干网络模型DarkNet53进行特征提取得到高层语义信息，采用多速率空洞卷积模块扩大网络的感受野，通过调整扩张率在更大像素范围内获取特征信息，并添加残差结构保证小目标定位的详细信息。为恢复小目标的分辨率，利用反卷积模块对图像细节进行重建，在不同分辨率的特征图上学习细节特征。在此基础上，通过特征金字塔结构将更丰富的多尺度上下文信息引入反卷积层，使多个层次的特征跨尺度学习以增强小目标的定位和分类，并对特征融合后的每一层输出进行特征整合和筛选，得到最终的预测结果。实验结果表明，该方法在Pascal VOC2007和URPC2018公共数据集上分别取得了82.6%和81.5%的mAP，在检测速度上分别达到34.4和34.2帧/s，能够在保证实时检测的基础上有效增强水下小目标的检测能力。     

基于照度图引导的低照度图像增强网络

在低照度环境下采集的图像,由于光照的不均匀性,存在能见度差、对比度低和颜色失真等问题.现有的大多数低照度图像增强方法存在过增强或欠增强的现象,影响视觉感知和后续目标检测任务.针对上述问题,提出一种基于照度图引导的低照度图像增强网络.首先根据低照度图像的灰度分布特点构造对应的照度图,度量低照度图像不同区域块的明暗程度;然后利用照度图作为网络增强的引导图,与低照度图像一起送入图像增强网络来获得增强后的图像.为了解决训练数据不足的问题,提出一种基于内循环和概率旋转的数据增强方法来扩充训练数据样本的数量和多样性;同时,针对目前图像增强方法中普遍存在照度不均匀的问题,基于直方图匹配的思想构建一种直方图损失函数,约束并指导网络的训练.在合成数据集LOL和真实图像上的实验结果表明,所提网络在低照度图像增强方面获得了更好的主观视觉效果;与经典的RetinexNet方法相比,所提方法在PSNR和SSIM客观定量指标上分别提高了7.905 dB和0.328;该网络对后续目标检测任务的检测率可提高10.17%～17.19%.     

全局信息引导的多尺度显著物体检测模型

目前方法不能有效提取图像的多尺度特征并完全利用全局信息,对此提出一种新的全局信息引导的多尺度显著物体检测模型.设计了多尺度特征提升模块,提升了各个侧输出特征的多尺度表征能力;利用空洞空间卷积池化金字塔模块提取图像的全局特征;将全局特征直接与各个侧边输出的多尺度特征相融合,利用全局特征引导侧边特征聚焦于目标区域中有用的中...     

基于堆叠边缘感知模块的显著性目标检测

现有显著性目标检测算法对边缘感知的效果不理想.因此,为了有效利用高层语义信息及低层纹理信息,文中提出基于堆叠边缘感知模块的显著性目标检测算法.采用多尺度骨干网络(Res2Net)作为主干网络提取图像的多尺度、多目标的显著性特征.堆叠边缘感知模块以非对称性方式融合图像高低层信息,增强显著性目标区域.网络输出显著性目标的检测结果.在5个公开数据集上的实验表明,文中算法检测结果较优,同时,在客观评估指标和主观视觉效果上也较优.     

融合视觉显著性再检测的孪生网络无人机目标跟踪算法

针对旋翼飞行器在跟踪过程中目标尺度变化、快速运动、视角变化等问题,本文提出了一种基于MobileNetV2的孪生网络目标跟踪算法,可在无人机机载处理器上实时运行。该算法主要包含目标得分估计模块与目标尺度估计模块两个部分。结合多特征融合的策略,可准确预测出目标位置与目标框IoU,同时以目标框IoU为指导,利用梯度上升法对目标框进行迭代修正,进一步提升预测精度。针对完全遮挡而导致的目标跟丢问题,本文设计了一个基于视觉显著性的目标再检测算法,该算法可实时高效地预测出图像的显著性区域,以指导对目标的再检测,进而恢复跟踪。最后,通过标准无人机跟踪数据集测试与实际无人机跟踪实验,验证了算法的可行性。     

基于深度学习的遥感图像目标检测与识别

为解决目前的遥感图像目标检测算法存在的对小尺度目标检测精度低和检测速度慢等问题,提出了一种基于深度学习的遥感图像目标检测与识别算法。首先,构建一个含有不同尺度大小的遥感图像的数据集用于模型的训练和测试;其次,基于原始的多尺度单发射击（SSD）网络模型,融入了设计的浅层特征融合模块、浅层特征增强模块和深层特征增强模块;最后,在训练策略上引入聚焦分类损失函数,以解决训练过程中正负样本失衡的问题。在高分辨率遥感图像数据集上进行实验,结果表明所提算法的检测平均精度均值（mAP）达到77.95%,相较于SSD网络模型提高了3.99个百分点,同时检测速度为33.8 frame/s。此外,在拓展实验中,改进算法对高分辨率遥感图像中模糊目标的检测效果也优于原多尺度单发射击网络模型。实验结果说明,所提改进算法能够有效地提高遥感图像目标检测的精度。     

多尺度上下文信息增强的显著目标检测全卷积网络

针对目前基于深度学习的显著目标检测算法存在的目标完整性和区域平滑度的不足,基于非局部深度特征提出一种多尺度上下文信息增强的全卷积网络算法,包含多级别特征提取、多尺度上下文特征增强、对比度特征提取和局部-全局信息融合预测4个模块.首先从VGG16模型提取多级别局部特征,利用多尺度上下文实现特征信息增强;然后设计组合的损失函数进行网络训练以学习对比度特征;最后用局部-全局融合的方式实现显著图的预测.与已有算法在ECSSD,HKU-IS和DUT-OMRON数据集上进行实验的结果表明,该算法在复杂场景图像上的鲁棒性更好,对背景噪声具有更有效的抑制作用,得到的显著目标区域更加连续和完整.     

结合YOLO的ORB双目图像匹配方法研究

针对双目视觉中ORB(Oriented Fast and Rotated Brief)图像匹配算法准确率不高以及会出现不同物体之间特征点错误匹配的问题,提出一种将YOLO(You Only Look Once)目标检测算法和ORB算法结合的双目图像匹配方法.该方法首先使用YOLO的卷积网络提取图像特征,并采用多尺度预测目标区域坐标和类别信息,以解决小目标与多目标识别不准的问题;接着,使用FAST(Features from Accelerated Segment Test)算子检测特征点和BRIEF(Binary Robust Independent Elementary Features)算子描述特征点,并利用ORB算法进行粗匹配;最后用去误匹配算法判断并去除不同类别和位置信息目标框中的匹配点.实验结果表明,该方法在单目标、双目标和多目标双目图像中的匹配准确率相较传统ORB匹配算法精度都有所提升.