多尺度密集连接注意力的红外与可见光图像融合

针对现有红外与可见光图像融合时,融合结果存在细节信息丢失、特征提取不足等问题,提出了一种多尺度密集连接注意力的红外与可见光图像融合深度学习网络模型。首先,设计多尺度卷积提取红外与可见光图像中不同尺度信息,增大感受野特征提取范围,克服了单一尺度特征提取不足的问题。然后,通过密集连接网络增强特征提取,并在编码子网络末端采用提出的可变形卷积注意力机制,密切联系全局上下文信息,增强对红外与可见光图像中重要特征信息的聚焦能力。最后,由全卷积层构成解码网络,重构生成融合图像。本文选取了六种图像融合客观评价指标,红外与可见光图像公开数据集融合实验结果表明：与其他8种方法相比,本文算法对比实验指标均有所提高,其中结构相似性（SSIM）、空间频率（SF）指标分别平均提高了0.26倍、0.45倍。所提方法的融合结果保留了更清晰的边缘及目标信息,具有更好的对比度和清晰度,在客观评价方面均优于对比方法。     

基于跨层次聚合网络的实时城市街景语义分割

随着自动驾驶技术的迅速发展,精确高效的场景理解显得尤为重要。城市街景语义分割旨在准确识别并分割出行人、障碍物、道路和标志物等要素,为自动驾驶技术提供必要的道路信息。然而,当前的语义分割算法在城市街景分割中仍然面临一些挑战,主要表现为不同类别的像素区分不够清晰、对于复杂场景结构的理解不够精准以及对小尺度对象或大尺度结构的分割不准确等问题。为此,本文提出一种基于跨层次聚合网络的实时城市街景语义分割算法。首先,在编码器末端设计了结合跨层次聚合的金字塔池化模块,用于高效提取多尺度上下文信息;其次,在编码器和解码器之间设计了跨层次聚合模块,通过引入通道注意力机制增强信息的表征能力,逐级聚合编码器阶段的特征以充分实现特征复用;最后,在解码器阶段设计了多尺度融合模块,在通道维度聚合全局信息与局部信息,促进深层特征与浅层特征的融合。将所提算法在两个通用的城市街景数据集上进行了验证。在一张RTX3090显卡上（TensorRT测速环境）,本文算法在Cityscapes测试集以294 FPS的实时性达到73.0%mIoU的准确性,在更高分辨率的图像上以164 FPS的实时性达到75.8%mIoU的准确性;...     

基于改进Res-UNet的视网膜图像血管分割

精准的视网膜血管分割可以辅助诊疗如糖尿病、高血压等疾病。眼睛血管结构和病理特征的复杂性导致血管分割的精度和速度都存在很多局限。为了克服这一问题，提出了一种改进的U-net分割方法，该方法将U-net网络解码器和编码器中的卷积模块改为残差模块，使用非局部注意模块连接编码器和解码器。网络模型在不增加参数量的情况下，通过添加残差模块和注意力机制提高了像素之间的信息相关性以及模型提取特征的能力。最后，采用DRIVE数据集对所提模型与原U-net网络进行对比评价，新模型在测试集上的特征检测准确率、特异性、灵敏度和Dice系数分别达到了0.9679、0.9896、0.8245和0.8281。实验结果证明，所提网络模型可对视网膜进行精确地血管分割。     

基于改进UNet网络的金丝球焊直径测量研究

提出了一种基于改进UNet网络的金丝球焊焊点精确分割与测量的新方法。改进UNet网络由编码器和解码器两部分构成,其中编码器主要用来提取图像特征,使用在ImageNet数据集上预训练分类网络的卷积模块权重初始化编码器部分,可以在不增加训练数据的情况下,加速网络训练且避免过拟合;解码器主要是结合深层特征和浅层特征以实现精确分割,使用改进的多尺度卷积模块替换原网络中的单尺度卷积模块,使解码器能综合利用不同感受野的特征,进一步提升网络的分割精度。实验结果表明,改进UNet网络与原始UNet网络相比,其测试集分割交并比和F分数分别提升了2.04%和1.58%,且直径测量平均误差从7.734μm降低到1.435μm,满足实际检测需求。     

基于注意力机制胶囊神经网络的轴承故障诊断

为了解决在滚动轴承故障诊断中故障样本数量少、信噪比低导致的诊断精度低问题,提出一种基于注意力机制胶囊神经网络的轴承故障诊断方法。这一方法采用经验模态分解方法对信号进行分解,得到多个本征模函数。对分解的信号进行通道融合,结合卷积注意力模块,获取敏感特征参数。通过两层卷积层进行特征提取,传入胶囊层,进行诊断分析。为了检验这一轴承故障诊断方法的可行性和准确率,采用凯斯西储大学公开的轴承数据集进行对比试验。结果表明,基于注意力机制胶囊神经网络的轴承故障诊断方法在数据样本数量少、信噪比低的情况下,相比传统方法具有更高的准确率。     

多维注意力机制与选择性特征融合的图像超分辨率重建

针对图像超分辨率重建过程中提取低分辨率特征效果较差，大量高频信息丢失导致的边缘模糊和伪影问题，提出了融合多维注意力机制与选择性特征融合作为图像特征提取模块的图像超分辨率重建方法。网络由若干个基本块和残差操作构建模型的特征提取结构，其核心是一种提取图像特征的异构组卷积块，该模块的对称组卷积块以并行的方式进行卷积提取不同通道间的内部信息特征并进行选择性特征融合，互补卷积块通过全维度动态卷积从空域、输入输出维度和核维度捕捉遗漏的上下文信息，对称组卷积块和互补卷积块连接后的特征采用特征增强残差块去除冗余造成干扰的无用信息。模型通过5种消融实验证明其设计的合理性，在Set5,Set14,BSDS100和Urban100测试集上与其他主流的超分辨率重建方法进行对比，峰值信噪比（PSNR）和结构相似性（SSIM）定量数据均有提升，尤其在放大因子为3的Set5数据集上比次优算法CARN-M均提升0.06 dB，结果表明提出模型具有更优的性能指标和更好的视觉效果。     

基于多尺度特征的YOLOv5铸件自动检测算法研究

针对铸件检测存在精度不够高和易漏检、误检等问题,提出一种基于多尺度特征的YOLOv5铸件自动检测算法。该算法使用双目相机采集铸件图像,并构建铸件图像数据集;为提取更全面的铸件特征,采用多尺度特征融合模块,增加一个检测层检测不同尺度的铸件;为获取更多细节特征,在特征金字塔网络中嵌入卷积注意力机制（CBAM）,以提高铸件图像关键特征的提取能力;同时用Hardswish替换卷积层中的SiLU激活函数来减少模型参数量。实验结果表明,该算法检测m AP值达到了96.5%,较原YOLOv5算法提升了2.6%,能实现铸件自动检测对检测精度及实时性的要求。     

基于RA-Unet的CT图像肝脏肿瘤分割

CT图像肝脏肿瘤分割是进行肝癌前期诊断、肿瘤负荷分析和放射治疗的重要前提。为实现肿瘤的精确自动分割,提出一种融合残差模块和注意力机制的深度U形网络。该网络首先在跳跃连接层中引入一条带有反卷积与激活操作的残差路径和卷积模块,实现图像特征的分离传递以及高级表征,确保跳跃连接层主要传递图像边缘信息和小目标全局信息,其次在解码路径中引入注意力机制,通过将跳跃连接层与反卷积解码获得的特征信息赋予不同权重,进一步增强肿瘤特征,抑制其他无关信息。提出方法在LiTS数据集上获得的全局Dice值高达86.71%,明显高于其他多种现有方法,且相较于其他方法,该方法对于小尺寸、对比度低、边界模糊的肿瘤具有明显的分割优势。     

多尺度超图卷积骨架动作识别网络

动作识别是计算机视觉基础任务之一,骨架序列包含了大部分的动作信息,因此基于骨架的动作识别算法受到很多学者关注。人体骨架在数学上是一个天然的图,所以图卷积被广泛应用于动作识别。但普通的图卷积只聚合两两节点间的低阶信息,不能建模多节点间的高阶复杂关系。针对此问题,本文提出一种多尺度超图卷积网络,在空间和时间两个维度聚合更丰富的信息,提高动作识别准确度。多尺度超图卷积网络采用编解码结构,编码器使用超图卷积模块聚合超边中多个节点间的相关信息,解码器使用超图融合模块恢复原始骨架结构,另外基于空洞卷积设计了多尺度时间图卷积模块以更好地聚合时间维度运动信息。NTURGB+D和Kinetics数据集上的实验结果验证了算法的有效性。     

采用显著性分析与改进边缘方向直方图特征的红外与可见光图像配准

为了实现红外图像与可见光图像的信息融合,弥补单一模态图像的不足,提出了一种基于显著性分析与改进的边缘方向直方图EOH(Edge Orientation Histogram)特征的红外与可见光图像配准算法。该算法首先利用显著性分析技术找到可见光图像中的重要信息,得到显著性图;将其与可见光图像融合,实现可见光图像中重要信息的划分。然后,利用自适应FAST(Features from Accelerated Segment Test)算法,探测可见光与红外图像上的特征点;利用改进的EOH,描述特征点。最后,根据描述计算特征点的相似性,在可见光与红外图像上找出对应的特征点,实现红外与可见光图像的匹配。在3种不同情况下对红外与可见光图像数据进行了配准实验。结果表明:在红外图像与可见光图像采集条件相似情况下,特征点正确匹配率为96.55%,而在图像采集条件差异较大的情况下,特征点正确匹配率可达74.21%。该算法可实现红外与可见光图像的精确快速匹配,即使红外图像与可见光图像采集的角度与位置均存在较大差异的情况下,仍可以满足红外与可见光图像匹配对精度和稳定性的要求。     

铸件缺陷语义分割的编码器-解码器网络

深度学习的快速发展扩展了基于视觉的缺陷检测应用。针对铸件缺陷类间差异小、类内差异大、缺陷规模小等难点，提出一种编码器-解码器架构的语义分割网络，使用在ImageNet上预训练的ResNeSt主干网络作为特征提取器，构建密集连接的多尺度特征融合模块提升有效特征利用率，增强网络特征表示能力，解码器端融合低层级特征改善缺陷边缘分割效果，再通过双线性插值进行上采样以恢复空间分辨率。网络在构建的X射线铸件缺陷分割数据集上进行训练和评估，采用混合损失函数解决数据集样本不均衡问题，提升模型性能。实验结果表明，提出的语义分割方法能够提升铸件缺陷分割精度，效果优于其他语义分割方法。     

基于Rao-Blackwellizedli粒子滤波的多特征融合多光谱目标自适应跟踪

针对复杂背景下视频目标跟踪的实时性和可靠性问题,提出了基于Rao-Blackwellized粒子滤波的颜色矩形特征和方向边缘信息融合的自适应跟踪算法。该算法采用Rao-Blackwellized粒子滤波提高滤波算法性能,采用积分图像快速计算颜色特征和方向边缘信息,根据跟踪实际情形,利用模糊逻辑自适应调节各特征权值,提高算法的跟踪速度和精度。视频跟踪仿真试验表明该算法是稳健的,能够在复杂的背景下对可见光及红外等运动目标进行有效、可靠的跟踪。     

一种用于动作识别的双分支网络

动作识别是计算机视觉领域的一项重要任务,主要有基于RGB视频和人体骨架两种数据模态的领域,主流方法分别是3D卷积神经网络和图卷积神经网络。针对视频和人体骨架两种数据模态的不同特点,设计了双分支网络分别对两种数据模态进行建模。对于人体骨架数据,基于自注意力机制设计了图卷积神经网络,该算法能在基于骨架的动作识别任务中达到先进的性能。对于视频数据,采用3D卷积网络进行特征提取。同时,利用深监督方法对两种数据模态的中间特征进行监督,提高两种数据特征的耦合度,进一步提高网络效率。这种算法的网络结构简单,在NTU-RGBD60(CS)数据集上仅用3.37×10⁷的参数量可达到95.6%的精度。     

注意力感知的多尺度语义视杯盘分割

为了解决编码器-解码器网络结构在目标提取中抑制无关语义、跨越语义鸿沟等问题，以获取更高精度，采用UNet作为提取特征的主干网络；为了减轻浅层特征与深层特征语义的差异，设计一种融合注意力感知的多尺度语义池化模块（Channel-Spatial-Pyramid, CSP），替代早期层中的跳跃链接。CSP模块从空间与通道两个层面强调更有意义的语义信息，通过4个不同池化核的并行分支提取不同尺度特征，聚合所有分支结果与后期层特征拼接。实验结果表明，CSP-Net在彩色眼底图像视盘分割中的Dice指数可达99.6%，视杯分割结果的Dice指数为92.1%，相比现有算法均有提高。所提出的CSP-Net对于眼底图像中的微小目标提取的有效性及抗干扰性较高，可为青光眼筛查与诊断临床提借鉴。     

边缘对抗结合层次门控卷积的人脸修复研究（英文）

针对目前人脸缺损图像修复存在边缘模糊和失真等问题,提出了一种两阶段层次门控卷积网络（Hierarchical gated convolutional network, HGCN）,并将其与边缘对抗网络相结合用于人脸图像修复。首先,采用边缘对抗网络生成边缘图像。其次,将边缘图、掩模和缺损图像作为输入,训练HGCN的GAN模型以修复缺损人脸图像。HGCN网络采用门控卷积取代传统卷积,并引入了扩张卷积,网络的主体由粗修复模块和精修复模块组成。在粗修复模块中,编码器和解码器网络结构用于粗修复;在精细修复模块中,引入注意力机制来增强特征提取能力,进一步细化修复结果。实验使用Celeba-HQ数据集和NVIDIA不规则掩码数据集作为训练数据集,采用门控卷积网络和注意力机制网络作为实验对比模型,PSNR、 SSIM和MAE作为实验评估指标。实验结果表明,对于缺损区域小于20%的人脸图像,所提出的网络在上述三个指标上优于两种比较网络,而对于缺失区域大于20%的图像,所提出的网络与两种比较方法性能指标接近。在视觉效果方面,所提出的方法在细节上也优于两种对比网络。因而,所提出的网络可以明显提高图像修复效果...     

面向无人艇环境感知的改进型 SSD 目标检测方法

为了提升无人艇对典型水面小目标感知能力,本文提出了基于多尺度卷积融合结构和空间注意力加强的改进型SSD目标检测算法。首先,对SSD浅层网络进行多尺度卷积融合,提升浅层网络的语义信息;其次,设计空间注意力结构对卷积特征层逐个增强,提升对弱纹理小目标特征保持性;最后,在VOC公开数据集和自构水面目标数据集上进行了测试,并基于无人艇开展了真实海域目标检测识别验证。实验结果表明,该算法在无人艇Nvidia平台的运行效率可达15 fps,能准确检测识别浮标、桥墩、渔船、快艇和货船等目标,在典型海面场景虚警率为5%时的小目标检测率相对原生SSD算法提升近20.2%,平均有效检测率达到79.3%。     

基于联合注意力孪生网络目标跟踪算法

为改进在发生形变、尺度变化及相似目标等多种干扰因素时视频中运动目标的跟踪精度,提出了一种联合注意力的孪生网络模型。首先,采用一种轻量级网络MobileNetV3作为主干网络对目标进行特征提取;然后,为提高模型对于目标关键特征的关注度,提出了通道联合空间注意力与孪生网络结合的模型结构;最后,对基于注意力模块与非注意力模块的特征向量互相关结果进行加权融合获得响应图,并利用该响应图获得目标跟踪结果。实验结果表明,所提算法在OTB50与OTB100数据集上能够获得较好的跟踪效果,两个数据集平均精确率和成功率达到78.5%和58.3%。此外,当存在形变、尺度变化及相似目标等不合作因素时,所提算法仍能取得较好的跟踪效果,从而表明该算法具有良好的鲁棒性。     

基于U型卷积网络的视网膜血管分割方法

视网膜血管的结构信息对眼科疾病的诊断具有重要的指导意义,对视网膜血管图像进行高效正确的分割成为临床的迫切需求。为此,提出了一种U型卷积网络,实现了更高效的自动化视网膜血管分割。骨干网络基于经典的编解码架构,编码器采用预训练的残差模块充分提取每一层的特征,解码器通过转置卷积逐层进行上采样,增加了特征的复用性。网络在中间层...     

融合多层级特征的遥感图像地面弱小目标检测

为解决遥感图像地面弱小目标检测中弱小目标信息量少、信息真假混杂的难题,本文提出一种融合多层级特征的遥感图像地面弱小目标检测算法CC-YOLO。该算法首先利用深度卷积神经网络逐级对目标图像进行特征提取,得到高低层特征空间金字塔图;然后,对空间金字塔图进行跨层级通道特征融合,结合新增的位置注意力机制CA,分别沿两个空间方向聚合特征,保留弱小目标精确的位置信息;最后,在聚合后生成的双支路特征图上进行端到端的目标检测,联合多通道检测信息输出检测结果。为解决算法实验中图像数据匮乏的问题,构建了遥感图像地面弱小目标数据集GDSTD。实验结果表明,算法AP_0.5∶0.95达到42.3%,AP_0.5达到94.6%,检测速率FPS达到58.8帧/s,具有一定的鲁棒性和实时性。     

多层卷积特征融合的双波段决策级船舶识别

针对可见光和红外双波段船舶识别标注样本少、特征级融合精度低的问题,提出了一种基于多层卷积特征和后验概率加权的决策级融合识别方法。首先,利用预训练卷积神经网络模型,分别提取双波段船舶图像的卷积特征。然后,利用主成分分析方法进行卷积特征降维,设置特征重构阈值自动选择低维空间维度,以适应双波段和各卷积层的特征差异。随后,通过L2范数归一化和级联方法,融合每个波段的中级和高级多层卷积特征。最后,通过加权融合两个波段的支持向量机分类后验概率,构建决策级融合识别模型。实验结果表明:决策级融合识别精度比特征级融合识别精度提升1.5%～2.5%,而且最好值89.7%高出现有最优识别精度1.5%。具有执行简单、处理速度快、识别精度高的优势。