面向目标检测的尺度增强特征金字塔网络

基于特征金字塔网络的目标检测算法没有充分考虑不同目标间的尺度差异以及跨层特征融合过程中高频信息损失问题,使网络无法充分融合全局多尺度信息,导致检测效果不佳.针对这些问题,提出了尺度增强特征金字塔网络.该方法对特征金字塔网络的侧向连接和跨层特征融合方式进行了改进,设计具有动态感受野的多尺度卷积组作为侧向连接来充分提取每一个目标的特征信息,引入基于注意力机制的高频信息增强模块来促进高层特征与底层特征融合.基于MS COCO数据集的实验结果表明,该方法能有效提高各尺度目标的检测精度,整体性能优于现有方法.     

动态异构特征融合的水下图像增强算法

针对水下图像细节模糊和色彩失真严重的问题,提出一种基于编码解码结构的动态异构特征融合水下图像增强网络.首先,设计异构特征融合模块,将不同级别与不同层次的特征进行融合,提升网络对细节信息和语义信息的整体感知能力;然后,设计新型特征注意力机制,改进传统通道注意力机制,并将改进后的通道注意力与像素注意力机制加入异构特征融合过程,加强网络提取不同浑浊度像素特征的能力;接着,设计动态特征增强模块,自适应扩展感受野以提升网络对图像畸变景物的适应力和模型转换能力,加强网络对感兴趣区域的学习;最后,设计色彩损失函数,并联合最小化绝对误差损失与结构相似性损失,在保持图像纹理的基础上纠正色偏.实验结果表明,所提出算法可有效提升网络的特征提取能力,降低水下图像的雾度效应,提升图像的清晰度和色彩饱和度.     

基于组件特征与多注意力融合的车辆重识别方法

为提升车辆重识别算法的性能,提出一种基于车辆组件特征与多注意力融合的特征学习方法.首先,修改深度残差网络以获取具有丰富语义信息的特征图,同时应用语义分割网络将车辆图像划分为车辆正面、背面、顶面、侧面及背景区域,以实现组件特征提取并消除视角变化的影响.然后,设计多注意力融合模块,基于面积注意力与特征注意力实现组件特征的自适应融合.最后,在多任务学习框架下,优化车辆重识别的三元组损失与辅助分类任务的交叉熵与焦点损失,对网络参数进行训练.在多个数据集上的实验结果表明,提出的方法在大多数性能指标上均超越了现有方法.进一步的消融实验证明了多注意力融合模块与多任务损失函数在特征提取上的有效性.     

基于多尺度和注意力机制的红外与可见光图像融合

现有的红外与可见光图像融合算法通常从单一尺度提取图像特征,导致融合图像无法全面保留原始特征信息.针对上述问题,提出一种基于多尺度和注意力机制的自编码网络结构实现红外与可见光图像融合.首先,采用密集连接和多尺度注意力模块构建编码器网络,并引入自注意力机制增强像素间的依赖关系,充分提取红外图像的显著目标和可见光图像的细节纹理;然后,特征融合阶段采用基于通道与空间的联合注意融合网络,进一步融合图像典型特征;接着,设计基于像素、结构相似性和色彩的混合损失函数指导网络训练,进一步约束融合图像与源图像的相似性;最后,通过对比实验的主观和客观评价结果,验证所提出算法相比于其他代表性融合算法具有更优异的图像融合能力.     

基于视觉注意力机制的人群密度估计方法

针对人群图像中尺度变化大及现有密度估计网络泛化性能差的问题,提出一种基于视觉注意力机制的人群密度估计方法。该网络模型基于VGG-16网络,由空间注意力模块(Spatial Attention Module, SAM)、全局注意力模块(Global Attention Module, GAM)及融合模块(Fusion Module, FM)等几个模块组成,通过在网络不同层级中引入注意力机制来选择性地增强网络的功能,提高多尺度级联的有效性。设计一个弱监督学习来扩展提出的密度估计网络,使人群密度估计模型可以适应不同的场景和数据集。实验结果表明,该方法对不同尺度、不同场景下的人群密度图像都有很好的适用性和准确性,算法性能也优于现有的人群密度估计算法。     

稀疏标记下双结构约束脑血管分割网络

针对基于深度学习的脑血管分割方法难以在稀疏标记下分割出具有良好连通性的脑血管的问题,提出一种包括编解码和结构注意力模块的双结构约束脑血管分割网络.首先利用提取出的矢状特征与冠状特征构建剖面注意力;然后通过与通道注意力组合建立结构注意力机制,从网络层面建立脑血管结构约束;最后引入均衡系数改进中心线Dice损失函数并与Dice损失函数叠加,保留血管结构的连通性,从拓扑结构层面建立脑血管结构约束.在TubeTK数据集上的实验结果表明,与4种注意力网络相比,所提方法的Dice相似系数提升4.58%～6.86%,交并比提升5.07%～7.47%,中心线Dice提升3.26%～5.40%.     

基于融合池化和注意力增强的细粒度视觉分类网络

细粒度视觉分类核心是提取图像判别式特征.目前大多数方法引入注意力机制,使网络聚焦于目标物体的重要区域.然而,这种方法只定位到目标物体的显著特征,无法囊括全部判别式特征,容易混淆具有相似特征的不同类别.因此,文中提出基于融合池化和注意力增强的细粒度视觉分类网络,旨在获得全面判别式特征.在网络末端,设计融合池化模块,包括全局平均池化、全局top-k池化和两者融合的三分支结构,获得多尺度判别式特征.此外,提出注意力增强模块,在注意力图的引导下通过注意力网格混合模块和注意力裁剪模块,获得2幅更具判别性的图像参与网络训练.在细粒度图像数据集CUB-200-2011、Stanford Cars、FGVC-Aircraft上的实验表明文中网络准确率较高,具有较强的竞争力.     

基于U形多尺度注意力方法的真实图像去噪

针对真实世界图像去噪算法存在对上下文信息和全局信息利用不足导致的去噪效果不佳问题,提出一种U形金字塔注意力网络(UPCA)。U形结构由多尺度特征模块与长距离通道注意力模块融合形成的金字塔注意力模块组成,U形结构通过拼接操作可以将每一层的输出特征图融合,减少卷积过程以及下采样过程中图像细节特征的丢失。多尺度特征金字塔模块可以更好地利用上下文信息从而更好地恢复出干净的图像,而建立长距离依赖的通道注意力模块可以更好地利用全局信息,提高网络的去噪效果。同时在损失函数部分加入噪声项来加快训练时收敛的速度以及提高去噪效果。UPCA网络在数据集SIDD和DND进行对比实验,验证了UPCA网络的可行性和先进性,同时与同样使用通道注意力的RIDNet相比UPCA网络的PSNR/SSIM指标提升了0.81 dB/0.044,去噪后的效果图直观表现也更好,而且同等参数下训练所需的算力更小。     

基于GhostNet的端到端红外和可见光图像融合方法

现有的基于深度学习的红外和可见光图像融合方法大多基于人工设计的融合策略,难以为复杂的源图像设计一个合适的融合策略.针对上述问题,文中提出基于GhostNet的端到端红外和可见光图像融合方法.在网络结构中使用Ghost模块代替卷积层,形成一个轻量级模型.损失函数的约束使网络学习到适应融合任务的图像特征,从而在特征提取的同时完成融合任务.此外,在损失函数中引入感知损失,将图像的深层语义信息应用到融合过程中.源图像通过级联输入深度网络,在经过带有稠密连接的编码器提取图像特征后,通过解码器的重构得到融合结果.实验表明,文中方法在主观对比和客观图像质量评价上都有较好表现.     

基于密集层和注意力机制的快速语义分割

针对传统语义分割网络速度慢、精度低的问题,提出一种基于密集层和注意力机制的快速场景语义分割方法.在ResNet网络中加入密集层和注意力模块,密集层部分采用两路传播方式,以更好地获得多尺度目标,并使用分组卷积减少计算量.同时在特征提取网络中加入注意力模块,以减少精度损失.实验结果表明,该方法在保证分割精度的前提下提升了分割速度,在Cityscapes数据集上得到了81.5%的MIOU,速度为42.3 frame/s,在ADE20K数据集上得到了61.8%的MIOU,速度为27.9 frame/s.     

基于多通道注意力机制的人脸替换鉴别

基于深度学习的人脸替换技术取得快速发展,但由DeepFake自动生成的人脸替换图片有可能危害人们的隐私安全。针对DeepFake图片鉴别问题,建立一种基于多通道注意力机制的深度学习鉴别网络模型。将Xception网络作为基础特征提取器,在多通道注意力模块中通过矩阵相乘的思想融合全局和局部的注意力表示,以减少重要信息损失。设计损失函数时添加中心损失,从而提高特征区分度。在训练过程中利用注意力图来引导训练图像的裁剪和去除,以达到数据增强的目的。实验结果表明,相比Xception、B4Att方法,在FaceForensics++数据集上该网络模型对DeepFake的检测精度分别提高0.77和0.45个百分点,在Celeb-DF数据集上分别提高5.30和4.68个百分点。     

基于改进YOLOv5的车辆端目标检测

在自动驾驶应用场景下,将YOLOv5应用于目标检测中,性能较之前版本有明显的提升,但在高运行速度情况下检测精度仍不够高,本文提出一种基于改进YOLOv5的车辆端目标检测方法.为解决训练不同数据集时需手动设计初始锚框大小,引入自适应锚框计算.在主干网络(backbone)添加压缩与激励模块(squeeze and excitation,SE),筛选针对通道的特征信息,提升特征表达能力.为了提升检测不同大小物体时的精度,将注意力机制与检测网络融合,把卷积注意力模块(convolutional block attention module, CBAM)与Neck部分融合,使模型在检测不同大小的物体时能关注重要的特征,提升特征提取能力.在主干网络中使用空间金字塔池化SPP模块,使得模型输入可以输入任意图像高宽比和大小.在激活函数方面,进行卷积操作后使用Hardswish激活函数,应用于整个网络模型.在损失函数方面,使用CIoU作为检测框回归的损失函数,改善定位精度低和训练过程中目标检测框回归速度慢的问题.实验结果表明,改进后的检测模型在KITTI 2D数据集上测试,目标检测的精确率(preci...     

空间约束下自相互注意力的RGB-D显著目标检测

针对RGB-D显著目标检测问题,提出空间约束下自相互注意力的RGB-D显著目标检测方法.首先,引入空间约束自相互注意力模块,利用多模态特征的互补性,学习具有空间上下文感知的多模态特征表示,同时计算两种模态查询位置与周围区域的成对关系以集成自注意力和相互注意力,进而聚合两个模态的上下文特征.然后,为了获得更互补的信息,进一步将金字塔结构应用在一组空间约束自相互注意力模块中,适应不同空间约束下感受野不同的特征,学习到局部和全局的特征表示.最后,将多模态融合模块嵌入双分支编码-解码网络中,解决RGB-D显著目标检测问题.在4个公开数据集上的实验表明,文中方法在RGB-D显著目标检测任务上具有较强的竞争性.     

基于注意力机制和金字塔融合的RGB-D室内场景语义分割

针对现有RGB-D室内场景语义分割不能有效融合多模态特征的问题,提出一种基于注意力机制和金字塔融合的RGB-D室内场景图像语义分割网络模型APFNet,并为其设计了两个新模块:注意力机制融合模块与金字塔融合模块.其中,注意力机制融合模块分别提取RGB特征和Depth特征的注意力分配权重,充分利用两种特征的互补性,使网络...     

用于目标跟踪的孪生渐进注意引导融合网络

针对基于孪生网络的目标跟踪中大部分方法是利用主干网络的最后一层语义特征来计算相似度,而单一地利用深层特征空间往往是不够的问题,提出基于孪生网络的渐进注意引导融合跟踪方法.首先采用主干网络提取深层和浅层特征信息;然后通过特征聚合模块,以自顶向下的方法去编码融合深层语义信息以及浅层空间结构信息,并利用注意力模块减少融合产生...     

基于对偶回归和注意力机制的图像超分辨率重建网络

针对单幅图像超分辨率(single image super-resolution, SISR)重建算法存在低分辨率图像(LR)到高分辨率图像(HR)的映射学习具有不适定性,深层神经网络收敛慢且缺乏对高频信息的学习能力以及在深层神经网络传播过程中图像特征信息存在丢失的问题.本文提出了基于对偶回归和残差注意力机制的图像超分辨率重建网络.首先,通过对偶回归约束映射空间.其次,融合通道和空间注意力机制构造了残差注意力模块(RCSAB),加快模型收敛速度的同时,有效增强了对高频信息的学习.最后,融入密集特征融合模块,增强了特征信息流动性.在Set5、Set14、BSD100、Urban100四种基准数据集上与目前主流的单幅图像超分辨率算法进行对比,实验结果表明该方法无论是在客观质量评价指标还是主观视觉效果均优于对比算法.     

基于物理动力学的烟雾建模与渲染

为了提高三维场景中烟雾模拟的真实性,以粒子系统为基础,对烟雾的运动模型与渲染方法进行了研究.为模拟烟雾扩散特性,提出预定义扩散范围的方法来近似控制烟雾的整体扩散区域,并通过线性增大粒子半径来模拟烟雾粒子的自身扩散.在烟雾运动过程中,基于动力学原理,建立了一种较准确的烟雾运动模型,并分析了烟雾粒子扩散过程中风对粒子的影响.在渲染时,为避免传统粒子系统渲染出的颜色过于平滑,利用图形处理器可编程特性,引入法线贴图计算粒子表面的散射光叠加到粒子本身颜色上,增加了烟雾的层次感和颗粒感.实验结果表明,该实现方法粒子运动更加真实,视觉效果更加逼真.     

结合注意力机制的跨域服装检索

针对跨域服装检索中服装商品图像拍摄严格约束光照、背景等条件,而用户图像源自复杂多变的日常生活场景,难以避免背景干扰以及视角、姿态引起的服装形变等问题.提出一种结合注意力机制的跨域服装检索方法.利用深度卷积神经网络为基础,引入注意力机制重新分配不同特征所占比重,增强表述服装图像的重要特征,抑制不重要特征;加入短连接模块融合局部重要特征和整幅图像的高层语义信息,提取更具判别力的特征描述子;联合分类损失函数和三元组损失共同约束网络训练过程,基于类别信息缩小检索范围.采用标准的top-k检索精度作为评价指标,选择DeepFashion数据集与当前跨域服装检索常用方法进行对比,文中方法在top-20检索精度对比中取得了最好的检索性能(0.503).实验结果表明,该方法能有效地处理视角、姿态引起的服装形变和复杂背景的干扰,同时不需要大量的样本标注信息,有效地提高了跨域服装检索的精度.     

注意力机制在自然场景文字检测中的应用

针对目前主流的基于分割的文字检测方法中由于需要复杂的后处理过程保证检测精度,通常难以实现高检测速度的问题,提出一种应用位置注意力模块和金字塔注意力网络2种注意力机制的方法.首先用金字塔注意力网络对图像进行特征提取及语义分割;同时将位置注意力模块应用于高层特征,通过加强图像中相似物体的权重加强对文字的检测效果;最后进行简单有效的后处理,在实现较高检测准确度的前提下提高检测速度.实验结果表明,在Total-text数据集中,采用更轻量化的骨干网络时,所提方法在检测速度上优势明显;采用更深层的骨干网络时,所提方法的检测准确度领先2.0％.     

一种改进的放射性气体扩散高斯预估模型算法*

通过对放射性气体扩散的特征描述,针对高斯预估模型存在的缺点,引入了动态变化的泄漏强度,并通过夹角系数的方式将风速和放射性气体自身的扩散速度合成,得到对气体扩散起到关键作用的合成扩散速度,进而更好地模拟了放射性气体扩散过程中在不同时段、不同区域、不同气流状态下的气体浓度。最后通过实验仿真模拟,表明该算法在一定条件下能够有效地计算出放射性气体泄漏后的不同时间点和不同气流状态下的扩散浓度空间分布,能够较好地模拟放射性气体扩散的动态变换过程,对放射性气体泄漏事故现场的预测和评估具有很好的辅助决策作用。