基于注意力门残差网络的遥感影像道路提取

针对遥感影像道路提取出现的无关噪声多,道路不连续问题,本文通过改进U-Net提出了基于注意力门残差网络的道路提取算法。首先,编码器部分引入残差块传递原始特征,在保证网络深度的同时,使梯度能够有效传递;其次,在连接层使用多尺度空洞卷积特征提取模块,来充分挖掘图像中的多尺度特征信息;最后,用注意力门将浅层网络信息和反卷积信息融合实现解码,以抑制浅层噪声特征。使用的数据集包括Massachusetts Roads Dataset数据集和CVPR DeepGlobe 2018道路提取挑战赛数据集。实验结果表明,该算法可以有效提升道路分割的效果。     

基于SF-Unet的高分辨率耕地遥感影像分割

利用深度学习实现遥感影像耕地区域自动化检测,取代人工解译,能有效提升耕地面积统计效率。针对目前存在分割目标尺度大且连续导致分割区域存在欠分割现象,边界区域情况复杂导致边缘分割困难等问题,提出了语义分割算法——Swin Transformer, TransFuse and U-Net (SF-Unet)。为强化网络不同层次特征提取和信息融合能力,提升边缘分割性能,使用U-Net网络替代TransFuse网络中的ResNet50模块;将Vision Transformer (ViT)替换为改进后的Swin Transformer网络,解决大区域的欠分割问题;通过注意力机制构建的Fusion融合模块将2个网络输出特征进行融合,增强模型对目标的语义表示,提高分割的精度。实验表明,SF-Unet语义分割网络在Gaofen Image Dataset (GID)数据集上的交并比(Intersection over Union, IoU)达到了90.57%,分别比U-Net和TransFuse网络提升了6.48%和6.09%,明显提升了耕地遥感影像分割的准确性。     

融合多尺度特征与注意力的脑白质病变分割

针对目前磁共振脑影像上的脑白质病变分割精度较低、小病灶易漏识的问题,提出一种结合多尺度信息与注意力机制的U-Net改进模型用于脑白质病变分割.首先,引入多尺度卷积模块以拓展网络宽度,提升特征捕获能力.其次,引入混合下采样模块,对粗、细两种粒度的下采样特征进行融合以减少下采样过程中的信息损失;同时,引入跨层融合模块,通过对跳跃连接两端的编、解码信息进行融合,降低对等层间的语义差异.最后,在编码阶段采用分散注意力模式,根据深、浅层的不同特点分别设计空间注意力模块和通道注意力模块,以增强网络对病灶区域的关注度.在MICCAI2017 WMHs分割挑战赛提供的公开数据集上与同任务的其它文献算法进行对比,本文算法在召回率和相似系数的性能评估上均获得了有效提升,分别达到了0.834和0.803,这表明本文算法是一种有效的脑白质病变自动分割算法.     

基于多级残差融合的复杂纹理光场图像深度估计

光场的深度信息可以通过深度学习的光场深度估计算法计算,在图像视差、光场图像边缘以及光场图像的复杂纹理区域,获取高精度深度值仍然具有一定局限性。本文提出了一种用于光场图像深度估计的多级残差融合网络,通过组合残差模块提取多层次的残差特征,在保持网络深度的同时提升了网络对特征的表征能力。利用多级残差融合模块对多层次的残差特征进行融合,以获得包含浅层纹理信息和深层语义信息的融合特征。利用本文方法对HCI4D光场数据集进行处理,图像深度估计的均方误差指标达到1.471,不良像素率指标达到4.208,该实验结果表明本文方法在处理具有复杂遮挡的光场图像区域方面具有良好的处理效果。     

结合空洞可分离卷积的多尺度医学影像分割算法

传统U-Net语义分割模型在医学影像领域具有广泛的应用,但该模型的准确率受限于单一尺度的预测模式以及上下采样引起的信息丢失。针对上述问题,本文基于U-Net编码—解码架构以及空洞可分离卷积提出了一种高低层级信息丰富的多尺度医学影像语义分割算法,该算法由特征提取网络以及多尺度语义分割预测网络两部分构成。特征提取网络使用空洞可分离卷积和类残差块分别替换原U-Net中上、下采样以及卷积块,在增加感受野的同时使信息得到最大化的保留;提出一个通道注意力机制,强化目标核心特征的表达以及无关背景区域的抑制;在多尺度上挖掘带有图像级全局上下文的卷积特征,进一步提高分割性能。本文在采集的胚胎以及DRIVE数据集上进行仿真实验,其结果表明,与U-Net及其衍生模型相比该方法具有更高的准确率和鲁棒性。     

结合信息感知与多尺度特征的红外与可见光图像融合

现有的基于深度学习图像融合算法无法同时满足融合效果与运算效率,且在建模过程中大部分采用基于单一尺度的融合策略,无法很好地提取源图像中上下文信息。为此本文提出了一种基于信息感知与多尺度特征结合的端到端图像融合网络。该网络由编码器、融合策略和解码器组成。具体来说,通过编码器提取红外与可见光图像的多尺度特征,并设计特征增强融合模块来融合多个尺度的不同模态特征,最后设计了一个轻量级的解码器将不同尺度的低级细节与高级语义信息结合起来。此外,利用源图像的信息熵构造一个信息感知损失函数来指导融合网络的训练,从而生成具有丰富信息的融合图像。在TNO、MSRS数据集上对提出的融合框架进行了评估实验。结果表明：与现有的融合方法相比,该网络具有较高计算效率;同时在主观视觉评估和客观指标评价上都优于其它方法。     

结合全局语义优化的对抗性灰度图像彩色化

针对当前灰度图像彩色化算法容易出现色彩枯燥、颜色溢出和图像细节损失等问题,本文提出一种结合全局语义优化的对抗性灰度图像彩色化算法。其中,生成网络采用自主改进的U-Net网络。一方面,改进的U-Net网络利用多层卷积对输入图像进行逐步下采样,在获取多尺度层级特征和全局特征的同时,在跳跃连接中将全局特征和多尺度层级特征进行自适应融合,从而有效增强算法对全局语义信息的理解能力并缓解颜色溢出的现象;另一方面,改进的U-Net网络在上采样过程中融合通道注意力模块,使得在提取卷积特征时能够有效抑制噪声并降低特征冗余性。判别网络主要采用全卷积结构,通过反向传播误差以达到优化生成网络的目的。此外,本文算法的损失函数将WGAN-GP网络的优化思想和颜色损失相结合,从而解决传统生成对抗网络训练时出现的梯度消失和模式崩溃等问题。本文算法在Place365测试集上所获取的峰值信噪比、结构相似性和信息熵指标分别为24.455dB、0.943和7.489。实验结果表明,本文算法能够缓解颜色溢出,且细节保持和颜色饱和度方面都具有一定优势。     

融合多尺度特征和语义信息的单目深度估计

针对目前的无监督学习方法在单目图像深度估计中存在深度估计不准确、边缘模糊的问题,提出了一种融合多尺度特征信息和语义信息的无监督单目深度估计网络。该网络不仅引入了从编码器到解码器的跳层连接来实现不同尺度特征的提取和融合,还在编码器和解码器之间引入多个空洞卷积并行的语义层来增加感受野,使得结果更加准确。最后在KITTI数据集上进行了训练和测试,误差指标均低于目前的无监督学习方法,图像预测的准确率在3个比例阈值下分别达到了91%,96.8%和98.7%,超过了所有的监督和无监督的方法,使场景中各目标的边缘更清晰,层次也更分明。     

融合多尺度信息和跨维特征引导的轻量行人检测

针对复杂道路场景下行人检测精度与速度难以提升的问题,提出一种融合多尺度信息和跨维特征引导的轻量级行人检测算法。首先以高性能检测器YOLOX为基础框架,构建多尺度轻量卷积并嵌入主干网络中,以获取多尺度特征信息。然后设计了一种端到端的轻量特征引导注意力模块,采用跨维通道加权的方式将空间信息与通道信息融合,引导模型关注行人的可视区域。最后为减少模型在轻量化过程中特征信息的损失,使用增大感受野的深度可分离卷积构建特征融合网络。实验结果表明,相比于其他主流检测算法,所提算法在KITTI数据集上达到了71.03%的检测精度和80 FPS的检测速度,在背景复杂、密集遮挡、尺度不一等场景中都具有较好的鲁棒性和实时性。     

并行多特征提取网络的红外图像增强方法

为解决低质量红外图像细节模糊、对比度低等问题,提出了并行多特征提取网络的红外图像增强方法,设计了结构特征映射网络和双尺度特征提取网络。结构特征映射网络用于建立全局结构特征权重,以保持原始图像的空间结构信息。双尺度特征提取网络采用多尺度卷积层和融合多空洞卷积的注意力,增强网络对上下文信息的关注力,提升网络对感兴趣区域的特征提取能力,同时学习不同尺度的特征信息,完成双尺度间信息的交换,生成目标增强映射,实现目标区域细节纹理自适应增强。实验证明,所提方法能有效提高对比度,避免过增强,丰富图像细节纹理,减少伪影和光晕现象,在BSD200数据集上的PSNR与SSIM较典型的传统方法和深度学习方法分别提升了约37.35%、2.1%与25.94%、3.15%,在真实红外数据集上分别提升了约30.62%、1.04%与24.83%、2.08%,且对不同对比度因子的低质量图像,文中方法也具有良好的增强效果。     

MRANet: Multi-atrous residual attention Network for stereo image super-resolution

In recent years, stereo cameras have been widely used in various fields. Due to the limited resolution of real equipments, stereo image super-resolution (SR) is a very important and hot topic. Recent studies have shown that deep network structures can directly affect feature expression and extraction and thus influence the final results. In this paper, we propose a multi-atrous residual attention stereo super-resolution network (MRANet) with parallax extraction and strong discriminative ability. Specifically, we propose a multi-scale atrous residual attention (MARA) block to obtain receptive fields of different scales through a multi-scale atrous convolution and then combine them with attention mechanisms to extract more diverse and meaningful information. Moreover, we propose a stereo feature fusion unit for stereo parallax extraction and single viewpoint feature refinement and integration. Experiments on benchmark datasets show that MRANet achieves state-of-the-art performance in terms of quantitative metrics and visual quality compared with several SR methods.     

GCENet: Global contextual exploration network for RGB-D salient object detection

Representing contextual features at multiple scales is important for RGB-D SOD. Recently, due to advances in backbone convolutional neural networks (CNNs) revealing stronger multi-scale representation ability, many methods achieved comprising performance. However, most of them represent multi-scale features in a layer-wise manner, which ignores the fine-grained global contextual cues in a single layer. In this paper, we propose a novel global contextual exploration network (GCENet) to explore the performance gain of multi-scale contextual features in a fine-grained manner. Concretely, a cross-modal contextual feature module (CCFM) is proposed to represent the multi-scale contextual features at a single fine-grained level, which can enlarge the range of receptive fields for each network layer. Furthermore, we design a multi-scale feature decoder (MFD) that integrates fused features from CCFM in a top-down way. Extensive experiments on five benchmark datasets demonstrate that the proposed GCENet outperforms the other state-of-the-art (SOTA) RGB-D SOD methods.     

基于密集特征融合的无监督单目深度估计

针对无监督单目深度估计生成深度图质量低、边界模糊、伪影过多等问题,该文提出基于密集特征融合的深度网络编解码结构。设计密集特征融合层(DFFL)并将其以密集连接的形式填充U型编解码器,同时精简编码器部分,实现编、解码器的性能均衡。在训练过程中,将校正后的双目图像输入给网络,以重构视图的相似性约束网络生成视差图。测试时,根据已知的相机基线距离与焦距将生成的视差图转换为深度图。在KITTI数据集上的实验结果表明,该方法在预测精度和误差值上优于现有的算法。     

基于改进Wave-U-Net跳跃连接的盲源分离算法

为了进一步提升现有盲源分离算法的分离性能,本文在Wave-U-Net的基础上提出了一种全尺度跳跃连接模型。首先为了解决Wave-U-Net下采样过程中信号特征丢失问题,该模型在跳跃连接中增加了卷积操作,通过对不同时间尺度的特征图进行连接,有效地结合了信号的浅层特征和深层特征,提升了模型的分离性能。针对Wave-U-Net最佳深度取值和全尺度跳跃连接模型的参数过多的问题,本文进一步提出了多尺度跳跃连接模型。在多尺度跳跃连接模型中,通过嵌入不同深度的Wave-U-Net来代替跳跃连接中的卷积操作,在牺牲一部分分离性能下减少了模型参数,该模型共享下采样块来降低模型训练时间以及模型最佳深度取值带来的影响。仿真实验表明,相比于其他基线模型,本文提出的两种模型能显著提升信号分离性能,在SDR,SIR,SAR提升奖将近3~4 dB。      

基于改进U-Net网络的甲状腺结节超声图像分割方法

针对甲状腺结节尺寸多变、超声图像中甲状腺结节边缘模糊导致难以分割的问题,该文提出一种基于改进U-net网络的甲状腺结节超声图像分割方法.该方法首先将图片经过有残差结构和多尺度卷积结构的编码器路径进行降尺度特征提取;然后,利用带有注意力模块的跳跃长连接部分对特征张量进行边缘轮廓保持操作;最后,使用带有残差结构和多尺度卷积...     

基于多残差学习与注意力融合的中值滤波检测

针对小尺寸JPEG压缩图像携带有效信息较少、中值滤波痕迹不明显的问题,提出一种基于多残差学习与注意力融合的图像中值滤波检测算法。该算法将多个高通滤波器与注意力模块相结合,获取带权值的多残差特征图作为特征提取层的输入,特征提取层采用分组卷积形式,对输入的多残差特征图进行多尺度特征提取,融合不同尺度的特征信息,同时采用密集连接方式,每一层卷积的输入来自前面所有卷积层的输出和。实验结果表明,针对小尺寸JPEG压缩图像的中值滤波检测,本文算法比现有算法具有更高的检测精度,且能更有效地检测与定位局部篡改区域。     

Automated Matching of Pairs of SIR-B Images for Elevation Mapping

During the SIR-B mission in October 1984, a significant number of overlapping synthetic aperture radar (SAR) images of various ground areas was collected. This has offered the first opportunity to perform stereo analyses on images from space that cover large ground areas to determine elevation information. This paper presents the preliminary results of an investigation to obtain elevation data from stereo pairs of SIR-B images. First, the accuracy with which elevation information can be derived from SIR-B image pairs is evaluated theoretically. It is shown that elevation accuracy is a function of the slant range resolution, the incidence angles with which the stereo pair is obtained, the accuracies in spacecraft state estimation, and determination of corresponding pixels in the stereo pair. Next, a hierarchical method is developed to match the corresponding pixels. This method involves iterative removal of local distortions and correlations of pairs of local neighborhoods in the two images. Since it is necessary to perform the matching at every pixel in the image, it is very computationally intensive. Therefore, it has been implemented on the Massively Parallel Processor (MPP) at the Goddard Space Flight Center (GSFC). The MPP's speed permits two iterations of this technique to operate on a pair of 512 × 512 images within 7 s. Results of applying this algorithm to SIR-B images of Mount Shasta, CA, are shown. The matching algorithm performs well in regions of the image with significant features.     

基于改进生成对抗网络的红外图像增强算法

针对红外图像细节分辨率不高、目标边缘模糊等，提出一种基于改进生成对抗网络的红外图像增强算法。首先，基于编码解码网络U-Net构建生成器，优化U-Net跳跃连接方式，融合全局上下文模块，实现全局和局部特征的上下文建模；然后，基于胶囊网络构建鉴别器，结合Res2Net改进胶囊网络结构，并对胶囊网络全连接层进行反卷积重构，实现多尺度图像特征提取，减少模型参数冗余。实验表明，与当前主流算法相比，该算法能有效突出细节信息、抑制噪声，提高图像分辨率和视觉效果。     

一种新的多尺度深度学习图像语义理解方法研究

如何在深度学习中融合 图像的多尺度信息,是基于深度学习的视觉算法需要解决的一个关键问题。本文提出一种基 于多尺度交替 迭代训练的深度学习方法,并应用于图像的语义理解。算法采用卷积神经网络(CNN)从原始 图像中提取稠密性特征 来编码以每个像素为中心的矩形区域,将多个尺度图像交替迭代训练,能够捕获不同尺度下 的纹理、颜色和 边缘等重要信息。在深度学习提取特征分类结果的基础上,提出了一种结合超像素分割的方 法,统计超像 素块的主导类别,来校正分类错误的像素类别,同时描绘出目标区域边界轮廓,完成最终的 语义理解。在Stanford Background Dataset 8类数据集上验证了本文方法的有效性,准确 率达到77.4%。