全局特征提取的全卷积网络图像语义分割算法

以全卷积神经网络为基础设计图像语义分割算法框架,设计全局特征提取模块提升高维语义特征的提取能力,引入带孔卷积算子保留图像细节并提升分割结果的分辨率。通过搭建端到端的图像语义分割算法框架进行训练,在可见光数据集上对算法框架进行性能评估,结果表明,本文方法在可见光图像上取得良好的语义分割性能和精度。本文还在不借助红外数据标注训练的情况下对红外图像进行分割,结果证明本文方法在典型红外目标如行人、车辆的分割中也有较好的表现。     

基于卷积神经网络结合NSCT的红外与可见光图像融合

传统红外与可见光融合图像在复杂环境下存在细节缺失,特征单一导致目标模糊等问题,本文提出一种基于卷积神经网络结合非下采样轮廓波变换（non-subsampled contourlet transform,NSCT）的红外与可见光图像进行融合的方法。首先,通过卷积神经网络提取红外与可见光目标特征信息,同时利用NSCT对源图像进行多尺度分解,得到源图像的高频系数与低频系数;其次,结合目标特征图利用自适应模糊逻辑与局部方差对比度分别对源图像高频子带与低频子带进行融合;最后,通过逆NSCT变换得到融合图像并与其他5种传统算法进行对比;实验结果表明,本文方法在多个客观评价指标上均有所提高。     

面向无人机航摄图像语义分割的双路特征融合网络

针对无人机航摄图像中目标尺寸差异大导致的感受野难以同时兼顾不同尺寸物体分割效果的问题，提出了利用两路分支分别提取浅层和深层信息的双路特征融合网络（DSFA-Net）。在编码器中，浅层分支利用三个串行ConvNeXt模块提取高通道数的浅层特征以保留更多空间细节；深层分支利用坐标注意力空洞空间金字塔池化（CA-ASPP）模块为特征图重新分配权重，使网络更加关注尺寸各异的分割目标，获得深层多尺度特征。在解码过程中，网络利用双边引导融合模块为两层特征建立通信以进行分辨率融合，提高层级特征的利用率。所提方法在AeroScapes和Semantic Drone航摄图像数据集上进行了实验，其平均交并比分别达到83.16%和72.09%、平均像素准确率分别达到90.75%和80.34%。与主流的语义分割方法相比，所提方法对于具有较大尺寸差异的目标，分割能力更强，更适用于无人机航摄图像场景下的语义分割任务。     

DECANet：基于改进DeepLabv3+的图像语义分割方法

在图像的语义分割任务中，不同对象之间像素值存在差异，导致现有的网络模型在图像语义分割过程中丢失图像局部细节信息。针对上述问题，提出一种图像语义分割方法（DECANet）。首先，引入通道注意力网络模块，通过对所有通道的依赖关系进行建模提高网络的表达能力，选择性地学习并强化通道特征，提取有用信息，抑制无用信息。其次，利用改进的空洞空间金字塔池化（ASPP）结构，对提取到的图像卷积特征进行多尺度融合，减少图像细节信息丢失，且在权重参数不改变的情况下提取语义像素位置信息，加快模型的收敛速度。最后，DECANet在PASCAL VOC2012和Cityscapes数据集上的平均交并比分别达81.08%和76%，与现有的先进网络模型相比，检测性能更优，可以有效地捕获局部细节信息，减少图像语义像素分类错误。     

卷积神经网络结合NSST的红外与可见光图像融合

传统的多尺度红外与可见光图像融合方法,所提取的图像特征固定,并不能很好的应用于各类复杂的图像环境,而深度学习可以自主选择合适图像特征,改良特征提取单一性问题,因此提出一种基于卷积神经网络与非下采样剪切波变换（NSST）相结合的红外与可见光图像融合方法。首先,用卷积神经网络提取红外目标与背景的二分类图,利用调频（FT）显著性检测算法对分类图进行精准分割,同时,利用NSST将源图像多尺度、多方向进行分解;其次,利用目标显著性结合自适应模糊逻辑算法进行低频子带融合,利用高频系数局部方差对比度方法进行高频子带融合;最后,通过NSST逆变换得到融合后图像。实验结果表明:相比于传统图像融合算法,该方法在信息熵、平均梯度、空间频率、互信息和交叉熵等多个客观评价指标上至少分别提高了0.01%、0.30%、1.43%、2.32%、1.14%。一定程度提高了融合图像对比度,丰富了背景细节信息,更有利于人眼识别,可以广泛的应用于光电侦察、光电告警、多传感器信息融合等光电信息领域。     

基于并行附加特征提取网络的SSD地面小目标检测模型

针对SSD原始附加特征提取网络（Original Additional Feature Extraction Network,OAFEN）中stride操作造成图像小目标信息丢失和串联结构产生的多尺度特征之间冗余度较大的问题,提出了一种计算量小、感受野大的深度可分离空洞卷积（Depthwise Separable Dilated Convolution,DSDC）,并利用DSDC设计了一个包含三个独立子网络的并行附加特征提取网络（Parallel Additional Feature Extraction Network,PAFEN）.PAFEN上路用两个DSDC提取尺寸为19*19和3*3的特征图;中路用一个DSDC提取尺寸为10*10的特征图;下路用两个DSDC提取尺寸为5*5和1*1的特征图.实验结果表明,在SSD框架内,PAFEN在mAP和检测时间等方面均优于OAFEN,适用于地面小目标的检测任务.     

卷积神经网络结合显著性目标掩图的红外与可见光图像融合

传统的基于多尺度变换理论的红外与可见光融合,提取特征单一,融合规则需要手动设计,难以应对多场景的需求,而深度学习的方法具有良好的特征提取能力,能够对多种特征进行学习.使用基于卷积神经网络的方法对图像融合进行研究,将网络分为特征提取网络和特征融合网络2个部分.首先使用图像处理软件获得红外图像的显著性目标掩图,然后以目标掩...     

深度全卷积网络对MRI膀胱图像的分割

大多数膀胱癌患者的膀胱肿瘤组织和膀胱壁组织互相渗透，各自的大小、形状变化多样，位置不固定，且膀胱MRI（Magnetic Resonance Imaging）图像中存在复杂的噪声和伪影，这使得将肿瘤和膀胱壁两者精确分割出来为下一步治疗进行诊断和定量分析成为难题。文中提出一种以U-net作为基础网络框架的深度全卷积网络，用残差网络子模块代替普通的卷积层进行下采样，通过空洞卷积来提取特征图不同感受野的信息，从而对不同尺度的特征图进行并行分支下采样。针对数据集小的问题，提出对图像加入高斯噪声、调节亮度和各向异性扩散滤波三种方法来进行数据扩增。实验结果表明，文中提出的方法对肿瘤分割的DSC（Dice similarity coefficient）值达到了0.9058，对膀胱壁分割的DSC值达到了0.9038，能够达到很好的分割效果。      

基于多尺度融合注意力改进UNet的遥感图像水体分割

针对遥感图像水体分割任务，提出了一种多尺度融合注意力模块改进的UNet网络——A-MSFAM-UNet，该方法在GF-2遥感图像水体分割任务中实现了端到端高分辨率遥感图像水体分割。首先，针对以往注意力模块全局池化操作带来的局部信息不敏感问题，设计了一种多尺度融合注意力模块（MSFAM），该模块使用点卷积融合通道全局信息、深度可分离卷积弥补全局池化造成的信息丢失。MSFAM用于UNet跳跃连接后的特征融合部分重新分配特征点权重以提高特征融合效率，增强网络获取不同尺度信息的能力。其次，空洞卷积用于VGG16主干网络扩展感受野，在不损失分辨率的情况下聚合全局信息。结果表明，A-MSFAM-UNet优于其他通道注意力（SENet、ECANet）改进的UNet，在GF-2水体分割数据集上平均交并比（MIoU）、平均像素精度（MPA）和准确率（Acc）分别达到了96.02%、97.98%和99.26%。     

多尺度特征融合全卷积神经网络脑肿瘤MR图像分割

针对传统以及基于深度学习的脑肿瘤MR图像分割方法存在精度低、特征信息丢失等问题,提出一种多尺度特征融合全卷积神经网络的脑肿瘤MR图像分割算法.该算法首先对脑肿瘤MR图像的4种模态进行归一化处理;将得到的结果通过多尺度特征融合全卷积神经网络(MFF-FCN).该网络是在全卷积神经网络的基础上,引入5×5、7×7大小的卷积核作为其它2种通路,以提高模型的特征信息提取能力.实验结果表明,MFF-FCN网络模型在特征提取和分割精度上都有较好的表现,尤其是在全肿瘤和边缘分割上,Dice、Sensitivity、PPV等指标都有明显的提升;且单幅脑肿瘤MR图像的分割时间平均用时不到1s,实用性较强.     

基于特征融合的RGBT双模态孪生跟踪网络

热红外成像技术被广泛地应用于军事、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般。因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义。与基于可见光或热红外图像的单模态跟踪算法相比,基于可见光/热红外(RGB/Thermal, RGBT)图像的双模态跟踪算法对光照变化、云雾遮挡具有更强的鲁棒性。提出了一种基于特征融合的RGBT双模态孪生跟踪网络架构。该网络将双模态图像中提取的深度特征进行融合,提高目标外观特征的判别力。该网络可以利用训练数据进行端到端的离线训练。公开数据集RGBT234上的实验结果表明,所提出的RGBT双模态孪生特征融合跟踪网络能够实现复杂场景下鲁棒持续的目标跟踪。     

基于超像素与图卷积神经网络的白细胞分割

白细胞分割是医学图像处理领域的一项富有挑战性的任务,针对目前白细胞分割存在的准确度不高、粘连情况不易分割等问题,将图像的分割转化为区域节点的分类问题,提出基于图卷积神经网络的白细胞分割算法.首先将训练图像经超像素分割得到若干超像素区域,把每个超像素区域作为图的一个节点,并充分利用超像素区域的彩色特征以及空间邻域关系构造稀疏加权图来训练图卷积网络,然后利用训练好的网络对测试图像进行白细胞核、质、背景的三域一次性分类.实验数据表明,本文算法对不同类白细胞均具有较好的分割效果.     

基于改进ExfuseNet模型的街景语义分割

使用ExfuseNet模型进行街景语义分割时,由于街景图像背景复杂度较高,造成感兴趣类之间的面积占比与分布不均衡,特别是图像中面积占比低且密度低的感兴趣目标,越到网络深层越容易被错误分类,最终导致模型分割性能下降。为解决该问题,文中对ExfuseNet模型进行了改进。为了获取不同尺度的语义信息,在不增加模型参数量的条件下,多监督模块采用不同空洞率的带孔卷积。在下采样特征融合后,立刻采用随机丢弃层来减少模型参数量,提高泛化力。在主输出前采用CBAM注意力机制模块以便更高效地对感兴趣目标类的深度语义信息进行采样,并在多监督模块之后采用类平衡函数来改善数据集Camvid的类不平衡问题。实验结果表明,改进的ExfuseNet模型语义分割效果有明显提升,其均交并比提升到了68.32%,Pole类分类准确率提升到38.14%。     

基于多尺度轮廓增强的RGB-IR双波段图像语义分割算法北大核心CSCD

语义分割被广泛应用于机器人、医学成像和自动驾驶等领域,但当前语义分割主要针对可见光图像。可见光图像在光照不足或天气差的情况下成像效果较差,而红外图像受光照影响较小。因此,将可见光图像和红外图像联合使用可以有效提升模型的鲁棒性。本文针对可见光/红外(RGB-IR)双波段图像语义分割任务中目标轮廓预测不准确的问题,提出一种基于多尺度轮廓增强的双波段语义分割算法。首先,本文提出一种新的位置和通道注意力模块EEFM,基于该模块可以高效地对多个尺度的融合特征分别进行轮廓预测。其次,本文将多尺度的预测结果用于对轮廓特征进行由高分辨率至低分辨率的逐步增强。最后,本文还提出了一种新的位置和通道注意力模块SAC对融合图像特征进行增强,以最终获得更准确的分割结果。实验在一个公开RGB-IR数据集以及一个自建数据集上进行,本文所提出的模型使用较小的参数量在公开数据库上取得了57.2的分割精度,综合性能达到了最高水平。同时,消融实验也验证了所提出的各模块的有效性。     

基于3D全卷积网络的腹部动脉CTA分割算法

目前卷积神经网络已成为腹部动脉血管分割领域的研究热点,但经典的卷积网络存在分割精度低和分割血管不连续的问题。为此,文中提出了基于改进3D全卷积网络的腹部动脉血管分割算法。该方法在网络的编码路径上构造不同尺度的侧输入,并将侧输入卷积后的图像与下采样卷积后的图像进行融合,提取更多的特征信息。同时,网络中嵌入了新的多尺度特征提取模块,该模块将通道注意力与密集扩张卷积进行了融合,有效地捕获了更高层次的特征信息。对腹部动脉血管进行分割的结果表明,与其他分割方法相比,所提方法在直观性和定量性上均有提高,证明了该方法能够提升血管分割精度。     

引入语义部位约束的行人再识别

为减轻行人图片中的背景干扰,使网络着重于行人前景并且提高前景中人体部位的利用率,该文提出引入语义部位约束(SPC)的行人再识别网络。在训练阶段,首先将行人图片同时输入主干网络和语义部位分割网络,分别得到行人特征图和部位分割图;然后,将部位分割图与行人特征图融合,得到语义部位特征;接着,对行人特征图进行池化得到全局特征;最后,同时使用身份约束和语义部位约束训练网络。在测试阶段,由于语义部位约束使得全局特征拥有部位信息,因此测试时仅使用主干网络提取行人的全局信息即可。在大规模公开数据集上的实验结果表明,语义部位约束能有效使得网络提高辨别行人身份的能力并且缩减推断网络的计算花费。与现有方法比较,该文网络能更好地抵抗背景干扰,提高行人再识别性能。     

AMSFF-Net: Attention-Based Multi-Stream Feature Fusion Network for Single Image Dehazing

In this paper, an end-to-end convolutional neural network is proposed to recover haze-free image named as Attention-Based Multi-Stream Feature Fusion Network (AMSFF-Net). The encoder-decoder network structure is used to construct the network. An encoder generates features at three resolution levels. The multi-stream features are extracted using residual dense blocks and fused by feature fusion blocks. AMSFF-Net has ability to pay more attention to informative features at different resolution levels using pixel attention mechanism. A sharp image can be recovered by the good kernel estimation. Further, AMSFF-Net has ability to capture semantic and sharp textural details from the extracted features and retain high-quality image from coarse-to-fine using mixed-convolution attention mechanism at decoder. The skip connections decrease the loss of image details from the larger receptive fields. Moreover, deep semantic loss function emphasizes more semantic information in deep features. Experimental findings prove that the proposed method outperforms in synthetic and real-world images.     

Study on traffic scene semantic segmentation method based on convolutional neural network

In order to improve the semantic segmentation accuracy of traffic scene,a segmentation method was proposed based on RGB-D image and convolutional neural network.Firstly,on the basis of semi-global stereo matching algorithm,the disparity map was obtained,and the sample library was established by fusing the disparity map D and RGB image into the four-channel RGB-D image.Then,with two different structures,the networks were trained by using two different learning rate adjustment strategy respectively.Finally,the traffic scene semantic segmentation test was carried out with RGB-D image as the input,and the results were compared with the segmentation method based on RGB image.The experimental results show that the proposed traffic scene segmentation algorithm based on RGB-D image can achieve higher semantic segmentation accuracy than that based on RGB image.     

MCR-YOLO model for underwater target detection based on multi-color spatial features

Within the fields of underwater robotics and ocean information processing, computer vision-based underwater target detection is an important area of research. Underwater target detection is made more difficult by a number of problems with underwater imagery, such as low contrast, color distortion, fuzzy texture features, and noise interference, which are caused by the limitations of the unique underwater imaging environment. In order to solve the above challenges, this paper proposes a multi-color space residual you only look once (MCR-YOLO) model for underwater target detection. First, the RGB image is converted into YCbCr space, and the brightness channel Y is used to extract the non-color features of color-biased images based on improved ResNet50. Then, the output features of three scales are combined between adjacent scales to exchange information. At the same time, the image features integrated with low-frequency information are obtained via the low-frequency feature extraction branch and the three-channel RGB image, and the features from the three scales of the two branches are fused at the corresponding scales. Finally, multi-scale fusion and target detection are accomplished utilizing the path aggregation network (PANet) framework. Experiments on relevant datasets demonstrate that the method can improve feature extraction of critical targets in underwater environments and achieve good detection accuracy.     

基于颜色对比度增强的红外与微光图像彩色融合方法

针对用传统的颜色传递算法得到的彩色融合图像 存在目标与背景颜色相近、目标变淡的问题,提出了一种基于颜色对比度 增强的红外与微光图像彩色融合方法。首先对红外和微光图像进行 了伪彩色融合,然后对彩色参考图像与伪彩色融合图像进行了颜色传 递。其次,采用大津分割法分割出了微光图像中的目标信息,并得到了目标 区域。最后,在HSI颜色空间中利用目标区域对颜色传递后的融合图像 的H、S、I分量进行了调整,并得到了最终的融合图像。实验结果表明,利 用该方法得到的彩色融合图像具有目标与背景对比度高、细节丰富、色 彩较好等特点,可提高人眼对场景的理解和对目标的快速识别。