面向道路场景语义分割的移动窗口变换神经网络设计

道路场景语义分割是自动驾驶环境感知的一项重要任务。近年来,变换神经网络(Transformer)在计算机视觉领域开始应用并取得了很好的效果。针对复杂场景图像语义分割精度低、细小目标识别能力不足等问题,本文提出了一种基于移动窗口Transformer的多尺度特征融合的道路场景语义分割算法。该网络采用编码-解码结构,编码器使用改进后的移动窗口Transformer特征提取器对道路场景图像进行特征提取,解码器由注意力融合模块和特征金字塔网络构成,充分融合多尺度的语义特征。在Cityscapes城市道路场景数据集上进行验证测试,实验结果表明,与多种现有的语义分割算法进行对比,本文方法在分割精度方面有较大的提升。     

基于下采样的特征融合遥感图像语义分割

本文提出了一种基于下采样的特征融合遥感图像语义分割模型,该模型在编解码结构基础上,将高分辨率原始图像引入"下采样"模块提取低级语义特征,在此基础上,将输出的低级语义特征通过MobileNetV2和空间金字塔池化进一步提取多尺度高级语义细节特征,然后,将这些高级语义特征和直接从下采样模块提取的低级语义特征融合并进行特征图分割.最后,在"CCF卫星影像的AI分类与识别竞赛"的数据集上取得了93%的训练准确率以及91%的预测准确率.     

基于DeepLabv3+的图像语义分割优化方法

目的为了实现良好的图像语义分割精度,同时尽可能降低网络的参数量,加快网络训练速度,提出基于DeepLabv3+的图像语义分割优化方法。方法编码器主干网络增加注意力机制模块,并采用更密集的特征池化模块有效聚合多尺度特征,同时使用深度可分离卷积降低网络计算复杂度。结果基于CamVid数据集的对比实验显示,优化后网络的MIoU分数达到了71.03%,在像素精度、平均像素精度等其他方面的评价指标上较原网络有小幅提升,并且网络参数量降低了12%。在Cityscapes的测试数据集上的MIoU分数为75.1%。结论实验结果表明,优化后的网络能够有效提取图像特征信息,提高语义分割精度,同时降低模型复杂度。文中网络使用城市道路场景数据集进行测试,可以为今后的无人驾驶技术的应用提供参考,具有一定的实际意义。     

改进YOLOX在近岸船舶检测中的应用

为了解决近岸船舶检测时目标尺度变化大,环境干扰严重等问题,提出了一种改进YOLOX的无锚框检测算法。首先,在主干网络中引入CoT模块,通过动态利用上下文信息来增强表达能力,降低环境干扰的影响;其次,将SimAM注意力嵌在特征金字塔和检测头之间,丰富语义信息,提升小目标检测精度。再利用CIOU来取代原有损失函数,以提高收敛速度;最后,使用深度可分离卷积替换特征金字塔中普通卷积,减少参数量,提升检测速度。实验结果表明：在SeaShips数据集上,改进后模型在减少参数量的同时,精度提高了6.73%,均值平均精度(mAP)达到了96.63%,检测速度达到了48.6帧/s,能够实时、高精度地检测近岸船舶。     

角度差异强化的光场图像超分网络

由于采用了更为先进的成像技术，光场相机可以同步获取场景的空间信息与角度信息。该技术以牺牲空间分辨率为代价，实现了更高维度的场景表示。为了提高光场相机拍摄场景的空间分辨率，本文搭建了角度差异强化的光场超分辨率重构网络。该网络先采用8个多分支残差块实现浅层特征提取，再采用4个强化的角度可变形对准模块实现深层特征提取，最后采用6个简化的残差特征蒸馏模块和像素洗牌模块完成数据重构。所提网络在利用光场角度差异完成空间信息超分时，更加强调视图自身特征的深入挖掘，以获得更加丰富的视图间差异特征。在5组公开的光场数据集上对本文所提网络的性能进行了验证，本文算法获得了PSNR、SSIM值更高的高分辨率光场子孔径图像。     

基于语义信息的场景识别方法研究

在场景识别任务中,由于场景图像类内变化大,类间相似度高,不同场景类别之间表现出相似的外观和对象分布,从而容易导致场景识别任务的失败.为解决该问题,本文提出一种基于语义分割及高效网络相结合的场景识别模型.该模型由语义分支和RGB分支两部分组成,语义分支在语义分割基础上进一步提取图像上下文信息,RGB分支采用高效网络来提取图像的全局特征,通过注意力机制将两个分支的输出特征进行融合,最终输入线性分类器以实现场景识别的预测.将提出的网络模型在ADE20K,MIT Indoor 67和SUN3973个数据集进行训练与测试,实验结果表明,提出的模型可以显著减少网络参数数量,同时提高场景识别的准确率.     

基于注意力机制的轻量级RGB-D图像语义分割网络

目的针对卷积神经网络在RGB-D(彩色-深度)图像中进行语义分割任务时模型参数量大且分割精度不高的问题,提出一种融合高效通道注意力机制的轻量级语义分割网络。方法文中网络基于RefineNet,利用深度可分离卷积(Depthwiseseparableconvolution)来轻量化网络模型,并在编码网络和解码网络中分别融合高效的通道注意力机制。首先RGB-D图像通过带有通道注意力机制的编码器网络,分别对RGB图像和深度图像进行特征提取;然后经过融合模块将2种特征进行多维度融合;最后融合特征经过轻量化的解码器网络得到分割结果,并与RefineNet等6种网络的分割结果进行对比分析。结果对提出的算法在语义分割网络常用公开数据集上进行了实验,实验结果显示文中网络模型参数为90.41 MB,且平均交并比(mIoU)比RefineNet网络提高了1.7%,达到了45.3%。结论实验结果表明,文中网络在参数量大幅减少的情况下还能提高了语义分割精度。     

融合Swin Transformer的立体匹配方法STransMNet

针对基于CNN的立体匹配方法中特征提取难以较好学习全局和远程上下文信息的问题，提出一种基于Swin Transformer的立体匹配网络改进模型(stereo matching net with swin transformer fusion,STransMNet)。分析了在立体匹配过程中，聚合局部和全局上下文信息的必要性和匹配特征的差异性。改进了特征提取模块，把基于CNN的方法替换为基于Transformer的Swin Transformer方法；并在Swin Transformer中加入多尺度特征融合模块，使得输出特征同时包含浅层和深层语义信息；通过提出特征差异化损失改进了损失函数，以增强模型对细节的注意力。最后，在多个公开数据集上与STTR-light模型进行了对比实验，误差(End-Point-Error,EPE)和匹配错误率3 px error均有明显降低。     

基于特征金字塔的多尺度特征融合网络

特征金字塔网络（FPN）是CNN网络对图像信息进行表达输出的一种有效方法,在目标检测网络中广泛应用．然而,FPN没有充分地将浅层的细节信息传递到深层的语义特征,存在特征融合不足的缺陷,因而只能依靠深层语义信息来进行预测,从而忽略了网络低层细节信息,对各种视觉学习的效果造成了一定的影响．针对FPN存在的以上问题,本文提出基于特征金字塔的多尺度特征融合网络模型,在FPN主干网络的基础上,设计了混合特征金字塔和金字塔融合模块,并结合注意力机制,对特征金字塔进行了多尺度的深度融合．本文在PASCAL VOC2012和MS COCO2014数据集上,以Faster R-CNN作为基础检测器进行实验,验证了MFPN对特征融合的有效性．     

引入反馈注意力的并行式多分辨率语义分割算法

目的 为了进一步提升语义分割精度,解决当前语义分割算法中特征图分辨率低下,低级信息特征随意丢弃,以及上下文重要信息不能顾及等问题,文中尝试提出一种融合反馈注意力模块的并行式多分辨率语义分割算法。方法 该算法提出一种并行式网络结构,在其中融合了高低分辨率信息,尽可能多地保留高维信息,减少低级信息要素的丢失,提升分割图像的分辨率。同时还在主干网络中嵌入了带反馈机制的感知注意力模块,从通道、空间、全局3个角度获得每个样本的权重信息,着重加强样本之间的特征重要性。在训练过程中,还使用了改进的损失函数,降低训练和优化难度。结果 经实验表明,文中的算法模型在PASCAL VOC2012、Camvid上的MIOU指标分别为77.78%、58.67%,在ADE20K上的也有42.52%,体现了出较好的分割性能。结论 文中的算法模型效果相较于之前的分割网络有一定程度的提升,算法中的部分模块嵌入别的主干网络依旧表现出较好的性能,展现了文中算法模型具备一定的有效性和泛化能力。     

基于语义分割的火车车厢位置检测研究

为了实现在煤炭定量装车站装车过程中实时检测火车车厢位置,为溜槽升降提供触发信号,设计了一种基于语义分割的火车车厢位置检测模型。以FPN （feature pyramid networks,特征金字塔网络）和ResNet101 （residual network,残差网络）为主干网络,提取并融合分辨率、语义强度不同的特征图;结合基于期望最大化（expectation maximization, EM）算法的注意力机制,构建车厢上边框语义分割模型,用于过滤特征图中的噪声,提高图像边界的语义分割精度;设计位置检测模块,计算语义分割后图像中各类别的面积及其比例和车厢上边框外接矩形高度,以获取火车车厢位置信息。结果表明,所构建的车厢上边框语义分割模型在测试集上的mIoU （mean intersection over union,均交并比）为81.21%,mPA （mean pixel accuracy,平均像素精度）为88.64%,相比未引入注意力机制的语义分割模型分别提升了3.91%和7.44%。在煤炭定量装车站现场进行的火车车厢位置检测试验结果表明,基于语义分割的火车车厢位置检测模型的检测精度满足煤炭装车过程中车厢位置检测任务的要求,这为实现煤炭定量装车系统的智能化提供了新思路。     

基于深度学习的图像分类算法框架研究

目的 提高图像分类精度是实现自动化生产的基础,提出一种更加准确的图像分类方法,使自动化包装和生产更加高效.方法 基于ResNeSt特征图组的思想,通过引入通道域和空间域注意力机制,并将自适应卷积核思想和Gem池化引入空间域注意力模块,从而使网络在空间域注意力机制中能够对不同图片使用不同的感受野使其关注更重要的部分,提出一种具有通道域和空间域注意力机制,且具有很好移植性的图像分类网络模型结构.结果 文中方法提高了图像分类准确度,在ImageNet数据集上,top-1准确度为81.39％.结论 文中提出的ResNeSkt算法框架优于目前的主流图像分类方法,同时网络整体结构具有很好的移植性,可以作为图像检测、语义分割等其他图像研究领域的主干网络.     

Straw Segmentation Algorithm Based on Modified UNet in Complex Farmland Environment

Intelligent straw coverage detection plays an important role in agricultural production and the ecological environment. Traditional pattern recognition has some problems, such as low precision and a long processing time, when segmenting complex farmland, which cannot meet the conditions of embedded equipment deployment. Based on these problems, we proposed a novel deep learning model with high accuracy, small model size and fast running speed named Residual Unet with Attention mechanism using depthwise convolution (RADw–UNet). This algorithm is based on the UNet symmetric codec model. All the feature extraction modules of the network adopt the residual structure, and the whole network only adopts 8 times the downsampling rate to reduce the redundant parameters. To better extract the semantic information of the spatial and channel dimensions, the depthwise convolutional residual block is designed to be used in feature maps with larger depths to reduce the number of parameters while improving the model accuracy. Meanwhile, the multi–level attention mechanism is introduced in the skip connection to effectively integrate the information of the low–level and high–level feature maps. The experimental results showed that the segmentation performance of RADw–UNet outperformed traditional methods and the UNet algorithm. The algorithm achieved an mIoU of 94.9%, the number of trainable parameters was only approximately 0.26 M, and the running time for a single picture was less than 0.03 s.     

Brain tumour segmentation from MRI image using genetic algorithm with fuzzy initialisation and seeded modified region growing (GFSMRG) method

Segmentation is an important aspect of medical image processing. For improving the accuracy in the detection of tumour and improving the speed of execution in segmentation, a new genetic-based genetic algorithm with fuzzy initialisation and seeded modified region growing (GFSMRG) method with back propagation neural network (BPNN) is proposed and presented in this paper. The proposed system consists of four steps: pre-processing, segmentation, feature extraction and classification. The GFSMRG method and its components, feature extraction and classification are explained in detail. The performance analysis of the GFSMRG method with respect to accuracy and time complexity are also discussed. The performance of this method has been validated both quantitatively and qualitatively by using the performance metrics such as Similarity Index, Jaccard Index, Sensitivity, Specificity and Accuracy.     

空频域结合的多尺度扩张卷积注意力数字水印

目的 将深度学习应用于数字水印,在隐藏信息的同时,不断提高图像的不可见性和鲁棒性,提出一种结合空间域和频率域的多尺度扩张卷积注意力数字水印算法(SF-ACA)。方法 SF-ACA算法的网络框架包含由ACA和SFE构成的生成器、解码器2个部分组成。其中,ACA网络中的MCA模块将3个不同扩张率的扩张卷积对载体图像以多尺度融合的方式进行特征提取,使载体图像能更有效地隐藏水印信息;SFE结合快速傅里叶卷积块,在空域和频域中通过不同大小的感受野捕获互补信息,更精准地获取水印的特征信息,增强了秘密信息的不可见性和鲁棒性。结果 本文提出的水印方法在隐藏与载体图像尺寸相等的三通道彩色图像时,PSNR值为38.81 dB,较UDH方法的PSNR值提高了7.78%。水印图像的隐藏容量是4 096比特,该算法与UDH方法在Dropout、Gaussian噪声、JPEG攻击下,提取精度分别提升了5.38%、10.5%、1.65%,满足不可见性要求的同时实现了强鲁棒性。结论 本文方法在隐藏容量较大时,不可见性和鲁棒性都达到了较好的性能。     

基于改进MultiResUNet网络的甲状腺超声图像分割

甲状腺超声图像分割在临床超声图像研究中有很重要的意义。针对甲状腺超声图像信噪比低,斑点噪声多,且甲状腺形态不确定等问题,提出了一种改进的MultiResUNet分割网络(称为Oct-MRU-Net网络)。该方法在MultiResUNet网络的基本结构的基础上引入Octave卷积,并采用改进的Inception模块学习不同空间尺度的特征,将训练过程中的特征图按通道方向分为高低频特征。其中,高频特征描述图像细节和边缘信息,低频特征描述图像整体轮廓信息。在甲状腺超声图像分割过程中可以重点关注高频信息,减少空间冗余,从而实现对边缘更加精细的分割。实验结果表明,Oct-MRU-Net网络的性能相较于U-Net网络和MultiResUNet网络都有较大的提升,说明该网络对甲状腺超声图像的分割效果较好。     

基于改进BiSeNet的室内场景语义分割方法

室内场景的语义分割一直是深度学习语义分割领域的一个重要方向。室内语义分割主要存在的问题有语义类别多、很多物体类会有相互遮挡、某些类之间相似性较高等。针对这些问题,提出了一种用于室内场景语义分割的方法。该方法在BiSeNet(bilateral segmentation network)的网络结构基础上,引入了一个空洞金字塔池化层和多尺度特征融合模块,将上下文路径中的浅层细节特征与通过空洞金字塔池化得到的深层抽象特征进行融合,得到增强的内容特征,提高模型对室内场景语义分割的表现。该方法在ADE20K中关于室内场景的数据集上的MIoU表现,比SegNet高出23.5%,比改进前高出3.5%。