基于注意力机制的航拍图像实时语义分割方法

目前语义分割网络存在推理速度慢、轮廓信息缺失和语义信息不充足的问题,使其不适用于航拍图像的语义分割。提出一种交叉注意力混合机制和金字塔注意力机制的解码网络用于航拍图像语义分割。首先,采用MobileNetV2为骨干网络提高实时性推理速度;其次,提出交叉注意力混合机制解决轮廓信息缺失的问题;再次,提出金字塔注意力机制消除卷积神经网络无法捕获长范围语义信息的局限性。最后,实验结果表明,该文网络在单张GTX 3090卡,分辨率为256×256×3的DLRSD(Dense Labeling Remote Sensing Dataset)数据集中,获取73.4%的平均交并比和85.4%的像素精度,实现了196.9帧每秒的推理速度。     

基于压缩提炼网络的实时语义分割方法

针对目前语义分割算法难以取得实时推理和高精度分割间平衡的问题,提出压缩提炼网络（SRNet）以提高推理的实时性和分割的准确性。首先,在压缩提炼（SR）单元中引入一维（1D）膨胀卷积和类瓶颈结构单元,从而极大地减少模型的计算量和参数量;其次,引入多尺度空间注意（SA）混合模块,从而高效地利用浅层特征的空间信息;最后,通过堆叠SR单元构成编码器,并采用两块SA单元在编码器的尾部构成解码器。实验仿真表明,SRNet在仅有30 MB参数量及8.8×10⁹每秒浮点操作数（FLOPS）的情况下,仍可在Cityscapes数据集上获得68.3%的平均交并比（MIoU）。此外,所提模型在单块NVIDIA Titan RTX卡上实现了12.6 帧每秒（FPS）的前向推理速度（输入像素的大小为512×1 024×3）。实验结果表明,所设计的轻量级模型SRNet很好地在准确分割和实时推理间取得平衡,适用于算力及功耗有限的场合。     

神经网络框架下的红外与可见光图像融合算法综述

图像融合是图像处理领域的重要分支。由于神经网络在图像特征提取和分类中优势显著,因此将神经网络技术应用于图像融合领域中也是近年来的研究热点。首先对基于浅层和深度神经网络的红外与可见光图像融合算法做出概述,并详细地介绍图像融合技术的研究进展,展示融合算法的研究成果。其次选取六种图像质量评价指标,对所述算法获得的融合图像进行客观评价,最后根据实验结果对未来的研究提出展望。