对抗学习遥感图像场景识别

目的 在高分辨率遥感图像场景识别问题中,经典的监督机器学习算法大多需要充足的标记样本训练模型,而获取遥感图像的标注费时费力。为解决遥感图像场景识别中标记样本缺乏且不同数据集无法共享标记样本问题,提出一种结合对抗学习与变分自动编码机的迁移学习网络。方法 利用变分自动编码机（variational auto-encoders,VAE）在源域数据集上进行训练,分别获得编码器和分类器网络参数,并用源域编码器网络参数初始化目标域编码器。采用对抗学习的思想,引入判别网络,交替训练并更新目标域编码器与判别网络参数,使目标域与源域编码器提取的特征尽量相似,从而实现遥感图像源域到目标域的特征迁移。结果 利用两个遥感场景识别数据集进行实验,验证特征迁移算法的有效性,同时尝试利用SUN397自然场景数据集与遥感场景间的迁移识别,采用相关性对齐以及均衡分布适应两种迁移学习方法作为对比。两组遥感场景数据集间的实验中,相比于仅利用源域样本训练的网络,经过迁移学习后的网络场景识别精度提升约10%,利用少量目标域标记样本后提升更为明显;与对照实验结果相比,利用少量目标域标记样本时提出方法的识别精度提升均在3%之上,仅利用源域标记样本时提出方法场景识别精度提升了10%~40%;利用自然场景数据集时,方法仍能在一定程度上提升场景识别精度。结论 本文提出的对抗迁移学习网络可以在目标域样本缺乏的条件下,充分利用其他数据集中的样本信息,实现不同场景图像数据集间的特征迁移及场景识别,有效提升遥感图像的场景识别精度。     

联合显著性特征与卷积神经网络的遥感影像舰船检测

目的 针对高分辨率遥感影像舰船检测受云雾、海浪以及海岛等复杂因素干扰,存在虚警率高、漏检率高、目标检测和识别困难等问题,提出一种联合视觉显著性特征与卷积神经网络的海面舰船目标检测方法。方法 基于频率域相位谱显著性检测能够有效抑制高分辨率遥感影像上云层、海面杂波干扰的特点,计算影像多尺度显著图并进行加权融合。采用对数变换对融合后的图像进行空间域灰度增强以提高目标与背景的区分度,利用灰度形态学闭运算填充舰船目标孔洞,采用大津分割法来提取疑似舰船目标作为兴趣区域。最后构建舰船样本库,利用迁移学习的思想训练卷积神经网络模型,对所有兴趣区域切片进行分类判断和识别,得到最终检测结果。结果 利用多幅不同背景下的高分辨率遥感影像,分别从视觉显著性检测、舰船粗检测与船只类型识别3个方面进行实验验证,选取检测率、虚警率、识别率3个指标进行定量评价。结果表明,本文方法相比于其他方法能有效排除云雾、海岛等多种因素的干扰,检测率、虚警率、识别率分别为93.63%、3.01%、90.09%,明显优于其他算法,能够实现大范围影像上多种类型舰船的快速准确检测和识别。结论 本文将图像视觉显著性检测快速获取图像显著目标的特点与卷积神经网络在图像分类的优势相结合,应用于遥感影像的海域舰船目标检测,能够实现对复杂背景下舰船目标的检测和船只类型的精细化识别。     

并行交叉的深度卷积神经网络模型

目的 图像分类与识别是计算机视觉领域的经典问题,是图像检索、目标识别及视频分析理解等技术的基础。目前,基于深度卷积神经网络(CNN)的模型已经在该领域取得了重大突破,其效果远远超过了传统的基于手工特征的模型。但很多深度模型神经元和参数规模巨大,训练困难。为此根据深度CNN模型和人眼视觉原理,提出并设计了一种深度并行交叉CNN模型(PCCNN模型)。方法 该模型在Alex-Net基础上,通过两条深度CNN数据变换流,提取两组深度CNN特征;在模型顶端,经过两次混合交叉,得到1024维的图像特征向量,最后使用Softmax回归对图像进行分类识别。结果 与同类模型相比,该模型所提取的特征更具判别力,具有更好的分类识别性能;在Caltech101上top1识别精度达到63%左右,比VGG16高出近5%,比GoogLeNet高出近10%;在Caltech256上top1识别精度达到46%以上,比VGG16高出近5%,比GoogLeNet高出2.6%。结论 PCCNN模型用于图像分类与识别效果显著,在中等规模的数据集上具有比同类其他模型更好的性能,在大规模数据集上其性能有待于进一步验证;该模型也为其他深度CNN模型的设计提供了一种新的思路,即在控制深度的同时,提取更多的特征信息,提高深度模型性能。     

局部显著特征下的光学遥感图像舷靠舰船检测

目的 在光学遥感图像中,针对舷靠舰船灰度和纹理特征与港口相近,传统方法检测效果不理想的问题,提出一种基于局部显著特征的舷靠舰船检测方法。方法 首先,对原始图像预处理得到海陆分割后的二值图像;然后,提取二值图像中的直线段作为局部显著特征检测舰船目标;再将直线段提取结果与舰首检测相结合,建立舷靠舰船检测模型;最后,通过计算舰船几何尺寸及环境信息分析确定舰船目标。结果 在两幅不同场景的光学遥感图像中验证本文方法并与其他算法进行对比,本文方法识别率可达100%,且不存在误检和漏检情况,相比于其他算法具有一定优势。在舰船背景复杂或停泊朝向不定时,文中方法可有效判别舰船停靠方向并对舰船目标进行正确标记。结论 在复杂背景环境及其他干扰下,应用本文方法检测舷靠舰船目标准确率高,鲁棒性强,具有较高适应性。     

双向特征融合的数据自适应SAR图像舰船目标检测模型

目的 利用合成孔径雷达（synthetic aperture radar,SAR）图像进行舰船目标检测是实施海洋监视的重要手段。基于深度学习的目标检测模型在自然图像目标检测任务中取得了巨大成功,但由于自然图像与SAR图像的差异,不能将其直接迁移到SAR图像目标检测中。针对SAR图像目标检测实际应用中对速度和精度的需求,借鉴经典的单阶段目标检测模型（single shot detector,SSD）框架,提出一种基于特征优化的轻量化SAR图像舰船目标检测网络。方法 改进模型并精简网络结构,提出一种数据驱动的目标分布聚类算法,学习SAR数据集的目标尺度、长宽比分布特性,用于网络参数设定;对卷积神经网络（convolutional neural network,CNN）提取的特征进行优化,提出一种双向高低层特征融合机制,将高层特征的语义信息通过语义聚合模块加成到低层特征中,在低层特征中提取特征平均图,处理后作为高层特征的注意力权重图对高层特征进行逐像素加权,将低层特征丰富的空间信息融入到高层特征中。结果 利用公开的SAR舰船目标检测数据集（SAR ship detection dataset,SSDD）进行实验,与原始的SSD模型相比,轻量化结构设计在不损失检测精度的前提下,样本测试时间仅为SSD的65%;双向特征融合机制将平均精确度（average precision,AP）值由77.93%提升至80.13%,训练和测试时间分别为SSD的64.1%和72.6%;与公开的基于深度学习的SAR舰船目标检测方法相比,本文方法在速度和精度上都取得了最佳性能,AP值较精度次优模型提升了1.23%,训练和测试时间较精度次优模型分别提升了559.34 ms和175.35 ms。结论 实验充分验证了本文所提模型的有效性,本文模型兼具检测速度与精度优势,具有很强的实用性。     

注意力机制改进卷积神经网络的遥感图像目标检测

目的 遥感图像目标检测是遥感图像处理的核心问题之一,旨在定位并识别遥感图像中的感兴趣目标。为解决遥感图像目标检测精度较低的问题,在公开的NWPU_VHR-10数据集上进行实验,对数据集中的低质量图像用增强深度超分辨率（EDSR）网络进行超分辨率重构,为训练卷积神经网络提供高质量数据集。方法 对原Faster-RCNN （region convolutional neural network）网络进行改进,在特征提取网络中加入注意力机制模块获取更多需要关注目标的信息,抑制其他无用信息,以适应遥感图像视野范围大导致的背景复杂和小目标问题;并使用弱化的非极大值抑制来适应遥感图像目标旋转;提出利用目标分布之间的互相关对冗余候选框进一步筛选,降低虚警率,以进一步提高检测器性能。结果 为证明本文方法的有效性,进行了两组对比实验,第1组为本文所提各模块间的消融实验,结果表明改进后算法比原始Faster-RCNN的检测结果高了12.2%,证明了本文所提各模块的有效性。第2组为本文方法与其他现有方法在NWPU_VHR-10数据集上的对比分析,本文算法平均检测精度达到79.1%,高于其他对比算法。结论 本文使用EDSR对图像进行超分辨处理,并改进Faster-RCNN,提高了算法对遥感图像目标检测中背景复杂、小目标、物体旋转等情况的适应能力,实验结果表明本文算法的平均检测精度得到了提高。     

跨层细节感知和分组注意力引导的遥感图像语义分割

目的 语义分割是遥感图像智能解译的关键任务之一,遥感图像覆盖面广,背景交叉复杂,且地物尺寸差异性大。现有方法在复杂背景下的多尺度地物上分割效果较差,且分割区域破碎边界不连续。针对上述问题,提出了一种跨层细节感知和分组注意力引导的语义分割模型用于高分辨率遥感图像解析。方法 首先采用结构新颖的ConvNeXt骨干网络,编码输入图像的各层次特征。其次,设计了分组协同注意力模块,分组并行建模通道和空间维度的特征依赖性,通道注意力和空间注意力协同强化重要通道和区域的特征信息。接着,引入了自注意力机制,构建了跨层细节感知模块,利用低层特征中丰富的细节信息,指导高层特征层学习空间细节,保证分割结果的区域完整性和边界连续性。最后,以山西省太原市为研究区域,自制高分辨率遥感太原市城区土地覆盖数据集（Taiyuan urban land cover dataset,TULCD）,所提方法实现了太原市城区土地覆盖精细分类任务。结果 实验在自制数据集TULCD和公开数据集Vaihingen上与最新的5种算法进行了比较,所提方法在两个数据集上平均像素准确率（mean pixel accuracy,mPA）为74.23%、87.26%,平均交并比（mean intersection over union,mIoU）为58.91%、77.02%,平均得分mF1为72.24%、86.35%,均优于对比算法。结论 本文提出的高分辨率遥感图像语义分割模型具有较强的空间和细节感知能力,对类间差异小的相邻地物也有较强的鉴别能力,模型的整体分割精度较高。     

高分辨率极化SAR图像水平集分割

目的 传统的极化SAR图像分割方法中,由于采用的统计分布模型不能较好地描述高分辨率的图像纹理特征,导致高分辨率极化SAR图像分割效果较差。针对这个问题,本文将具有广泛适用性的KummerU分布嵌入到水平集极化SAR图像分割方法中,提出了一种新的极化SAR图像分割算法。方法 将KummerU分布作为高分辨率极化SAR图像的统计模型,定义一种适用于极化SAR图像分割的能量泛函;利用最大似然法对各个区域的KummerU分布进行参数估计,并通过数值偏微分方程的方法求解水平集函数,实现极化SAR图像的区域分割。结果 分别对仿真全极化数据,真实全极化数据进行分割实验,结果表明本文提出的方法其分割精度高于传统方法,分割精度高于95%,从而验证了新方法的有效性。结论 本文算法能够对各向同质区和各向异质区的极化SAR图像都能取得良好的分割效果,并适应于多种场景,有效地分割出背景和目标。     

遥感图像飞机目标分类的卷积神经网络方法

目的 遥感图像飞机目标分类,利用可见光遥感图像对飞机类型进行有效区分,对提供军事作战信息有重要意义。针对该问题,目前存在一些传统机器学习方法,但这些方法需人工提取特征,且难以适应真实遥感图像的复杂背景。近年来,深度卷积神经网络方法兴起,网络能自动学习图像特征且泛化能力强,在计算机视觉各领域应用广泛。但深度卷积神经网络在遥感图像飞机分类问题上应用少见。本文旨在将深度卷积神经网络应用于遥感图像飞机目标分类问题。方法 在缺乏公开数据集的情况下,收集了真实可见光遥感图像中的8种飞机数据,按大致4∶1的比例分为训练集和测试集,并对训练集进行合理扩充。然后针对遥感图像与飞机分类的特殊性,结合深度学习卷积神经网络相关理论,有的放矢地设计了一个5层卷积神经网络。结果 首先,在逐步扩充的训练集上分别训练该卷积神经网络,并分别用同一测试集进行测试,实验表明训练集扩充有利于网络训练,测试准确率从72.4%提升至97.2%。在扩充后训练集上,分别对经典传统机器学习方法、经典卷积神经网络LeNet-5和本文设计的卷积神经网络进行训练,并在同一测试集上测试,实验表明该卷积神经网络的分类准确率高于其他两种方法,最终能在测试集上达到97.2%的准确率,其余两者准确率分别为82.3%、88.7%。结论 在少见使用深度卷积神经网络的遥感图像飞机目标分类问题上,本文设计了一个5层卷积神经网络加以应用。实验结果表明,该网络能适应图像场景,自动学习特征,分类效果良好。     

基于改进VGG16模型的人脸情绪识别预测研究

人脸情绪识别是人类沟通交流中的重要一部分,所以正确识别人脸情绪可以保证高质量的沟通效果。文章提出改进的VGG16模型作用于人脸情绪识别的预测研究。改进模型引入正负例样本均衡化来解决数据集分布不均衡的现象,从而优化局部最小值和过拟合现象;为了提高模型训练的泛化能力,引入局部归一化对图像数据集进行处理;利用交叉验证机制提高模型训练的精确度,且修改VGG16模型第一个全连接层为全卷积层以适应任意大小的输入样本。最后采用IM-VGG16、VGG16和ResNet18模型分别对数据集进行6分类识别。实验表明,与ResNet18和VGG16模型相比,IM-VGG16模型具有更高的情绪识别准确度,其最终的识别准确度为89.92%。     

用于遥感舰船细粒度检测与识别的关键子区域融合网络

目的 遥感图像中的舰船目标细粒度检测与识别在港口海域监视以及情报搜集等应用中有很高的实际应用价值,但遥感图像中不同种类的舰船目标整体颜色、形状与纹理特征相近,分辨力不足,导致舰船细粒度识别困难。针对该问题,提出了一种端到端的基于关键子区域特征的舰船细粒度检测与识别方法。方法 为了获得更适于目标细粒度识别的特征,提出多层次特征融合识别网络,按照整体、局部子区域两个层次从检测网络得到的候选目标区域中提取特征。然后结合候选目标中所有子区域的信息计算每个子区域的判别性显著度,对含有判别性组件的关键子区域进行挖掘。最后基于判别性显著度将子区域特征与整体特征进行自适应融合,形成表征能力更强的特征,对舰船目标进行细粒度识别。整个检测与识别网络采用端到端一体化设计,所有候选目标特征提取过程只需要经过一次骨干网络的计算,提高了计算效率。结果 在公开的带有细粒度类别标签的HRSC2016(high resolution ship collection)数据集L3任务上,本文方法平均准确率为77.3%,相较于不采用多层次特征融合识别网络提升了6.3%;在自建的包含45类舰船目标的FGSAID(fine-gr...     

Deep Neural Network Based Detection and Segmentation of Ships for Maritime Surveillance

In recent years, computer vision finds wide applications in maritime surveillance with its sophisticated algorithms and advanced architecture. Automatic ship detection with computer vision techniques provide an efficient means to monitor as well as track ships in water bodies. Waterways being an important medium of transport require continuous monitoring for protection of national security. The remote sensing satellite images of ships in harbours and water bodies are the image data that aid the neural network models to localize ships and to facilitate early identification of possible threats at sea. This paper proposes a deep learning based model capable enough to classify between ships and no-ships as well as to localize ships in the original images using bounding box technique. Furthermore, classified ships are again segmented with deep learning based auto-encoder model. The proposed model, in terms of classification, provides successful results generating 99.5% and 99.2% validation and training accuracy respectively. The auto-encoder model also produces 85.1% and 84.2% validation and training accuracies. Moreover the IoU metric of the segmented images is found to be of 0.77 value. The experimental results reveal that the model is accurate and can be implemented for automatic ship detection in water bodies considering remote sensing satellite images as input to the computer vision system.     

高分辨率遥感图像投影分析的靠岸舰船检测

目的 高分辨率遥感图像中,靠岸舰船检测有着广泛的应用前景,其主要难点在于舰船与港口陆地在空间上紧邻,在颜色和纹理特征上相似,舰船与港口陆地难以分割。针对这种情况,利用港口岸线平直的几何特点和靠岸舰船多为舷靠的停泊特点,提出一种基于投影分析的靠岸舰船检测方法。方法 首先,对原始图像进行预处理,利用K-means聚类算法与区域生长算法相结合的方式得到海陆分割图像,利用Sobel算子与Otsu分割结合的方式获取边缘图像;然后,通过改进的Hough变换提取直线特征,结合港岸几何特性定位港口岸线;再将海陆分割后的二值图像向沿岸线和垂直岸线两个方向进行投影,根据沿岸线方向投影形态确定和分离并靠舰船,根据垂直岸线方向的投影形态定位舰船目标;最后,利用舰船尺寸、长宽比、最小外接矩形占空比特征去除虚警。结果 在15个港口场景不同分辨率的遥感图像测试集上,本文方法整体检测率达到85.4%,虚警率达17.2%;限定分辨率范围在24 m的情形下,检测率提高到93.5%,虚警率降低至5.3%。结论 本文方法简单有效,无需港口先验信息,适用于多尺度和多方向的靠岸舰船目标检测任务,对不同类型舰船形态差异具有鲁棒性,且能够分离并靠舰船。     

基于深度学习的复杂气象条件下海上船只检测

为了解决复杂海情环境下的不同种类和大小的舰船检测问题,提出一种实时的深度学习的目标检测算法。首先,提出了一种清晰图片和模糊图片（雨、雾等图片）判别的方法;然后,在YOLO v2的深度学习框架的基础上提出一种多尺度目标检测算法;最后,针对遥感图像舰船目标的特点,提出了一种改进的非极大值抑制和显著性分割算法,对最终的检测结果进一步优化。在复杂海情和气象条件下的舰船目标公开比赛的数据集上,实验结果表明,相比原始的YOLO v2,该方法的准确率提升了16%。     

基于机器学习的遥感图像超分辨综述

综述了基于机器学习的遥感图像超分辨重建技术的研究和发展。基于机器学习的遥感图像超分辨率重建技术通过学习低分辨图像与高分辨图像之间映射的关系,提升遥感图像的空间分辨率,从而有助于遥感图像的视觉分析。根据数据表达方法的不同将基于机器学习的遥感图像超分辨方法分为两类,包括基于字典学习的方法和基于深度学习的方法;简述了各类方法针对的问题,分析其设计思路和实现原理;对各类方法的优缺点和性能指标进行了对比分析;总结了遥感图像超分辨面临的问题和难点,并对未来发展的趋势进行了展望。     

多尺度分形维的星载舰船显著性检测

目的 星上的舰船检测需要在资源和时间受限条件下实现快速检测,并且对目标的种类和尺寸缺少先验信息的指导,更多时候还需要实现一景图像中不同尺寸舰船的检测,因此,星上舰船检测要求检测方法具有一定的自适应性,从而实现星上多变的检测场景。方法 针对这一问题,提出了一种多尺度分形维的检测方法,可以实现一景遥感图像中不同尺寸舰船目标的检测。首先,针对差分盒算法受盒子尺寸约束的限制使分形维数的计算精度受到影响的问题提出了一种改进算法,改进算法增加了拟合直线的点对数目并引入了拟合误差剔除误差点对,提高了分形维特征计算的精确度。结果 在提高了分形维计算精度的基础上,新算法利用自然物体在不同尺度上具有的自相似性,通过多尺度分形维的计算并借鉴视觉显著性中c-s算子来排除背景对目标的干扰,突出舰船目标。实验结果表明,新算法能够有效检测出一景图像中不同尺寸的舰船,优于双参数CFAR算法的检测结果。结论 本文提出的多尺度分形维的检测算法可以实现对一景图像中不同尺寸舰船目标的检测,在保证一定检测率的同时有效降低了目标检测的虚警率。     

主动迁移学习的海上任意方向船只目标检测

在基于深度学习的遥感图像目标检测任务中,船只目标通常呈现出任意方向排列的特性,而常见的水平框目标检测算法一般不能满足此类场景的应用需求。因此本文在单阶段Anchor-Free目标检测器CenterNet的基础上加入旋转角度预测分支,使其能输出旋转边界框,以用于海上船只目标的检测。同时针对海上船只遥感数据集仅有水平边界框标注,无法直接适用于旋转框目标检测,且人工手动标注旋转框标签成本较高的问题,提出一种主动迁移学习的旋转框标签生成方法。首先,提出一种水平框-旋转框约束筛选算法,通过水平真值边界框来对旋转预测框进行监督约束,筛选出检测精度较高的图像加入训练集,然后通过迭代这一过程筛选出更多的图像,最后通过标签类别匹配,完成对数据集的旋转框自动化标注工作。本文最终对海上船只遥感图像数据集BDCI中约65.59%的图片进行旋转框标注,并手动标注部分未标注的图片作为测试集,将本文方法标注的图片作为训练集进行验证,评估指标AP50达到90.41%,高于其他旋转框检测器,从而表明本文方法的有效性。     

信息作战环境下舰船无源定位系统设计与实现

信息作战环境下,对我方舰船位置坐标与敌方舰船所在地理位置坐标进行准确、快速定位是定位系统设计的必备条件;传统舰船上使用的舰船定位系统存在定位源信号追踪稳定性差、恶劣环境下的定位信号搜索域范围小、定位波反干扰性差等一系列的问题;通过深度的研究分析,提出信息作战环境下舰船无源定位系统设计;采用三维立体空间定位单元、广域GPNS信号检索模组与谐波振频反干扰技术,实现作战环境下舰船无源定位系统设计;对作战环境下舰船无源定位系统的设计进行仿真实验测试;仿真实验测试证明,提出的信息作战环境下舰船无源定位系统设计具有定位速度快、坐标定位准、定位源抗干扰性强的优点,满足当今恶劣的信息作战环境,能够达到无源定位的目的。