基于深度语义分割的遥感图像海面舰船检测研究

针对在复杂海况下,遥感图像舰船检测容易受到海杂波、薄云、海岛等影响,导致检测结果可靠性低的问题,引入了端对端的深度语义分割方法,将深度卷积神经网络与全连接条件随机场结合。以ResNet架构为基础,首先将遥感图像经过深度卷积神经网络作为输入,对图像进行粗分割,然后经过改进的全连接条件随机场,利用高斯成对势和平均场近似定理建立条件随机场为递归神经网络作为输出,从而实现了端对端的连接。所提方法在Google Earth和NWPU-RESISC45建立的数据集上与其他模型进行对比,实验表明,所提方法提高了目标检测精度以及捕获图片精细细节的能力,平均交并比为83.2%,相对于其他模型具有明显优势,且运行速度快,满足遥感图像海面舰船检测的需求。     

利用卷积神经网络的自动驾驶场景语义分割

图像语义分割是现代自动驾驶系统的一个必要部分,因为对汽车周围场景的准确理解是导航和动作规划的关键。为提高自动驾驶场景的图像语义分割准确率,且考虑到当下流行的基于卷积神经网络的语义分割模型(DeepLab v3+)无法有效地利用注意力信息,导致分割边界粗糙等问题,提出一种融合底层像素信息与通道、空间信息的语义分割神经网络。在卷积神经网络中插入注意力模块,提取出图像语义级别的信息,通过学习图像的位置信息和通道信息得到更加丰富的特征;从卷积神经网络输出的各类别得分值计算出单点势能,且从初步分割图和原图得到成对势能,以便全连接条件随机场对图像的全部像素进行建模,并且优化图像的局部细节;全连接条件随机场通过迭代得到语义分割的最终结果。在CityScapes数据集上进行了测试,与DeepLab v3+相比较,改进后的模型分别提高了均交并比和均像素精度等关键指标1.07%和3.34%。它能够更加精细地分割目标,较好地解决分割边界粗糙,有效地抑制边界区域分割的过度平滑和不合理孤岛等问题。     

基于多尺度特征融合的遥感图像场景分类

为了解决遥感图像场景分类中因样本量小而分类精度不高的问题,提出了一种基于多尺度特征融合(MSFF)的分类方法。首先,对遥感图像进行尺度变换,得到同一遥感源图像的多个不同尺度图像。接着,将其分别输入深度卷积神经网络(DCNN)中进行卷积操作。然后,将各卷积层和全连接层提取出的不同尺度特征进行降维和编码/平均池化操作。最后,将各尺度特征进行编码融合并利用多核支持向量机(MKSVM)进行场景分类。在两个公开遥感图像数据集UCM Land-Use和NWPU-RESISC45中进行试验,分类精度最高分别达到98.91%和99.33%。本文方法能够利用不同尺度的图像特征,结合低、中、高层语义表示,使融合特征的可辨识性更高,同时使用多核支持向量机提高了深度网络学习的泛化能力,因此分类效果更好。     

多尺度特征融合空洞卷积 ResNet遥感图像建筑物分割

针对传统建筑物提取方法难以有效描述遥感图像细节特征,导致复杂场景下道路、树木及建筑物之间分割边界不清晰等问题,提出了一种基于多尺度特征融合空洞卷积ResNet(Multiscale-feature Fusion Dilated Convolution ResNet,MFDC-ResNet)模型。首先,为了获取遥感图像建筑物更大范围的特征信息,在深度残差网络中引入空洞卷积增大特征提取的感受野,以捕捉更丰富的多尺度细节特征;其次,为了增强空洞卷积中心点对图像局部区域特征的表达能力,利用3×3卷积核提取遥感图像的中心点区域特征,引入更多的中心点空间先验信息;最后,利用空间金字塔池化模型对不同尺度空洞卷积特征进行融合,获取不同尺度的遥感图像建筑物的上下文信息。在WHU遥感图像数据集上的实验表明,平均交并比mIoU达到0.820,召回率Recall达到0.882。提出算法不仅提高了分割精度,而且有效克服了道路、树木等因素的干扰,得到了较清晰的建筑物边界。     

基于KFCM和改进CV模型的海面溢油SAR图像分割

图像分割是合成孔径雷达(synthetic aperture radar,SAR)图像海面溢油检测的关键步骤之一,将核模糊C均值(kernel fuzzy Cmeans,KFCM)聚类方法及Chan-Vese (CV)模型应用于海面溢油SAR图像分割,为了解决单一KFCM方法分割精度不够高,及传统CV模型对初始条件敏感和收敛速度低的问题,提出了一种基于KFCM和改进CV模型的海面溢油SAR图像分割方法.首先利用KFCM算法将海面溢油SAR图像从原始样本空间映射到高维特征空间,得到聚类结果;然后将其作为CV模型的初始条件,以降低CV模型对初始条件的敏感性,并利用图像边缘强度取代传统CV模型中的Dirac函数,以提高模型的收敛速度和对不同SAR图像的适应性.大量实验结果表明,所提出的基于KFCM和改进CV模型的海面溢油SAR图像分割方法具有分割精度高、运算速度快的优点.     

基于卷积神经网络的光学遥感图像检索

提出了一种基于深度卷积神经网络的光学遥感图像检索方法。首先,通过多层卷积神经网络对遥感图像进行卷积和池化处理,得到每幅图像的特征图,抽取高层特征构建图像特征库;在此过程中使用特征图完成网络模型参数和Softmax分类器的训练。然后,借助Softmax分类器在图像检索阶段对查询图像引入类别反馈,提高图像检索准确度,并根据查询图像特征和图像特征库中特征向量之间的距离,按相似程度由大到小进行排序,得到最终的检索结果。在高分辨率遥感图像数据库中进行了实验,结果显示:针对水体、植被、建筑、农田、裸地等5类图像的平均检索准确度约98.4%,增加飞机、舰船后7类遥感图像的平均检索准确度约95.9%;类别信息的引入有效提高了遥感图像的检索速度和准确度,检索时间减少了约17.6%;与颜色、纹理、词袋模型的对比实验表明,利用深度卷积神经网络抽取的高层信息能够更好地描述图像内容。实验表明该方法能够有效提高光学遥感图像的检索速度和准确度。     

基于改进DeepLabV3+的铁谱图像语义分割

针对传统铁谱图像分割方法需要人工设计特征、存在特征冗余及误差累积等缺点,提出一种改进的DeepLabV3+方法,实现了对铁谱图像中严重滑动、疲劳、切削等6种磨粒的语义分割.该方法在DeepLabV3+基础上,引入密集连接的空洞空间池化金字塔模块,以增大感受野;通过改进密集金字塔模块,采用互质膨胀率的空洞卷积,避免了栅格效应;采用全连接条件随机场以改善分割结果.实验结果表明:该方法在铁谱图像测试集上的平均交占比为87.1％.     

基于改进DeepLabV3+的铁谱图像语义分割

针对传统铁谱图像分割方法需要人工设计特征、存在特征冗余及误差累积等缺点,提出一种改进的DeepLabV3+方法,实现了对铁谱图像中严重滑动、疲劳、切削等6种磨粒的语义分割.该方法在DeepLabV3+基础上,引入密集连接的空洞空间池化金字塔模块,以增大感受野;通过改进密集金字塔模块,采用互质膨胀率的空洞卷积,避免了栅格效应;采用全连接条件随机场以改善分割结果.实验结果表明:该方法在铁谱图像测试集上的平均交占比为87.1％.     

并行路径与强注意力机制遥感图像建筑物分割

遥感图像建筑物分割广泛应用于城市规划及军事领域,是当前遥感领域的研究热点。针对遥感图像中建筑物之间尺度变化较大、建筑物遮挡、建筑物阴影与建筑物边缘相似所导致建筑物分割精度较低的问题,提出一种并行路径和强注意力机制的卷积神经网络模型。该模型基于ResNet网络残差连接的思想,以ResNet为基础网络提高网络深度,并采用卷积下采样得到并行路径,提取建筑物的多尺度特征,以减少建筑物之间尺度变化的影响。然后加入强注意力机制,增强多尺度信息的融合效果,增加不同特征之间的区分度,抑制建筑物遮挡及建筑物阴影的影响。最后,在多尺度融合特征后加入金字塔空间池化模块,抑制分割结果中建筑物内部孔洞的出现,提高分割精度。在WHU以及Massachusetts Buildings公开数据集进行实验,分别从MIoU,Recall,Precision,F1-score 4个指标对分割结果进行量化比较,在Massachusetts Buildings数据集中MIoU达到72.84%,相较于ResUNet-a提升1.46%,能够有效提高遥感影像中建筑的分割精度。     

基于全卷积神经网络和结构化森林的结构体裂纹分割方法

针对现有深度学习方法在复杂背景下无法保证裂纹特征映射的有效传递和融合,结构化森林对相似、随机的裂纹特征无法准确判别的问题,提出一种基于全卷积神经网络和结构化森林的结构体裂纹分割方法。首先,以全卷积神经网络框架为基础构建5种消融神经网络用于扩充细微裂纹全局特征;其次,提出一种基于多尺度结构化森林的裂纹分割参数竞争策略用于效改善细微裂纹区分能力;最后利用基于消融神经网络和结构化森林的耦合分割方法进行裂纹图像的联合预测。在2类结构体裂纹数据集上对所提方法进行实验验证表明,所提方法能够在复杂相似背景下提高裂纹检测的精度,可以实现有效的结构体健康监测。     

基于区域划分的多特征纹理图像分割

由于纹理图像的复杂性和多样性,仅依靠传统的单一特征实现纹理图像分割无法满足其对分割精度的要求。本文提出结合区域划分的多特征纹理图像分割方法。首先,依据像素灰度的空间相关性定义多个纹理特征;然后利用区域划分将图像域划分成不同子区域,待分割同质区域由这些子区域拟合而成;通过分别定义多个特征图像的同质区域之间的异质性势能函数和刻画各子区域邻域关系势能函数来定义全局势能函数,并构建非约束吉布斯概率分布,从而建立纹理分割模型;最后,采用M-H算法采样上述概率分布,从而获得最优图像分割结果。分别对模拟纹理图像、遥感图像、自然纹理图像和SAR海冰图像进行了分割实验,并与利用单一特征得到的分割结果进行对比分析,定性和定量的测试结果验证了算法的有效性。     

Obtaining weld pool vision information during aluminium alloy TIG welding

An image sensing system for the TIG (tungsten inert-gas arc) welding process of aluminium alloy was established. The relationships between the image sensing system and the characteristic of welding current were discussed in detail. Front and back images of the weld pool were obtained with different welding parameters. In order to process the image, the characteristics of an aluminium alloy were analysed. Image processing and pattern recognition were first used to obtain information from the TIG welding process for aluminium alloy. The image of the weld pool was pre-processed using a series of methods: a weighted median filter, a statistical threshold by expectation and the projection method. A neural network method was used to extract the edge of the images of the weld pool. The result of detecting the edge with a BP neural network were excellent. The symmetry of the weld pool for aluminium alloy was studied when the welding current is large. The edge of the image of the whole weld pool is obtained in a single side image and an accurate method for measuring the weld pool geometry parameter is provided. Experiments show that using the image sensing to control the TIG weld width for aluminium alloy is an effective method.     

基于U-Net神经网络眼底图像的视盘分割研究

眼底图像中的视盘在青光眼筛查和诊断中起着重要作用。因此,从眼底图像中对视盘进行准确、快速地定位与分割具有重要意义。在过去,研究者们已经进行了对视盘的深入研究,但如何提高定位准确率和分割精度仍是视盘分割的一大难题。对此本文提出一种采用深度学习结构U-Net的视网膜视盘自动分割的方法,该方法结合机器学习,通过深度网络提取输入图像的视盘特征,从而得出相应的分割结果图。相对于传统的视盘分割方法,本文的U-Net神经网络能够有效学习有利于分割视盘的特征,从而提高分割的精确度,而且分割耗时更短。     

基于小波神经网络和证据理论的零件图像识别

提出基本概率分配构造和多源零件图像特征识别的方法。首先,获取零件图像的小波分解系数和零件图像的相对边缘像素系数。然后,以零件图像的小波分解系数和零件图像的相对边缘像素系数作为零件图像的特征,并作为神经网络的输入,得到多源零件图像识别的基本概率分配。最后,依据证据理论的合成规则得到零件的识别结果。实验结果表明,文中提出的方法是有效的。     

Automatic segmentation of fluorescence lifetime microscopy images of cells using multiresolution community detection—a first study

Inspired by a multiresolution community detection based network segmentation method, we suggest an automatic method for segmenting fluorescence lifetime (FLT) imaging microscopy (FLIM) images of cells in a first pilot investigation on two selected images. The image processing problem is framed as identifying segments with respective average FLTs against the background in FLIM images. The proposed method segments a FLIM image for a given resolution of the network defined using image pixels as the nodes and similarity between the FLTs of the pixels as the edges. In the resulting segmentation, low network resolution leads to larger segments, and high network resolution leads to smaller segments. Furthermore, using the proposed method, the mean‐square error in estimating the FLT segments in a FLIM image was found to consistently decrease with increasing resolution of the corresponding network. The multiresolution community detection method appeared to perform better than a popular spectral clustering‐based method in performing FLIM image segmentation. At high resolution, the spectral segmentation method introduced noisy segments in its output, and it was unable to achieve a consistent decrease in mean‐square error with increasing resolution.     

基于区间二型模糊模型的高分辨率遥感影像分割方法

为了解决高分辨遥感影像分割过程中存在的类属和分割决策不确定性问题,提出一种基于区间二型模糊模型的监督分割方法。利用高斯函数建立影像分割一型模糊模型,其模糊隶属度表征像素类属不确定性;为了改善一型模糊模型隶属度对类属不确定性的表达以及增强分割决策的准确性,分别采用均值和方差扩展方法在上述一型模糊模型基础上构建区间二型模糊模型;综合利用一型模糊模型隶属度及二型模糊模型隶属区间等信息实现分割决策。提出算法和经典算法对合成影像、World View-II和IKONOS全色影像进行分割实验,定性和定量的分析结果表明提出算法具有更高的分割精度。     

基于 FPGA 并行计算的多阈值分级海陆分割方法

由于微纳卫星在体积、重量以及功耗等方面的限制,星载宽幅遥感图像海陆分割需要现场可编程门阵列(FPGA)提供 高能效计算能力。 在保证分割精度前提下,利用 FPGA 有限片上资源实现低复杂度算法的并行计算是关键。 因此,本文提出一 种基于 FPGA 并行计算的多阈值分级海陆分割方法。 该方法以 OTSU 法为核心,利用基于多特征联合阈值的子图分类构成分 级海陆分割,以抑制海面中干扰点的影响。 此外,设计新颖的并行迭代计算结构,在提升 OTSU 计算效率的同时实现对片上缓 存占用的平衡性调整。 实验结果表明,本文方法可达到 98% 以上的整体检测精度。 同时,对于一幅 8 192×2 048 pixels 的遥感 图像,本文方法处理时间仅为 0. 16 s,较其它基于 FPGA 的方法的处理时间至少减少了 23. 81% 。     

基于yolov5在线可视铁谱图像磨粒多目标识别方法研究

鉴于在线图像可视铁谱获取的磨粒谱片图像分辨率低,磨粒种类复杂多变,磨粒图像背景复杂等问题,使得磨粒在线智能识别面临挑战。为了实现在线可视铁谱图像磨粒多目标实时检测与识别,提出基于yolov5在线可视铁谱图像磨粒多目标识别方法。以正常磨损磨粒、疲劳磨损磨粒、滑动磨损磨粒、球形磨粒、氧化磨损磨粒、切削磨损磨粒6种磨粒作为研究对象,基于yolov5深度神经网络模型对复杂油液环境下的异常磨损磨粒进行分割与识别。结果表明：基于yolov5算法的磨粒智能识别模型能够实现复杂环境下多目标、多类型磨粒在线实时识别,其识别速度和准确率基本满足油液在线监测需求,为装备在线图像可视铁谱技术工业化应用提供了技术支撑。