基于深度学习的秀丽隐杆线虫显微图像分割方法

利用计算机实现自动、准确的秀丽隐杆线虫(C.elegans)的各项形态学参数分析,至关重要的是从显微图像上分割出线虫体态,但由于显微镜下的图像噪声较多,线虫边缘像素与周围环境相似,而且线虫的体态具有鞭毛和其他附着物需要分离,多方面因素导致设计一个鲁棒性的C.elegans分割算法仍然面临着挑战。针对这些问题,提出了一种基于深度学习的线虫分割方法,通过训练掩模区域卷积神经网络(Mask R-CNN)学习线虫形态特征实现自动分割。首先,通过改进多级特征池化将高级语义特征与低级边缘特征融合,结合大幅度软最大损失(LMSL)损失算法改进损失计算;然后,改进非极大值抑制;最后,引入全连接融合分支等方法对分割结果进行进一步优化。实验结果表明,相比原始的Mask R-CNN,该方法平均精确率(AP)提升了4.3个百分点,平均交并比(mIOU)提升了4个百分点。表明所提出的深度学习分割方法能够有效提高分割准确率,在显微图像中更加精确地分割出线虫体。     

基于卷积神经网络的指针式仪表识别

目前大部分研究指针式仪表识别的方法中提取指针是完全基于传统的图像处理技术,提取过程较为复杂且步骤繁多.为了有效解决指针式仪表读数识别中指针中轴线所在直线提取困难及识别精度不高等问题,本文提出了一种基于深度学习的指针式仪表的识别方法.首先用Faster R-CNN算法检测仪表圆盘,再采用基于深度学习的方法Faster R-CNN算法检测指针,根据得到的指针目标框的位置信息裁剪得到指针图像,在指针图像的基础上进行二值化、细化、霍夫变换检测直线、最小二乘法拟合直线等步骤识别仪表最终读数.和直接在仪表表盘目标框图像或原始图像上进行传统图像处理相比很大程度上减少了定位指针中轴线所在直线过程中的干扰.实验结果表明本文所提出的基于深度学习的指针检测的平均准确率高达96.55％.对于复杂背景下指针式仪表的指针区域的检测具有良好的准确性与稳定性.     

Mask R-CNN中特征不平衡问题的全局信息融合方法

特征不平衡问题是影响神经网络检测效率的关键因素。针对Mask R-CNN中的特征不平衡问题,提出一种基于全局特征金字塔网络（GFPN）的信息融合方法。通过将GFPN产生的不同大小特征相融合,生成包含全局语义信息的特征网络,并采用反向过程对原始特征层进行重新标度,从而使得每个特征层均含有全局语义信息。实验结果表明,与原始基于Mask R-CNN的方法相比,该方法的检测精度提升4~6个百分点,而检测时间仅增加0.112 s。     

基于多尺度残差神经网络的葡萄叶片病害识别

葡萄叶片不同程度的病害具有一定的相似性,目前对于葡萄叶片病害的识别多为病害种类识别,对不同程度病害识别的研究较少,且传统识别方法对于不同程度病害识别准确率较低。提出一种基于多尺度残差神经网络（Multi-Scale ResNet）的葡萄叶片病害识别方法。对葡萄叶片病害图像进行数据增强与叶片区域标注后,使用Mask R-CNN提取葡萄叶片部位,通过引入多尺度卷积以改变ResNet底层对不同尺度特征的响应,利用加入的SENet提升网络的特征提取能力,并将图像输入Multi-Scale ResNet中进行识别。实验结果表明,该方法的平均识别准确率达到90.83%,相比ResNet18提高了2.87个百分点。     

融合共现推理的Faster R-CNN输电线路金具检测

为促进目标检测模型与电力领域业务知识有机融合,缓解金具样本间长尾分布问题,有效提升输电线路金具的自动化检测效果,提出了融合共现推理的Faster R-CNN(faster region-based convolutional neural network)输电线路金具检测模型。首先,深入研究输电线路金具结构化组合规则,通过数据驱动的方式以条件概率对金具目标间的共现连接关系进行有效表达;然后,结合图学习方法,利用学习并映射的共现概率关联作为共现图邻接矩阵,使用基线模型(Faster R-CNN)提取的特征向量作为图推理输入特征,以自学习的变换矩阵作为共现图传播权重,完成图信息传播并实现有效的共现推理模型嵌入。实验证明,融合共现推理模块的Faster R-CNN模型较原始模型提升了6.56%的准确率,对于长尾分布样本中数量较少的金具性能提升尤其显著。     

Intelligent analysis method of dam material gradation for asphalt-core rock-fill dam based on enhanced Cascade Mask R-CNN and GCNet

Reasonable dam materials’ gradation design for asphalt-core rock-fill dams is one of the main ways to control permeability. It is a challenge to test whether it can meet the requirements of dam construction. The computer vision method provides a new idea for asphalt-core rock-fill dam material gradation testing. However, due to the characteristics of densely overlapping and multi-scale sizes of dam material particles, the traditional image segmentation methods and algorithms cannot achieve accurate segmentation of dam materials’ images, and it is hard to apply the segmentation result to quantify the gradation curve. In this research, the enhanced Cascade Mask R-CNN with ResNet and PAFPN (Path Aggregation Feature Pyramid Networks) is proposed. Multi-scale features extracted by ResNet and feature ensemble can be realized using PAFPN. Data augmentation (DA) and online hard example mining (OHEM) are also applied in segmentation model training. Moreover, the GCNet is proposed to calibrate the gradation curve. The nonlinear relationship between the real gradation and the one based on the segmentation results can be revealed and the model of dam materials’ gradation analysis can be established. In the research, the enhanced Cascade Mask R-CNN can achieve 84.2 mAP, which is higher than that of Cascade Mask R-CNN with 74.9 mAP. The effectiveness of the proposed module and training strategies is proved using ablation experiments. The average error of each level for the gradation calibration using GCNet is 0.55%, 1.87%, 2.22%, 1.18%, and 2.42% respectively. The accuracy can meet the requirements of hydraulic engineering construction, which verifies the effectiveness of the GCNet network for gradation calibration, and the research provides a new method and technology for intelligent gradation testing of the asphalt-core rock-fill dam.     

基于深度学习和灰度纹理特征的铁路接触网绝缘子状态检测

铁路接触网绝缘子状态检测对铁路行车安全有着 重大的意义,为解决目前人工对绝缘 子图像检测结果的不确定性,提出一种深度学习结合灰度纹理特征的检测方法。首先使用 Faster R-CNN (faster region-based convolutional neural network)目标检测算法对图像中绝缘子精确识别,再通过灰度共生矩阵对绝缘子纹理 特征进行分析提取,之后结合支持向量机将绝缘子分为正常绝缘子和异常绝缘子,实验数 据结果证明使用能量、熵、相关度3种纹理特征进行绝缘子状态分类时对实验数据中的正 常状态绝缘子的分类精度可达100%,异常状态绝缘子的分类精度达97.5%,最后依据绝缘 子图像灰度分布的周期性特点,利用灰度积分投影将异常绝缘子分为破损绝缘子和夹杂异 物绝缘子。实验结果表明所提方法可以有效对绝缘子状态进行检测分类。     

面向设备开关图像识别的改进Faster R-CNN

在大型工业厂房中,由于设备控制开关种类繁多、数量庞大,在日常的运维过程中,操作规程的繁杂性和人为判断的主观性可能导致操作失误,造成严重后果.为辅助操作人员准确判断设备开关状态是否正确,提出了面向设备开关状态识别的改进Faster R-CNN.首先,使用膨胀残差网络作为特征提取网络,在ResNet50中引入多分支膨胀卷积,融合不同感受野的信息;其次,改进特征金字塔网络,在原网络上增加一条自底向上的特征增强分支,融合多尺度的特征信息;然后,使用K-means++算法对开关边界框聚类,设计适合设备开关的候选框尺寸;最后,使用Soft-NMS代替非极大值抑制算法NMS来降低开关重叠对检测效果的影响,增强抑制重叠候选框的能力.在开关状态数据集上,改进Faster R-CNN的均值平均精度(mAP)达到了91.5%,并且已实际应用于抽水蓄能电站日常运维的设备开关状态辅助识别,满足复杂场景下的智能监管需求.     

瓷砖表面非常规尺寸瑕疵的检测

与普通目标检测任务不同,瓷砖表面瑕疵检测的困难之处在于检测小尺寸和大长宽比等非常规尺寸的目标.为了解决这两个问题,本文提出了一种基于改进Cascade R-CNN的新型瓷砖表面瑕疵检测算法.为了提高模型对小瑕疵的检测能力,本文模型利用侧向连接结构进行上下层语义信息的融合,使用可切换空洞率的空洞卷积来增加模型的感受野;为了提高模型对于大长宽比瑕疵的检测能力,本文模型在标准卷积上引入偏移域以更好提取目标特征信息.此外,本文模型调整Cascade R-CNN框架中预选锚框的大小和长宽比例.实验结果表明,在从瓷砖工厂收集的数据集上,本文所提出算法的平均精度均值(mean average precision, mAP)达到了73.5%,比改进前的Cascade RCNN模型提高了9.7%.本文实验代码可从以下链接获取:https://github.com/mashibin/Ceramic-tile-defect-detection.     

基于模型微调的空中无人机小样本目标识别方法

空中无人机目标识别是现代军事、航空领域的迫切需求,由于目前无人机的功能和种类繁多,对于新机型很难采集大量的无人机样本用于训练目标识别模型;针对该问题,提出了一种基于模型微调的空中无人机小样本目标识别方法;方法以Faster R-CNN为基础架构,首先采用具有大量标记样本的常见机型数据预训练Faster R-CNN模型;然后将基础架构最后的分类层替换为余弦度量,构建联合新机型与常见机型的小样本平衡数据集以较小的学习率微调分类层。实验结果表明,在标记样本数量为5、10和50的情况下,基于模型微调的小样本目标识别模型的mAP分别为88.6%,89.2%和90.8%,能够满足空中无人机小样本目标识别任务需求,且优于其它小样本目标识别方法。