CNN融合PCA-DT模型的金属缺陷识别研究

针对金属缺陷识别分类,传统机器学习需要人工提取特征,而深度学习需要大量样本的问题,本文针对中小规模缺陷数据集提出了一种基于浅层的卷积神经网络（CNN）和决策树（DT）的金属缺陷分类方法。利用卷积神经网络提取特征,通过决策树分类,实现缺陷分类。引入主成分分析（PCA）方法对特征向量降维,减小过拟合并提升算法识别分类效率。为验证本文方法的通用性,除图像缺陷数据外还引入非图像缺陷数据。实验结果表明,本文方法除了能分类图像缺陷也能分类非图像缺陷,且在识别率等3个评价指标上本文方法优于传统机器学习方法,与深度学习方法持平,但在分类消耗时间上少于深度学习。     

基于卷积神经网络快速区域标定的表面缺陷检测

为检测生产线中产品的表面缺陷,提出一种基于卷积神经网络快速区域标定(Faster R-CNN)的缺陷检测方法,用于识别缺陷类型并标记出缺陷位置。预处理阶段提出区域规划方法粗略裁剪出缺陷主体,以避免产生大量冗余窗口,从而提升检测速度和精度。所提算法结合数据扩充方法增加了图像数量,通过划分K折交叉验证数据集改善了算法的鲁棒性;同时,将稀疏滤波思想融入卷积神经网络,提取双重深度特征作为Faster R-CNN的输入,提升了Faster R-CNN位置检测和识别的精度。通过油辣椒灌装生产线的封盖面典型缺陷检测验证了所提方法的可行性。     

多模深度卷积神经网络应用于视频表情识别

由于视频中的手工特征和主观情感之间的直接相关性很小,识别视频序列中的面部表情是一项很有挑战性的任务,为了克服这个缺陷,有效提高视频中的人脸表情识别性能。本方法采用两个深度卷积神经网络,即空间卷积神经网络和时间卷积神经网络,用于视频中的时空表情特征学习。其中,空间卷积神经网络用于提取视频中每一帧静态的表情图像的空间信息特征,而时间卷积神经网络用于从视频中多帧表情图像的光流信息中提取动态信息特征。然后,将这两个深度卷积神经网络学习到的时空特征进行基于深度信念网络(DBN)的特征层融合,输入到支持向量机实现视频中的人脸表情分类任务。在公共的RML和BAUM-1s视频情感数据集的测试结果表明,该方法分别取得了71.06%和52.18%的正确识别率,明显优于现有文献报导的结果。多模深度卷积神经网络的人脸表情识别方法能提高视频中人脸表情的识别性能。     

基于YOLOv3的轴表面荧光磁粉缺陷检测

在荧光磁粉缺陷检测中,为快速有效地对金属轴上的点状、线型以及摩擦型缺陷进行分类检测,引入了深度学习技术,并与图像处理技术结合设计了一种改进型金属轴表面缺陷检测系统,克服了传统识别方式人工选定处理区域的局限性。利用基于YOLOv3算法的神经网络模型,对CCD相机获取的轴表面图像数据集进行训练和测试,对不同缺陷进行精确目标识别;采用图像处理技术对识别的目标进行缺陷定量分析。实验结果表明:该方法对不同缺陷类型能进行有效识别,在检测精度与检测效率上具有较高的提升。     

改进Mask RCNN的焊缝缺陷检测

焊接缺陷检测是焊接行业的一项重要工作,利用X射线焊缝缺陷图像进行缺陷检测是焊接无损检测的重要手段。为实现对缺陷的自动识别和定位,结合缺陷的具体特征提出了一种改进的Mask RCNN实例分割网络实现对图像进行缺陷检测和分割。该方法在原有网络的基础上通过采用变形卷积更好地提取不规则形状缺陷特征信息,引入空洞卷积加强高层特征的感受野,在局部图像中融合全局图像信息使局部图像获取上下文信息,利用迁移学习和数据增强降低对训练数据的需求,提升检测和分割精度。最终,通过对焊缝X射线数据集上进行实验,验证改进的Mask RCNN模型与原始Mask RCNN模型以及Faster RCNN模型等模型进行客观比较,并对实验结果进行可行性分析,提出的模型表现出更精确的检测精度和更好的性能。实验结果表明改进的Mask RCNN模型可以更好的适用于焊缝缺陷检测中。     

基于卷积神经网络的水果图像分类识别研究

为了解决传统水果图像分类识别算法人工提取特征的缺陷,将卷积神经网络应用到水果图像识别上,基所创建的数据集,参照经典的卷积神经网络模型Le Net-5结构,提出更适合本数据集的卷积神经网络结构,首先对水果数据集进行分类标签,将苹果、梨、橙子、橘子、桃子分别标记为0、1、2、3、4,然后将图片分批次投入模型训练,该模型构建了一个输入层、两个卷积层、两个池化层、两个全连接层和一个输出层。卷积神经网络通过底层提取特征,再进一步更深层次提取特征,最后得到目标的分类。实验结果表明,所提出的卷积神经网络结构不仅在数据集上取得了较高的识别准确率,而且与传统的水果图像分类识别算法相比较,卷积神经网络避免了人工提取特征的繁琐过程。     

基于深度卷积神经网络的γ光子图像分类识别研究

通过对正电子探测成像技术获得的γ光子图像进行分类识别,有利于后续有针对性地快速获取图像所包含的有效信息。在MatConvNet上利用迁移学习的方法搭建深度卷积神经网络,通过对其参数的调整进一步提高网络分类识别的性能。为了验证网络性能,设计了10组不同形状的管材模型,利用仿真得到的扫描时间为1s的γ光子图像样本集对网络进行训练后,将其应用于扫描时间为0.1 s的γ光子图像样本进行分类识别,发现分类准确率在图像质量偏差、扫描时间为0.1 s的γ光子图像样本上仍然达到了94.72%。可见所搭建的深度卷积神经网络对γ光子图像具有很好的分类识别性能。     

基于关键帧的轻量化行为识别方法研究

针对目前双流卷积神经网络通常使用堆叠RGB帧和光流图分别提取视频的表观信息和运动信息,存在信息冗余和计算复杂度高的问题,基于时域分割网络提出了一种结合光流图、差分图像和并行卷积神经网络的行为识别算法。首先通过分析行为视频中存在的运动模糊现象,设计了一种基于图像特征量的关键帧选取算法,同时构建了一个包含表观信息流和运动信息流的改进时域分割网络,将关键帧RGB图像、非关键帧光流图像和差分图像并行地输入特征提取网络计算分类得分,最后将关键帧与非关键帧的行为类别得分进行平均融合后输入SoftMax层得到视频类别概率。为进一步降低算法的参数量和计算复杂度,设计了一种轻量化卷积神经网络作为特征提取网络。本文算法在UCF101数据集的识别准确率为94.7%,在HMDB51数据集的识别准确率为69.3%,推理速度相比于时域分割网络快了45.3%。实验结果表明,该算法能够高效利用视频的表观信息和运动信息,且具有较高的行为识别准确率。     

基于SURF特征的汽车轮毂型号识别

提出了一种基于SURF特征与神经网络相结合的方法,实现了对多种型号轮毂的识别.首先,将所有采集的样本图像分成训练集、验证集和测试集;然后,将所有样本图像缩放至合理大小并进行转灰操作;提取所有样本图像的SURF特征并导入到搭建好的神经网络中进行训练、验证和测试,通过神经网络强大的学习能力,从对大量特征数据的学习过程中获得一个最佳的识别模型.该方法可以以最少的样本图像获得一个能准确识别轮毂型号的识别模型.另外,该方法鲁棒性好、抗干扰能力强,能满足自动化生产线实时性的要求.     

小样本下自校正卷积神经网络的滚动轴承故障识别方法

针对实际工程中因故障样本数据稀少而导致模型识别准确率不高的问题,提出了一种基于自校正卷积神经网络(SC-CNN)的滚动轴承故障诊断模型,并将其应用于小样本条件下的故障识别研究。首先,为减少不同信号的数据分布差异,在每个卷积层后添加BN算法;其次,利用自校正卷积学习信号的多尺度特征,提高模型获取有用故障特征的能力;然后,引入通道自注意力机制,建立通道特征信息之间的相关性,用于突出故障特征并抑制数据过拟合;再将少量训练样本输入到模型中进行学习;最后,将各类不同条件下的故障信号输入到训练好的SC-CNN模型进行识别分类,并在两个数据集上进行实验验证。结果表明,所提模型在信噪比为-4 dB的强噪声环境下,识别准确率分别为98.64%和99.83%,在变工况条件下,识别准确率分别为94.37%和99.64%,验证了SC-CNN模型在小样本条件下具有较强的鲁棒性和泛化性能。     

基于Transformer模块和CNN的无人机避障方法研究

针对传统CNN避障方法无法获得全局感受野、图像特征提取计算量大的问题,以四旋翼无人机为研究对象,提出一种基于Swin Transformer模块改进CNN模型的无人机避障方法。首先,使用Swin Transformer代替CNN模型中的Conv2D层,进行全局信息特征提取;然后,构建3个残差结构相连的Swin Transformer网络,输出无人机在当前飞行环境下的转向预测和碰撞预测;最后,设计无人机多姿态映射控制系统,输出无人机避障控制指令。实验结果表明,所提方法碰撞预测平均准确率为96.8%,转向预测均方根误差(RMSE)为0.068,满足了无人机自主避障的要求。     

Connected Components-based Colour Image Representations of Vibrations for a Two-stage Fault Diagnosis of Roller Bearings Using Convolutional Neural Networks

Roller bearing failure is one of the most common faults in rotating machines.Various techniques for bearing fault diagnosis based on faults feature extraction have been proposed.But feature extraction from fault signals requires expert prior information and human labour.Recently,deep learning algorithms have been applied extensively in the condition monitoring of rotating machines to learn features automatically from the input data.Given its robust per-formance in image recognition,the convolutional neural network(CNN)architecture has been widely used to learn automatically discriminative features from vibration images and classify health conditions.This paper proposes and evaluates a two-stage method RGBVI-CNN for roller bearings fault diagnosis.The first stage in the proposed method is to generate the RGB vibration images(RGBVIs)from the input vibration signals.To begin this process,first,the 1-D vibration signals were converted to 2-D grayscale vibration Images.Once the conversion was completed,the regions of interest(ROI)were found in the converted 2-D grayscale vibration images.Finally,to produce vibration images with more discriminative characteristics,an algorithm was applied to the 2-D grayscale vibration images to produce connected components-based RGB vibration images(RGBVIs)with sets of colours and texture features.In the second stage,with these RGBVIs a CNN-based architecture was employed to learn automatically features from the RGBVIs and to classify bearing health conditions.Two cases of fault classification of rolling element bearings are used to validate the proposed method.Experimental results of this investigation demonstrate that RGBVI-CNN can generate advan-tageous health condition features from bearing vibration signals and classify the health conditions under different working loads with high accuracy.Moreover,several classification models trained using RGBVI-CNN offered high performance in the testing results of the overall classification accuracy,precision,recall,and F-score.     

Application of convolutional neural network to acquisition of clear images for objects with large vertical size in stereo light microscope vision system

For an object with large vertical size that exceeds the certain depth of a stereo light microscope (SLM), its image will be blurred. To obtain clear images, we proposed an image fusion method based on the convolutional neural network (CNN) for the microscopic image sequence. The CNN was designed to discriminate clear and blurred pixels in the source images according to the neighborhood information. To train the CNN, a training set that contained correctly labeled clear and blurred images was created from an open‐access database. The image sequence to be fused was aligned at first. The trained CNN was then used to measure the activity level of each pixel in the aligned source images. The fused image was obtained by taking the pixels with the highest activity levels in the source image sequence. The performance was evaluated using five microscopic image sequences. Compared with other two fusion methods, the proposed method obtained better performance in terms of both visual quality and objective assessment. It is suitable for fusion of the SLM image sequence.     

基于多阶通道响应对称双线性卷积神经网络的 分布式压力识别

目前基于传感阵列的分布式压力识别方法,通常先将压力信息表征为图像,然后再进行特征的提取与分类,但存在两个问题：传感阵列密度有限,压力图像分辨率低;柔性传感阵列存在弹性耦合,压力图像边缘模糊。本文提出了一种多阶通道响应对称双线性卷积神经网络(HoSB-CNN)。首先,构建通道注意力响应CNN,通过给不同特征依照显著性赋权值以提升一阶特征的描述能力。其次提出对称双线性特征,引入二阶特性提高CNN对边缘和纹理的敏感度,并利用其结构对称性降低网络复杂度。最后,提出多阶特征混合策略提升网络的非线性拟合能力。此外,通过自制数据采集平台和8×8传感阵列,建立压力字母数据集用于HoSB-CNN的验证。结果表明,该算法获得了98.11%的准确率。     

采用深度级联卷积神经网络的三维点云识别与分割

三维目标识别和模型语义分割在自动驾驶、机器人导航、3D打印和智能交通等领域均有着广泛应用。针对PointNet++未能结合三维模型的上下文几何结构信息的问题,提出一种采用深度级联卷积神经网络的三维点云识别与分割方法。首先,通过构建深度动态图卷积神经网络捕捉点云的深层语义几何特征;其次,通过将深度动态图卷积神经网络作为深度级联卷积神经网络的子网络递归地应用于输入点集的嵌套分区,以充分挖掘三维模型的深层细粒度几何特征;最后,针对点集特征学习中的点云采样不均匀问题,构建一种密度自适应层,利用循环神经网络编码每个采样点的多尺度邻域特征以捕捉上下文细粒度几何特征。实验结果表明,本算法在三维目标识别数据集ModelNet40和MoelNet10上的识别准确率分别为91.9%和94.3%,在语义分割数据集ShapeNet Part,S3DIS和vKITTI上的平均交并比分别为85.6%,58.3%和38.6%。该算法能够提高三维点云目标识别和模型语义分割的准确率,且具有较高的鲁棒性。     

基于多源异构数据的数控铣削表面粗糙度预测方法

针对传统数控铣削表面粗糙度预测模型泛化性差、精度较低等问题,提出了一种基于多源异构数据的数控铣削表面粗糙度预测方法.获取变工艺条件下数控铣削的工艺参数、刀具直径及工件材料等静态数据和振动信号、力信号及功率信号等动态数据;采用粒子群优化算法(PSO)优化卷积神经网络(CNN)的网络结构参数得到PSO-CNN;运用PSO-...     

基于卷积神经网络与扩展卡尔曼滤波的 单目视觉惯性里程计

针对单目相机采集室外图像易受环境光照影响、尺度存在不确定性的缺点,以及利用神经网络进行位姿估计不准确的问题,提出一种基于卷积神经网络(CNN)与扩展卡尔曼滤波(EKF)的单目视觉惯性里程计。采用神经网络取代传统里程计中基于几何约束的视觉前端,将单目相机输出的估计值作为测量更新,并通过神经网络优化EKF的误差协方差。利用EKF融合CNN输出的单目相机位姿和惯性测量单元(IMU)数据,优化CNN的位姿估计,补偿相机尺度信息与IMU累计误差,实现无人系统运动位姿的更新和估计。相比于使用单目图像的深度学习算法Depth-VO-Feat,所提算法融合单目图像和IMU数据进行位姿估计,KITTI数据集中09序列的平动、转动误差分别减少45.4%、47.8%,10序列的平动、转动误差分别减少68.1%、43.4%。实验结果表明所提算法能进行更准确的位姿估计,验证了算法的准确性和可行性。     

圆柱锂电池端面凹坑缺陷检测方法研究

端面凹坑是圆柱锂电池缺陷检测的重要指标之一。因为明暗对比度小的浅凹坑极易受金属表面上随机出现的亮点暗斑等强噪声的干扰,造成浅凹坑自动检测十分困难。为此,提出了一种解决方案：首先针对在单一光源角度下难以获取清晰的浅凹坑图像问题,采集6张凹坑在不同光源角度下的图像;其次采用时域平均和剔除异常值方法对6张图像进行融合得到基准面图像,并采用基于滑动窗口和奈奎斯特采样定理的空间滤波方法,减弱了信息强度较强的干扰噪声,再根据误差分析理论,提取灰度分布曲线的平均偏差;然后根据凹坑在灰度分布曲线中的形态,提取凹凸曲线段峰谷差和宽度比;最后采用BP神经网络方法建立检测模型来实现凹坑检测。对现场采集到的样本进行了测试,算法的正确检测率为100%。     

基于多头注意力的CNN-LSTM的换道意图预测

自动驾驶车辆与传统车辆混行的交通环境中,车辆的换道意图预测能够为自动驾驶车辆安全行驶提供有效保证。为了更准确地预测车辆的换道意图,将多头注意力与卷积神经网络(Convolution neural network,CNN)和长短时记忆(Long-short term memory,LSTM)网络结合,提出一种新型车辆换道意图预测算法。首先对NGSIM(Next generation Simulaion)数据集进行处理,提取车辆横向位置信息和周围环境信息。然后输入基于多头注意力(Multi-headattention)的CNN-LSTM模型,提高对输入序列特征的提取能力和预测精度。最后在NGSIM数据集验证该模型的有效性。试验结果表明,该模型能够从大量数据中提取到重要特征,同时通过特征对比试验发现,横向位置信息作为预测的主要特征,而周围环境信息作为预测的辅助特征。最后通过模型的对比试验得出,该模型的换道意图预测准确率在换道前1s、2s、3s相比于LSTM、CNN、CNN-LSTM模型具有更好的预测精度,可以为自动驾驶汽车设计先进的意图预测算法提供帮助和参考。     

Vehicle Color Recognition with Vehicle-Color Saliency Detection and Dual-Orientational Dimensionality Reduction of CNN Deep Features

Color is one of the most stable attributes of vehicles and often used as a valuable cue in some important applications. Various complex environmental factors, such as illumination, weather, noise and etc., result in the visual characteristics of the vehicle color being obvious diversity. Vehicle color recognition in complex environments has been a challenging task. The state-of-the-arts methods roughly take the whole image for color recognition, but many parts of the images such as car windows; wheels and background contain no color information, which will have negative impact on the recognition accuracy. In this paper, a novel vehicle color recognition method using local vehicle-color saliency detection and dual-orientational dimensionality reduction of convolutional neural network (CNN) deep features has been proposed. The novelty of the proposed method includes two parts: (1) a local vehicle-color saliency detection method has been proposed to determine the vehicle color region of the vehicle image and exclude the influence of non-color regions on the recognition accuracy; (2) dual-orientational dimensionality reduction strategy has been designed to greatly reduce the dimensionality of deep features that are learnt from CNN, which will greatly mitigate the storage and computational burden of the subsequent processing, while improving the recognition accuracy. Furthermore, linear support vector machine is adopted as the classifier to train the dimensionality reduced features to obtain the recognition model. The experimental results on public dataset demonstrate that the proposed method can achieve superior recognition performance over the state-of-the-arts methods.