一种新的深度卷积神经网络的SLU函数

修正线性单元(rectified linear unit,ReLU)是深度卷积神经网络常用的激活函数,但当输入为负数时,ReLU的输出为零,造成了零梯度问题;且当输入为正数时,ReLU的输出保持输入不变,使得ReLU函数的平均值恒大于零,引起了偏移现象,从而限制了深度卷积神经网络的学习速率和学习效果.针对ReLU函数的零梯度问题和偏移现象,根据"输出均值接近零的激活函数能够提升神经网络学习性能"原理对其进行改进,提出SLU(softplus linear unit)函数.首先,对负数输入部分进行softplus处理,使得负数输入时SLU函数的输出为负,从而输出平均值更接近于零,减缓了偏移现象;其次,为保证梯度平稳,对SLU的参数进行约束,并固定正数部分的参数;最后,根据SLU对正数部分的处理调整负数部分的参数,确保激活函数在零点处连续可导,信息得以双向传播.设计深度自编码模型在数据集MINST上进行无监督学习,设计网中网卷积神经网络模型在数据集CIFAR-10上进行监督学习.实验结果表明,与ReLU及其相关改进单元相比,基于SLU函数的神经网络模型具有更好的特征学习能力和更高的学习精度.     

一种基于卷积神经网络模型融合的织物疵点检测方法

针对织物疵点种类较多、形状差异大导致的检测准确率较低的问题,提出一种基于两个卷积神经网络模型融合的疵点识别方法。首先对织物的样本图像进行预处理,然后将样本图像缩小尺寸输入到一个网络模型进行训练;将样本图像采样后的图像输入到另一个网络模型训练。实验中使用ROC曲线下面积和平均精度均值的组合作为模型的评价指标,测试时取两个模型的预测结果平均,模型的评价指标值稳定在0.75左右。实验中还评估了图像翻转、测试集增强和模型融合的贡献,实验结果显示这些方法都有助于提高疵点检测的效果。     

一种识别表情序列的卷积神经网络

传统的人脸表情识别方法需要人为指定特征训练方向,卷积神经网络方法虽然可以自动训练分类特征,但是存在无法识别表情序列的弊端．针对此问题,运用一种多网络融合技术,使构建的网络能够对表情序列进行识别．网络构建方法为:首先构建多个卷积神经网络,使每个网络处理一帧图片;然后将处理结果在融合层进行融合;最后通过一个分类器输出识别结果．在CK+人脸表情数据库上,分别对3帧、4帧和5帧表情序列进行实验,均获得了较高的识别率．     

一种基于卷积神经网络的快速识别朱墨时序方法

朱墨的时序检测在文件检测和司法公正领域中是较为常见的问题.由于判定结果的准确性无法准确衡量,提出了基于卷积神经网络快速识别朱墨时序的方法.基于不同时序的朱墨样本在朱墨重叠处图像色素点的区别,用卷积神经网络做有监督训练分类,最终达到识别图像朱墨顺序的 目的.在理想的实验条件下,同一支笔的预测准确率能达到93％以上,泛化能力高达86％.在加入高斯噪声后,同一支笔的预测准确率仍能达到82％以上,泛化能力达到80％,大幅度提高了朱墨时序图像识别的准确性和稳定性.     

轻量化卷积神经网络目标检测算法研究

为有效解决巡检机器人视觉神经网络在车间精准目标检测实时性相关问题。文中以YOLOv4检测算法为基础框架,通过分析机器人在车间巡检时影响检测速度和精度等主要因素,引入应用深度可分离卷积的MobileNetV3轻量化特征提取网络,利用改进LYOLO的损失函数,构建了一种轻量化网络目标检测算法。实验结果表明：LYOLO算法网络参数量降至44.74 MB,平均检测精度可达93.6%,单张图片检测耗时为0.01 s,对巡检时的综合检测定位及检测实时性均获得较大提升。     

基于改进Fisher准则的深度卷积神经网络识别算法

为了有效利用深度学习技术自动提取特征的能力,并解决当训练样本量减少或者迭代次数降低时识别性能急速下降的问题,提出了基于Fisher准则的深度学习算法.该方法在前馈传播时,采用卷积神经网络自动提取图像的结构信息等特征,同时利用卷积网络共享权值和池化、下采样等方法减少了权值个数,降低了模型复杂度;在反向传播权值调整时,采用了基于Fisher的约束准则.在权值的迭代调整时既考虑误差的最小化,又同时让样本保持类内距离小,类间距离大,从而使权值能更加快速地逼近有利于分类的最优值,当样本量不足或训练迭代次数不多时可有效地提高系统的识别率.大量的实验结果证明:该基于Fisher准则的混合深度学习算法在标签样本不足或者较少训练次数的情况下依然能达到较好的识别效果.     

一种改进卷积神经网络的教学图像检索方法

针对卷积神经网络在提取图像特征时所造成的特征信息损失以及降低高维度图像特征数据等问题,提出了一种改进卷积神经网络的图像检索优化方法。该方法首先利用融合的卷积层提取图像特征,并在融合的卷积层之间添加全连接层以减少特征信息的丢失;然后采用主成分分析法对高维的特征数据进行有效的降维处理;最后采用余弦相似度的方法进行相似度匹配,以实现相似图像的检索。采用当前经典的LeNet-L、LeNet-5等方法同文中方法在图像检索性能评价指标上进行对比实验。实验结果表明,所提出的检索方法比文中其他检索方法在查全率和平均查准率方面提高了3%27.3%。     

基于多任务和卷积神经网络的业务识别算法

针对以低识别率对业务进行较高精度分类问题,提出了一种结合多任务学习和卷积神经网络(Multi-Task Learning and Convolutional Neural network,MTL-CNN)的网络业务识别算法,将业务分类重新构建为多任务学习框架,令业务类别作为主任务,带宽需求和持续时间作为辅助任务,3个任...     

基于YOLO神经网络的雷达目标成像识别评估研究

针对复杂地面背景环境下的武器装备精确探测识别需求,采用Lee增强滤波、对比度自适应直方图均衡化和能量归一化等图像预处理方法,提高SAR图像质量;通过引入两个可学习的参数和采用基于非极大值抑制(NMS)方法构建了优化的YOLO神经网络目标识别方法,对基于轮廓、纹理等特征的地面目标SAR图像自动识别进行了实验.实验结果表明...     

Convolutional neural networks recognition algorithm based on PCA

To improve the insufficiency of Synthetic Aperture Radar(SAR) labeled training data for Convolutional Neural Networks(CNN) and the recognition rate for large variations, a novel CNN recognition algorithm is proposed. Firstly, a set of features is extracted from the original data by unsupervised training based on PCA as the initial filter set for CNN. Secondly, in order to accelerate the training speed while avoiding over-fitting, the Rectified Linear Units(ReLU) is adopted as the non-linear function. Thirdly, to strengthen robustness and mitigate the defects of pooling upon features, a probabilistic max-pooling sampling method is introduced and local contrast normalization is exploited on features after the convolutional layer. Experiments demonstrate that our algorithm outperforms the original CNN in recognition rate and achieves better robustness for large variations and complex background.     

Improved algorithm for detection of the malicious domain name based on the convolutional neural network

Aiming at the problem that the existing detection methods are not efficient in detecting the malicious domain name generated by the algorithm, especially the detection rate of several types of malicious domain names that are difficult to detect is low, an improved algorithm for detection of the malicious domain name based on the convolutional neural network is proposed. Based on the existing convolutional neural network model, this algorithm adds convolutional branches to extract deeper character-level features, so that both shallow and deep character-level features of malicious domain names could be extracted and fused simultaneously. A focal loss function is introduced as a loss function to solve the problem of sample imbalance caused by difficulty and quantity, which is used to improve the detection accuracy of hard-to-detect samples. The average detection accuracy of the improved algorithm for 20 types of malicious domain names is 97.62%, that is, 0.94% higher than that of the original algorithm, and the detection accuracy of four hard-to-detect domain names is increased by 3.71%, 4.6%, 11.18% and 17.8%, respectively. Experimental results show that the improved algorithm can effectively improve the detection accuracy of malicious domain names, especially for some hard-to-detect domain names.     

基于PSO-ConvK卷积神经网络的肺部肿瘤图像识别

针对卷积核随机初始化以及梯度下降法训练卷积神经网络易陷入局部最值问题,提出粒子群算法优化卷积核(particle swarm optimization-convolution kernel, PSO-ConvK)的图像识别方法。使用参数迁移法构造卷积神经网络,并提取卷积核,利用PSO不断更新粒子的速度和位置,寻找全局最优值以初始化卷积核,将其传递到卷积神经网络,用肺部肿瘤数据训练卷积神经网络,结合梯度下降法修正网络权重,使得PSO算法的全局优化能力与梯度下降法的局部搜索能力相结合。试验通过批次大小、迭代次数以及网络层数3个角度验证方法的有效性,并与高斯函数优化卷积核进行对比。结果显示, PSO优化卷积核的识别率始终高于随机化卷积核和高斯卷积核,识别率最终达到98.3%,具有一定的可行性和优越性。     

基于卷积神经网络的木材缺陷识别

为提高木材缺陷识别率,提出一种基于卷积神经网络算法的识别方法。采用渐近式学习方法来确定训练样本数目,给出了对应的网络结构,降低了算法消耗的时间。试验结果表明,该方法无需对图像进行复杂的预处理,能识别多种木材缺陷,精度较高且复杂度较小,具有很好的鲁棒性,也克服传统算法的诸多固有缺点。     

卷积神经网络混合模型的心律失常分类算法

心律失常表现为不规则的心跳,心律失常类型的判断是心血管疾病早期预防和诊断的关键.为提高心律失常分类的准确率和速度,实现心律失常类型的自动识别,研究并提出了一种以卷积神经网络(convolutional neural network,CNN)为核心的7层混合模型结构.为保持心拍的完整性,根据R-R间期对心电信号进行动态分...     

基于局部纹理特征的合成孔径雷达变体目标自动识别算法

提出了一种针对变体的识别算法,利用变体与原目标局部纹理之间的相似性进行识别。首先,提出了一种基于清晰边缘的合成孔径雷达(Synthetic aperture radar,SAR)图像配准算法;然后使用结合伽柏(Gabor)变换,局部二值模式(Local binary pattern,LBP)和空间区域直方图的纹理特征来描述SAR图像;最后用基于大特征的直方图序列的匹配做识别。基于MSTAR S2的试验结果证明了本算法的有效性。     

基于时频特征的卷积神经网络跳频调制识别

针对人工设计特征表征能力不足,提取难度大的问题,提出基于卷积神经网络（CNN）的跳频信号调制方式识别系统. 该系统通过训练学习跳频信号时频图特征,将调制方式识别问题转化为图像识别问题. 采用组合时频变换方法对跳频信号进行时频变换得到二维时频图;经过自适应维纳滤波算法滤除背景噪声,提高系统抗噪性;采用连通域检测和双线性插值算法提取跳频信号每跳时频图,对时频图大小进行重置调整;将已处理的时频图输入到设计的11层卷积神经网络中进行训练学习,通过在输出层增加Softmax分类器,实现跳频调制方式分类识别. 仿真结果表明,该系统在信噪比为–4 dB条件下,对跳频信号BPSK、QPSK、8PSK、SDPSK、QASK、16QAM、32QAM和GMSK共8种调制方式的平均识别率达到92.54%.     

一种新的SAR图像目标识别预处理方法

针对合成孔径雷达(SAR)目标识别问题,提出了一种有效的SAR图像预处理方法．首先通过自适应阈值分割、形态学滤波及几何聚类处理获得干净平滑的目标图像,再采用幂变换来增强图像质量,然后提取图像的主分量分析(PCA)、二维主分量分析(2DPCA)特征来进行识别．基于美国运动和静止目标获取与识别(MSTAR)计划录取的数据的实验结果表明,结合上述预处理,PCA,2DPCA的识别性能均可达到96.5%以上．     

一维卷积神经网络实时抗噪故障诊断算法

针对旋转机械智能诊断方法计算量大和抗噪能力差的问题,在经典模型LeNet-5的基础上提出基于一维卷积神经网络的故障诊断算法.采用全局平均池化层代替传统卷积神经网络中的全连接层,在降低模型计算量的同时,降低模型参数数量和过拟合的风险;利用随机破坏后的时域信号进行训练以提高其抗噪能力;采用改进后的一维卷积核和池化核直接作用于原始时域信号,将特征提取和故障分类合二为一,通过交替的卷积层和池化层实现原始信号自适应特征提取,结合全局平均池化层完成故障分类.利用轴承数据和齿轮数据进行实验验证并对比经典模型LeNet-5、BP神经网络和SVM.结果表明:采用全局平均池化层可有效降低模型计算量,提高模型在低信噪比条件下的诊断精度,采用随机破坏输入训练策略可显著提升模型的抗噪诊断能力;改进后的模型可以实现噪声环境下准确、快速和稳定的故障诊断.通过t-SNE可视化分析说明了模型在特征学习上的有效性.