基于跨连卷积神经网络的性别分类模型

为提高性别分类准确率, 在传统卷积神经网络(Convolutional neural network, CNN)的基础上, 提出一个跨连卷积神经网络(Cross-connected CNN, CCNN)模型. 该模型是一个9层的网络结构, 包含输入层、6个由卷积层和池化层交错构成的隐含层、全连接层和输出层, 其中允许第2个池化层跨过两个层直接与全连接层相连接. 在10个人脸数据集上的性别分类实验结果表明, 跨连卷积网络的准确率均不低于传统卷积网络.     

基于卷积神经网络的工控网络异常流量检测

针对工控系统中传统的异常流量检测模型在识别异常上准确率不高的问题，提出一种基于卷积神经网络（CNN）的异常流量检测模型。该模型以卷积神经网络算法为核心，主要由1个卷积层、1个全连接层、1个dropout层以及1个输出层构成。首先，将实际采集的网络流量特征数值规约到与灰度图像素值相对应的范围内，生成网络流量灰度图；然后，将生成好的网络流量灰度图输入到设计好的卷积神经网络结构中进行训练和模型调优；最后，将训练好的模型用于工控网络异常流量检测。实验结果表明，所提模型识别精度达到97.88%，且与已有的精度最高反向传播（BP）神经网络测精度提高了5个百分点。     

一种基于GMP-LeNet网络的车牌识别方法

车牌识别技术是智能交通管理系统的核心,对它的研究与开发具有重要的商业前景。传统的车牌字符识别方法存在特征提取复杂的问题,而卷积神经网络作为一种高效识别算法,对处理二维车牌图像具有独特的优越性。针对传统卷积神经网络LeNet-5识别车牌图像时,存在训练数据较少、全连接层参数冗余以及网络严重过拟合等一系列的问题,设计了一种全局中间值池化(GMP-LeNet)网络,其使用卷积层代替全连接层,利用Network In Network网络中的1*1卷积核进行通道降维,全局均值池化层直接将降维后的特征图馈送到输出层。实验证明,GMP-LeNet网络能有效抑制过拟合现象,并具有较快的识别速度和较高的鲁棒性,车牌识别率达到了98.5%。     

基于特征聚合的假新闻内容检测模型

针对假新闻内容检测中分类算法模型的检测性能与泛化性能无法兼顾的问题,提出了一种基于特征聚合的假新闻检测模型CCNN。首先,通过双向长短时循环神经网络提取文本的全局时序特征,并采用卷积神经网络（CNN）提取窗口范围内的词语或词组特征;然后,在卷积神经网络池化层之后,采用基于双中心损失训练的特征聚合层;最后,将双向长短时记忆网络（Bi-LSTM）和CNN的特征数据按深度方向拼接成一个向量之后提供给全连接层,采用均匀损失函数uniform-sigmoid训练模型后输出最终的分类结果。实验结果表明,该模型的F1值为80.5%,在训练集和验证集上的差值为1.3个百分点;与传统的支持向量机（SVM）、朴素贝叶斯（NB）和随机森林（RF）模型相比,所提模型的F1值提升了9~14个百分点;与长短时记忆网络（LSTM）、快速文本分类（FastText）等神经网络模型相比,所提模型的泛化性能提升了1.3~2.5个百分点。由此可见,所提模型能够在提高分类性能的同时保证一定的泛化能力,提升整体性能。     

基于一维卷积神经网络与长短期记忆网络结合的电池荷电状态预测方法

针对电池荷电状态（SOC）预测的精确度与稳定性问题以及深层神经网络的梯度消失问题,提出一种基于一维卷积神经网络（1D CNN）与长短期记忆（LSTM）循环神经网络（RNN）结合的电池SOC预测方法——1D CNN-LSTM模型。1D CNN-LSTM模型将电池的电流、电压和电阻映射到目标值SOC。首先,通过一层一维卷积层从样本数据中提取出高级数据特征,并充分地利用输入数据的特征信息;其次,使用一层LSTM层保存历史输入信息,从而有效地预防重要信息的丢失;最后,通过一层全连接层输出电池SOC预测结果。使用电池的多次循环充放电实验数据训练提出的模型,分析对比不同超参数设置下1D CNN-LSTM模型的预测效果,并通过训练模型来调节模型的权重系数和偏置参数,从而确定最优的模型设置。实验结果表明,1D CNN-LSTM模型具有准确且稳定的电池SOC预测效果。该模型的平均绝对误差（MAE）、均方误差（MSE）和最大预测误差分别为0.402 7%、0.002 9%和0.99%。     

联合中间层的深度卷积神经网络模型

针对当前卷积神经网络（Convolutional Neural Networks,CNN）模型通常将网络最后一层的输出作为特征表示,未能充分利用网络中间层的不足,提出了一种联合中间层的CNN模型（Intermediate Layers Connected-CNN,ILC-CNN）。该模型以AlexNet为基础,首先联合前、中、末端卷积层,通过深度连接方式连接;接着通过池化层、全连接层等操作得到描述图像的特征向量;通过辅助分类器训练方式保证了中间层特征的有效性,使模型得以成功训练。测试结果表明,该模型在图像分类与识别任务中效果显著,其提取的特征更具辨识度,具有比其他模型更高的识别精度。     

改进的卷积神经网络模型在人脸识别中的应用

为了避免传统机器学习算法进行人脸识别时存在的性能差、泛化能力弱等问题,现提出一种基于LeNet-5改进的卷积神经网络模型。该模型包含输入层、三个卷积和池化层、一个全连接层和输出层。每次卷积完,成后,都使用ReLU激活函数进行非线性映射来增强模型的拟合能力;每次最大池化完成后,都使用Dropout方法防止过拟合。运行结果表明改进的卷积神经网络模型对动态采集的人脸图像数据集进行模型训练和模型预测时,训练精度和预测精度都达到了99%,优于传统人脸识别算法,充分验证了改进的卷积神经网络模型的有效性。     

基于高低维度特征融合的双通道卷积神经网络

为了充分利用图像中所隐藏的特征信息,提出将低级维度特征融合在全连接层,构建出融合了高低级维度特征的双通道卷积神经网络。首先构建一个传统的双通道卷积神经网络,在两通道上设置不同大小的卷积核,将双通道的池化层分别连接到全连接层,同时将两通道卷积神经网络的第一池化层提取的特征也直接送到全连接层,使提取得到的初级和高级特征图在全连接层上进行融合,融合后的数据输入到Softmax分类器进行分类。不同算法在fashion-mnist和CIFAR-10数据库上的对比仿真结果表明,本文模型获得了较高的分类准确率。     

一种基于深度卷积神经网络的太阳能电池片缺陷检测方法

太阳能电池片缺陷检测是太阳能电池板可靠运行的重要保证。基于计算机视觉技术的机器学习类缺陷检测方法存在诸如需要人工特征选择、训练参数过多以及某些缺陷类型检测效果差等问题。提出了一种基于深度卷积神经网络(DCNN)的太阳能电池片缺陷检测方法。该方法以区分缺陷类别为检测目标，以太阳能电池片图像作为输入，构建一个包含3个卷积层、1个池化层、1个全连接层和1个输出层的深度网络。在训练网络参数的过程中，提出了参数个数优化策略，参数调整算法以及应对过拟合问题的措施。在数据集上的实验结果表明，DCNN方法对太阳能电池片的缺陷检测准确率可以达到97%以上，F值可达0.690。该方法在各个缺陷类别的检测准确率均要高于现有方法，其即时检测速度能够满足现实生产要求。     

改进卷积神经网络在互感器故障诊断中的应用

低压电流互感器作为电网中的关键设备,已经得到广泛使用。低压电流互感器故障诊断的在线检定也显得十分重要。提出了一种改进的全局平均池化的一维卷积神经网络（1DCNN-SVM）故障诊断模型应用于低压电流互感器在线检定。该方法改进了传统卷积神经网络（CNN）模型的结构,引入全局平均池化而不是全连接网络结构,并在测试阶段使用支持向量机（SVM）替代Softmax函数。通过进行实验分析,将所提的方法与传统的CNN进行实验对比,实验结果表明所提方法在训练时间、测试时间以及模型的测试精度等方面的表现都比传统的CNN结构模型要好。     

基于改进CNN的年龄和性别识别

人脸图像的年龄和性别识别是人脸分析的重要任务,在真实多变场景下完成识别依然面临挑战。改进深度卷积神经网络（Convolutional Neural Network,CNN）,将首层大尺寸卷积核替换为级联3[×]3卷积核;采用跨连卷积层融合中层和高层抽象特征;加入Batch Normalization（BN）层,设置较高的学习率和较小的Dropout比率;采用1[×]1卷积核与全局平均池化（Global Average Pooling）取代全连接层。实验表明,所提方法与主流的年龄性别识别方法比较具有较好的识别率,在Adience数据集上,年龄识别精度达到89.8%,性别识别精度达到93.3%。     

Hatching eggs classification based on deep learning

In order to realize the fertility detection and classification of hatching eggs, a method based on deep learning is proposed in this paper. The 5-days hatching eggs are divided into fertile eggs, dead eggs and infertile eggs. Firstly, we combine the transfer learning strategy with convolutional neural network (CNN). Then, we use a network of two branches. In the first branch, the dataset is pre-trained with the model trained by AlexNet network on large-scale ImageNet dataset. In the second branch, the dataset is directly trained on a multi-layer network which contains six convolutional layers and four pooling layers. The features of these two branches are combined as input to the following fully connected layer. Finally, a new model is trained on a small-scale dataset by this network and the final accuracy of our method is 99.5%. The experimental results show that the proposed method successfully solves the multi-classification problem in small-scale dataset of hatching eggs and obtains high accuracy. Also, our model has better generalization ability and can be adapted to eggs of diversity.     

A time-efficient convolutional neural network model in human activity recognition

Activity recognition represents the task of classifying data derived from different sensor types into one of predefined activity classes. The most popular and beneficial sensors in the area of action recognition are inertial sensors such as accelerometer and gyroscope. Convolutional neural network (CNN) as one of the best deep learning methods has recently attracted much attention to the problem of activity recognition, where 1D kernels capture local dependency over time in a series of observations measured at inertial sensors (3-axis accelerometers and gyroscopes) while in 2D kernels apart from time dependency, dependency between signals from different axes of same sensor and also over different sensors will be considered. Most convolutional neural networks used for recognition task are built using convolution and pooling layers followed by a few number of fully connected layers but large and deep neural networks have high computational costs. In this paper, we propose a new architecture that consists solely of convolutional layers and find that with removing the pooling layers and instead adding strides to convolution layers, the computational time will decrease notably while the model performance will not change or in some cases will even improve. Also both 1D and 2D convolutional neural networks with and without pooling layer will be investigated and their performance will be compared with each other and also with some other hand-crafted feature based methods. The third point that will be discussed in this paper is the impact of applying fast fourier transform (FFT) to inputs before training learning algorithm. It will be shown that this preprocessing will enhance the model performance. Experiments on benchmark datasets demonstrate the high performance of proposed 2D CNN model with no pooling layers.

     

Building efficient CNN architecture for offline handwritten Chinese character recognition

Deep convolutional neural networks-based methods have brought great breakthrough in image classification, which provides an end-to-end solution for handwritten Chinese character recognition (HCCR) problem through learning discriminative features automatically. Nevertheless, state-of-the-art CNNs appear to incur huge computational cost and require the storage of a large number of parameters especially in fully connected layers, which is difficult to deploy such networks into alternative hardware devices with limited computation capacity. To solve the storage problem, we propose a novel technique called weighted average pooling for reducing the parameters in fully connected layer without loss in accuracy. Besides, we implement a cascaded model in single CNN by adding mid output to complete recognition as early as possible, which reduces average inference time significantly. Experiments are performed on the ICDAR-2013 offline HCCR dataset. It is found that our proposed approach only needs 6.9 ms for classifying a character image on average and achieves the state-of-the-art accuracy of 97.1% while requires only 3.3 MB for storage.     

多重水印快速加密技术在图象深度传感器中的应用

本文研究了金融电子票据中高效率的快速多重数字水印加密在图象深度传感器中的应用方法,针对票据中的数字、签名等关键内容容易被篡改的问题,针对关键区域进行卷积神经网络的识别和水印加密。首先,利用卷积神经网络识别票据中的关键信息区域,以减少水印加密的运算数据量,提高金融票据自动处理效率。在传统的网络结构中,由于CNN的卷积池化操作,使得粗粒度和边缘信息丢失,CNN网络中最顶层的信息维度偏低,易导致过拟合。针对上述问题,本文提出利用票据图及其差分特征,构建适合CNN网络的多通道图像输入特征,充分挖掘图像内在特征;然后进一步改进传统的CNN网络结构,把所有卷积层的输出连接为一层,构成包含各层信息的融合特征,输入网络的全连接层进行分类识别。实验结果表明,改进后的CNN识别算法,相较传动CNN、DNN等算法,其性能均有明显提升,能够更加高效的进行多个关键区域的内容识别,从而高效的进行多重数字水印的加密,提高金融票据处理的安全性和运算效率。     

结合迁移学习与可分离三维卷积的微表情识别方法

针对现有微表情自动识别方法准确率较低及微表情样本数量不足的问题,提出一种融合迁移学习技术与可分离三维卷积神经网络（S3D CNN）的微表情识别方法。通过光流法提取宏表情和微表情视频样本的光流特征帧序列,利用宏表情样本的光流特征帧序列对S3D CNN进行预训练,并采用微表情样本的光流特征帧序列微调模型参数。S3D CNN网络由二维空域卷积层及添加一维时域卷积层的可分离三维卷积层构成,比传统的三维卷积神经网络具有更好的学习能力,且减少了模型所需的训练参数和计算量。在此基础上,采用迁移学习的方式对模型进行训练,以缓解微表情样本数量过少造成的模型过拟合问题,提升模型的学习效率。实验结果表明,所提方法在CASME II微表情数据集上的识别准确率为67.58%,高于MagGA、C3DEvol等前沿的微表情识别算法。     

基于堆叠卷积注意力的网络流量异常检测模型

入侵检测系统(IDS)在发现网络异常和攻击方面发挥着重要作用,但传统IDS误报率较高,不能准确分析和识别异常流量。目前,深度学习技术被广泛应用于网络流量异常检测,但仅仅采用简单的深度神经网络(DNN)模型难以有效提取流量数据中的重要特征。针对上述问题,提出一种基于堆叠卷积注意力的DNN网络流量异常检测模型。通过堆叠多个以残差模块连接的注意力模块增加网络模型深度,同时在注意力模块中引入卷积神经网络、池化层、批归一化层和激活函数层,防止模型过拟合并提升模型性能,最后在DNN模型中得到输出向量。基于NSL-KDD数据集对模型性能进行评估,将数据集预处理生成二进制特征,采用多分类、二分类方式验证网络流量异常检测效果。实验结果表明,该模型性能优于KNN、SVM等机器学习模型和ANN、AlertNet等深度学习模型,其在多分类任务中识别准确率为0.807 6,较对比模型提高0.034 0～0.097 5,在二分类任务中准确率和F1分数为0.860 0和0.863 8,较对比模型提高0.013 0～0.098 8和0.030 6～0.112 8。     

基于并行混合神经网络模型的短文本情感分析

针对传统的卷积神经网络（CNN）在进行情感分析任务时会忽略词的上下文语义以及CNN在最大池化操作时会丢失大量特征信息，从而限制模型的文本分类性能这两大问题，提出一种并行混合神经网络模型CA-BGA。首先，采用特征融合的方法在CNN的输出端融入双向门限循环单元（BiGRU）神经网络，通过融合句子的全局语义特征加强语义学习；然后，在CNN的卷积层和池化层之间以及BiGRU的输出端引入注意力机制，从而在保留较多特征信息的同时，降低噪声干扰；最后，基于以上两种改进策略构造出了并行混合神经网络模型。实验结果表明，提出的混合神经网络模型具有收敛速度快的特性，并且有效地提升了文本分类的F1值，在中文评论短文本情感分析任务上具有优良的性能。