基于时空序列的Conv-LSTM航班延误预测模型

精准的航班延误预测结果可以为大面积航班延误的预防提供巨大的参考价值。航班延误预测是在特定空间下做时间序列预测,然而目前已有预测方法多为两种或多种算法的结合,存在算法间的融合问题。针对上述问题,提出了一种综合考虑时空序列的卷积长短时记忆（Conv-LSTM）网络航班延误预测模型。所提模型在长短时记忆（LSTM）网络提取时间特征的基础上,将网络的输入和权重矩阵进行卷积来提取空间特征,从而充分利用数据集包含的时间和空间信息。实验结果表明,与LSTM、仅考虑空间信息的卷积神经网络（CNN）模型相比,Conv-LSTM模型的准确率分别提高了0.65个百分点和2.36个百分点。由此可见,同时考虑时空特性可以在航班延误问题中获得更精确的预测结果。此外,基于所提模型设计并实现了基于浏览器/服务器（B/S）架构的航班延误分析系统,并且该系统也可以应用于空中交通管理局流量控制中心。     

基于LK-3DCNN网络特征的高光谱遥感图像分类算法

传统的高光谱图像分类方法均采用手工提取特征的方式,其表达能力有限,不能满足分类任务的高精度需求。因此,提出一种基于LK-3D卷积神经网络（Convolutional Neural Network,CNN）特征的高光谱遥感图像分类算法。该算法结合空洞卷积和三维卷积神经网络的双分支融合结构,对遥感图像进行深度特征提取,有利于提升小样本高光谱遥感图像数据分类的性能。在公开的3组高光谱遥感图像数据集上,与主成分分析（Principal Components Analysis,PCA）+3DCNN、PCA+3D-2DCNN算法进行对比,实验结果表明所提出的双分支融合网络提升了高光谱遥感图像的分类精度,具有较好的鲁棒性。     

基于团簇随机连接的CliqueNet航班延误预测模型

针对目前民航运输业延误率较高,而传统算法难以解决高精度延误预测的问题,提出一种基于随机连接团簇网络（CliqueNet）航班延误预测模型。该模型首先对航班数据和相关气象数据进行融合;然后,充分利用改进后的网络模型对融合后的数据集进行特征提取;最后,使用Softmax分类器进行航班离港延误各等级的高精度预测。模型的主要特点是：在团簇特征层的随机连接,以及在转换层引入通道和空间注意力残差（CSAR）模块。前者以更为有效的连接方式传递特征信息;后者则对特征信息进行通道和空间维度的双重标定,以提高准确率。实验结果表明,对融合数据进行预测,引入随机连接和CSAR模块后,新模型的准确率分别提高了0.5%、1.3%,最终准确率能达到93.40%。     

基于深度卷积神经网络的车型识别

传统的基于卷积神经网络的车型识别算法存在识别相似车型的准确率不高,以及在网络训练时只能使用图像的灰度图从而丢失了图像的颜色信息等缺陷。对此,提出一种基于深度卷积神经网络(Deep Convolution Neural Network,DCNN)的提取图像特征的方法,运用深度卷积神经网络对背景较复杂的车型进行网络训练,以达到识别车型的目的。文中采用先进的深度学习框架Caffe,基于AlexNet结构提出了深度卷积神经网络的模型,分别对车型的图像进行训练,并与传统CNN算法进行比较。实验结果显示,DCNN网络模型的准确率达到了96.9%,比其他算法的准确率更高。     

基于Winograd卷积的并行深度卷积神经网络优化算法

针对并行深度卷积神经网络算法在大数据环境下存在冗余特征计算过多、卷积运算性能不足和参数并行化合并效率低等问题，提出了基于Winograd卷积的并行深度卷积神经网络优化算法。首先，该算法提出基于余弦相似度与归一化互信息的特征过滤策略，通过先筛选后融合的方式消除了通道间对于冗余特征的计算，以此解决了冗余特征计算过多的问题；然后，结合MapReduce提出了并行Winograd卷积策略，通过使用并行化Winograd卷积运算替换传统卷积运算的方式来提升卷积运算的性能，以此解决了卷积运算性能不足的问题；最后，提出基于任务迁移的负载均衡策略，通过动态负载迁移的方式来均衡集群中各节点之间的负载，降低了集群总体的平均反应时长，以此解决了参数并行化合并效率低的问题。实验表明，WP-DCNN算法显著降低了DCNN在大数据环境下的训练代价，而且对并行DCNN的训练效率也有大幅提升。     

基于GR-CNN算法的网络入侵检测模型设计与实现

针对现有网络入侵检测系统对网络行为检测准确率较低、实时性较差、泛化性能较低的问题,利用深度学习具有良好分类性能及强泛化能力等优点,设计基于增益率算法和卷积神经网络算法的网络入侵检测模型。采用增益率筛选数据集数据特征,在保证入侵检测准确率的同时,缩短卷积神经网络训练时间。实验结果表明,该模型相比其他基于机器学习的入侵检测模型具有较高的准确率和较强的泛化能力,同时优化卷积神经网络训练方式,保证准确率的同时使神经网络训练时间减少了77%。     

基于深度卷积神经网络的面部表情识别研究

本研究为了解决传统面部表情识别模型准确率较低的问题，基于深度卷积神经网络（Deep Convolutional Neural Network,DCNN）提出一种新的改进神经网络模型，与传统模型相对比，本模型将其核心的卷积层替换成了深度可分离卷积层，同时搭配卷积残差块的使用，使网络能够有效减少参数的情况下，能够提取多尺度上的特征信息，从而有效地保留了细节特征。最后通过仿真对比，证明本研究提出的DCNN网络具有突出的性能特点，适合用于面部表情识别任务。     

基于Im2col的并行深度卷积神经网络优化算法

针对大数据环境下并行深度卷积神经网络（DCNN）算法中存在数据冗余特征多、卷积层运算速度慢、损失函数收敛性差等问题,提出了一种基于Im2col方法的并行深度卷积神经网络优化算法IA-PDCNNOA。首先,提出基于Marr-Hildreth算子的并行特征提取策略MHO-PFES,提取数据中的目标特征作为卷积神经网络的输入,有效避免了数据冗余特征多的问题;其次,设计基于Im2col方法的并行模型训练策略IM-PMTS,通过设计马氏距离中心值去除冗余卷积核,并结合MapReduce和Im2col方法并行训练模型,提高了卷积层运算速度;最后提出改进的小批量梯度下降策略IM-BGDS,排除异常节点的训练数据对批梯度的影响,解决了损失函数收敛性差的问题。实验结果表明,IA-PDCNNOA算法在大数据环境下进行深度卷积神经网络计算具有较好的性能表现,适用于大规模数据集的并行化深度卷积神经网络模型训练。     

基于时间因子和复合CNN结构的网络安全态势评估

为了解决传统的网络安全态势感知研究方法在网络信息复杂情况下准确率不高等缺陷,文中结合深度学习,提出了一种基于时间因子和复合CNN结构的网络安全态势评估模型,将卷积分解技术和深度可分离技术相结合,形成4层串联复合最优单元结构;将一维网络数据转换为二维矩阵,以灰度值的形式载入神经网络模型,从而有效发挥卷积神经网络的优势.为充分利用数据间的时序关系,引入时间因子形成融合数据,使网络同时学习具备时序关系的原始数据和融合数据,增强模型的特征提取能力,同时利用时间因子和点卷积建立时序数据的空间映射,提高模型结构的完整性.实验结果证明,所提模型在两个数据集上的准确率分别达到了92.89％和92.60％,相比随机森林和LSTM算法提升了2％～6％.     

基于混合注意力机制的视频人体动作识别

C3D作为一种典型的三维卷积神经网络被应用于视频动作识别任务。针对其存在的特征提取不足、易出现过拟合以及识别准确率较低等问题,提出一种融合混合注意力机制的C3D三维卷积网络模型。在原C3D网络插入由GCNet通道注意力模块和3D-Crisscross空间注意力模块构建的混合注意力模块,这两种注意力网络具有全局上下文建模操作,能够对三维特征建立远程依赖关系,加强网络对视频特征在通道和空间上的特征提取能力,提高模型的分类性能。将所提方法在UCF-101和HMDB-51两个大型视频数据集上进行测试,并与深度学习的其他模型进行比较,结果表明,该方法相对于其他深度学习模型具有相对更高的准确率,在UCF-101和HMDB-51数据集上的识别准确率可以达到96.7%和63.3%,而且与原C3D方法相比在效果上有明显提升。     

基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法

针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆（1DCNN-BiLSTM）神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自动提取以及振动信号的分类。首先,采用自适应白噪声的完整经验模态分解（CEEMDAN）技术对原始振动信号进行预处理;其次,构建1DCNN-BiLSTM双通道模型,将处理后信号输入双向长短期记忆（BiLSTM）神经网络模型和一维卷积神经网络（1DCNN）模型两个通道,从而对信号的时序相关性特征、局部空间的非相关性特征和弱周期性规律进行充分提取;然后,针对信号夹杂强噪声的问题,对压缩与激励网络（SENet）模块进行改进并将其作用于两个不同的通道;最后,输入全连接层将双通道提取的特征进行融合并借助Softmax分类器实现对设备故障的精确识别。使用凯斯西储大学轴承数据集进行实验,结果表明改进后的SENet模块同时作用于1DCNN通道和stacked BiLSTM通道,1DCNN-BiLSTM双通道模型在保证快速收敛的情况下有最高诊断精度96.87%,优于传统单通道模型,有效提高了机械设备故障诊断效率。     

基于深度卷积神经网络的图像检索算法研究

为解决卷积神经网络在提取图像特征时所造成的特征信息损失,提高图像检索的准确率,提出了一种基于改进卷积神经网络LeNet-L的图像检索算法。首先,改进LeNet-5卷积神经网络结构,增加网络结构深度。然后,对深度卷积神经网络模型LeNet-L进行预训练,得到训练好的网络模型,进而提取出图像高层语义特征。最后,通过距离函数比较待检图像与图像库的相似度,得出相似图像。在Corel数据集上,与原模型以及传统的SVM主动学习图像检索方法相比,该图像检索方法有较高的准确性。经实验结果表明,改进后的卷积神经网络具有更好的检索效果。     

基于图卷积网络和门控循环单元的多站点气温预测模型

时空预测任务在神经科学、交通、气象等领域应用广泛.气温预测作为典型的时空预测任务,需要挖掘气温数据中固有的时空特征.针对现有气温预测算法存在预测误差大、空间特征提取不充分的问题,提出一种基于图卷积网络和门控循环单元的气温预测(GCN-GRU)模型.首先,使用重新分配权重和多阶近邻连接方式修正图卷积网络(GCN),以有效...     

基于非对称卷积-压缩激发-次代残差网络的人脸关键点检测

级联深度卷积神经网络（DCNN）算法为首先在人脸关键点检测中使用卷积神经网络（CNN）的模型,CNN的使用使得检测精度得到极大的提升。针对该策略需要对相邻阶段间的数据反复进行回归处理使得算法流程十分复杂的问题,提出基于非对称卷积-压缩激发-次代残差网络（AC-SE-ResNeXt）的人脸关键点检测算法。所提算法仅使用单阶段回归,既避免了级联策略中多阶段回归的算法流程复杂性,又解决了相邻阶段间数据需要进行预处理的问题。为了不降低精度,在次代残差网络（ResNeXt）块的基础上添加了非对称卷积（AC）模块和压缩激发（SE）模块,构建了AC-SE-ResNeXt网络模型。同时,为了能够精确拟合在不同光照、姿态、表情等复杂环境下的人脸,将AC-SE-ResNeXt网络模型加深到101层。对训练好的模型分别在数据集BioID和LFPW上进行测试,其中该模型在BioID数据集上的人脸五点关键点检测的综合平均误差率为1.99%,在LFPW数据集上的人脸五点关键点检测的综合平均误差率为2.3%。实验结果表明,所改进的算法不但简化了算法流程使之能进行端到端处理,而且其精度与级联DCNN算法相当,鲁棒性也有明显提升。     

基于DCNN的人脸特征点检测及面部朝向计算

在介绍人脸特征点检测的理论知识的基础上,提出了一种基于深层卷积神经网络（Deep Convolutional Neural Network,DCNN）解决人脸5点特征点（眼角、鼻子、嘴角）预测问题的方法。通过添加更多的卷积层稳定地增加网络的深度,并且在所有层中使用3×3的卷积滤波器,有效减小参数,更好地解决了人脸特征点检测问题。然后计算双眼角与嘴角所成平面与正视时此平面的单应性矩阵,最后利用等效算法求解驾驶员面部转角。实验结果表明,面部特征点检测准确率达到97.96%,算法在角度判断上的误差是1°~5°,这证明了该算法对注意力分散监测的有效性。     

基于多特征提取的图像语义描述算法

针对图像语义描述方法中存在的图像特征信息提取不完全以及循环神经网络（RNN）产生的梯度消失问题,提出了一种基于多特征提取的图像语义描述算法。所构建模型由三个部分组成：卷积神经网络（CNN）用于图像特征提取,属性提取模型（ATT）用于图像属性提取,而双向长短时记忆（Bi-LSTM）网络用于单词预测。该模型通过提取图像属性信息来增强图像表示,从而精确描述图中事物,并且使用Bi-LSTM捕捉双向语义依赖,从而进行长期的视觉语言交互学习。首先,使用CNN和ATT分别提取图像全局特征与图像属性特征;其次,将两种特征信息输入到Bi-LSTM中生成能够反映图像内容的句子;最后,在Microsoft COCO Caption、Flickr8k和Flickr30k数据集上验证了所提出算法的有效性。实验结果表明,与m-RNN方法相比,所提出的算法在描述性能方面提高了6.8~11.6个百分点。所提算法能够有效地提高模型对图像的语义描述性能。     

基于卷积神经网络的应用层协议识别方法

针对传统网络协议识别方法中人工提取特征困难以及识别准确率低等问题,提出了一种基于卷积神经网络（CNN）的应用层协议识别方法。首先,基于完整的传输控制协议（TCP）连接或用户数据报协议（UDP）交互划分原始网络数据,从中提取出网络流;其次,通过数据预处理将网络流转化为二维矩阵,便于CNN的分析处理;然后,利用训练样本集合训练CNN模型,自动化提取出网络协议特征;最终,基于训练成熟的CNN模型进行应用层网络协议的识别。实验结果表明,所提方法的总体协议识别准确率约为99.70%,能有效实现应用层协议的识别。     

Deep feature learning versus shallow feature learning systems for joint use of airborne thermal hyperspectral and visible remote sensing data

Recently, the development of various remote sensing sensors has provided more reliable information and data for identification of different ground classes. Accordingly, multisensory fusion techniques are applied to enhance the process of information extraction from complementary airborne and spaceborne remote sensing data. Most of previous research in the literature has focused on the extraction of shallow features from a specific sensor and on classification of the resulted feature space using decision fusion systems. In recent years, Deep Learning (DL) algorithms have drawn a lot of attention in the machine learning area and have had different remote sensing applications, especially on data fusion. This study presents two different feature-learning strategies for the fusion of hyperspectral thermal infrared (HTIR) and visible remote sensing data. First, a Deep Convolutional Neural Network (DCNN)-Support Vector Machine (SVM) was utilized on the features of two datasets to provide the class labels. To validate the results with other learning strategies, a shallow feature model was used, as well. This model was based on feature fusion and decision fusion that classified and fused the two datasets. A co-registered thermal infrared hyperspectral (HTIR) and Fine Resolution Visible (Vis) RGB imagery was available from Quebec of Canada to examine the effectiveness of the proposed method. Experimental results showed that, except for the computational time, the proposed deep learning model outperformed shallow feature-based strategies in the classification performance that was based on its accuracy.