基于改进的BERT-CNN模型的新闻文本分类研究

语言处理模型层出不穷,从在图像领域运用的卷积神经网络(Convolutional Neural Networks,CNN)、被改进后的TextCNN到循环神经网络(Rerrent Neural Network,RNN)、谷歌推出的transformer模型以及百度公司提出的ERNIE模型等.为了区分出在新闻文本领域处理效果最佳的文本分类模型,基于新闻文本任务数据对来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)进行微调,再将BERT作为embedding输入到其他深度学习模型中,最后对比目前几个深度学习模型的训练效果.实验结果表明,BERT-CNN模型分类效果最佳,其准确率比原BERT模型的准确率多了0.31％,且更为稳定.     

基于时空特征的恶意加密流量检测

加密技术保护了用户的隐私,但也使得恶意攻击可以隐藏一定的攻击特征,增加了检测难度。针对传统的检测方法存在的对于加密字段无法进行有效检测和过于依赖专家经验难以建立对应特征库等缺点,提出了一种不依赖专家经验、自动提取数据的时空特征的恶意加密流量检测方法 CNN-MHGRU。基于网络流量的数据结构,结合卷积神经网络（Convolutional Neural Networks,CNN）和门控循环单元（Gate Recurrent Unit,GRU）的时空特征提取能力,并加入多头注意力机制,使得GRU能够更好地处理长序列数据之间的联系。在公开数据集上进行二分类和多分类实验,CNN-MHGRU模型的准确率分别达到99.92%和92.98%,在对未知恶意加密流量二分类检测实验中准确率达到了99.89%,在整体上均优于实验对比模型。     

基于人体运动识别约束的室内定位方法

针对传统的行人航迹推算（Pedestrian Dead Reckoning,PDR）方法无法满足多运动状态下的定位问题,提出了一种基于神经网络运动识别辅助室内定位的方法。构建出卷积神经网络(Convolutional Neural Network,CNN)和门控循环单元（Gated Recurrent Unit,GRU）组合的神经网络模型,用于识别人体的运动状态并完成分类。根据运动分类的结果应用到行人航迹推算中,分析和筛选运动参数特征作为算法的阈值约束条件来提高定位精度。在算法中运动步数由合加速度计数据波形检测得到,步长由运动状态的特征自适应调整步长模型。通过实验验证,CNN-GRU模型在自建数据集上的准确率达到99.6%。将识别结果应用到PDR中,在112 m 4种动作的矩形路线中定位误差为1.8 m,误差远低于传统PDR定位的19.9 m。实验结果验证了该方法的可行性。     

高速移动环境下基于深度学习的信道估计方法

针对高速移动环境下信道快时变、非平稳特性导致下行链路信道估计性能受限的问题,本文提出一种基于深度学习的信道估计网络,即ChanEstNet.ChanEstNet使用卷积神经网络（Convolutional Neural Network,CNN）提取信道响应特征矢量和循环神经网络（Recurrent Neural Network,RNN）进行信道估计.我们利用标准的高速信道数据对学习网络进行离线训练,充分挖掘训练样本中的信道信息,使其学习到高速移动环境下信道快时变和非平稳的特点,更好的跟踪高速环境下信道的变化特征.仿真结果表明,在高速移动环境下,与传统方法相比,所提信道估计方法计算复杂度低,性能提升明显.     

基于ResNet_NSCS的通信信号调制识别

针对通信信号调制识别的特征提取问题,为进一步提高识别准确率,提出了一种基于嵌套式跳跃连接结构的残差网络(ResNet of Nested Shortcut Connection Structure,ResNet_NSCS)调制识别算法。该算法在残差神经网络(Residual Neural Network,ResNet)基础上,通过借鉴ResNet多通路选择思路,引入嵌套式恒等跳跃连接结构,利用提取的特征实现不同调制方式的分类。仿真结果表明,面向RadioML2016.10a数据集,较卷积神经网络(Convolutional Neural Network,CNN)算法和卷积神经网络_长短时记忆网络(Convolutional Neural Network_Long Short Term Memory Network,CNN_LSTM)算法,以增加网络复杂度为代价,ResNet_NSCS算法收敛速度快,识别准确率高。     

基于CRNN的中文手写识别方法研究

针对基于字符分割的中文手写识别方法存在字符分割准确率影响识别准确率和速度的问题,文中设计了一种基于卷积循环神经网络(Convolutional Recurrent Neural Network,CRNN)的中文手写识别方法,方法将特征提取、序列预测、序列对齐算法集成到同一网络,实现端到端(End-to-End)的训练和识别。模型仅需输入待识别中文手写图像,中文字符免分割,即可输出识别结果,识别的准确率(Accuracy)相较基于结构特征点字符分割识别算法提高了2. 29%,同时少了识别的时间。     

利用CNN的海上目标探测背景分类方法

该文主要研究基于卷积神经网络（Convolutional Neural Networks,CNN）的海上目标探测背景分类方法.以CNN中的经典网络LeNet为例,基于IPIX雷达实测数据集,进行控制变量的模型训练,对分类准确率、训练速度、一维信号的二维特征图变化等进行分析,基于实测数据集验证了利用CNN在一维雷达回波信号中进行海杂波与噪声分类的可行性,并同步分析了数据预处理、单个样本序列长度、网络结构参数等影响因素对分类准确率的影响,并针对典型探测场景分类进行了验证.结果表明,LeNet卷积神经网络在海上探测背景区分方面,具有很高的分类准确率,并且数据预处理方式、单个样本序列长度对结果影响显著,而网络结构参数有一定的调节区间,在此区间内调整,影响不显著,所提方法在顺/逆浪向、高/低海况条件下杂波分类与杂噪分类方面具有很高的准确率.     

基于分块CNN的多尺度SAR图像目标分类算法

针对合成孔径雷达（Synthetic Aperture Radar, SAR）图像目标分辨率差异大,多尺度SAR图像目标分类准确率不高的问题,提出了一种基于迁移学习和分块卷积神经网络（Convolutional Neural Network, CNN）的SAR图像目标分类算法。首先通过大量与目标域相近的源域数据对分块CNN的参数进行训练,得到不同尺度下的CNN特征提取网络;其次将CNN的卷积和池化层迁移到新的网络结构中,实现目标特征的提取;最后用超限学习机（Extreme Learning Machine, ELM）网络对提取的特征进行分类。实验数据采用美国MSTAR数据库以及多尺度SAR图像舰船目标数据集,实验结果表明,该方法对多尺度SAR图像的分类效果优于传统CNN。     

基于Word Embedding的遥感影像检测分割

遥感影像检测分割技术通常需提取影像特征并通过深度学习算法挖掘影像的深层特征来实现.然而传统特征（如颜色特征、纹理特征、空间关系特征等）不能充分描述影像语义信息,而单一结构或串联算法无法充分挖掘影像的深层特征和上下文语义信息.针对上述问题,本文通过词嵌入将空间关系特征映射成实数密集向量,与颜色、纹理特征的结合.其次,本文构建基于注意力机制下图卷积网络和独立循环神经网络的遥感影像检测分割并联算法（Attention Graph Convolution Networks and Independently Recurrent Neural Network,ATGIR）.该算法首先通过注意力机制对结合后的特征进行概率权重分配;然后利用图卷积网络（GCNs）算法对高权重的特征进一步挖掘并生成方向标签,同时使用独立循环神经网络（IndRNN）算法挖掘影像特征中的上下文信息,最后用Sigmoid分类器完成影像检测分割任务.以胡杨林遥感影像检测分割任务为例,我们验证了提出的特征提取方法和ATGIR算法能有效提升胡杨林检测分割任务的性能.     

基于CNN与WRGRU的网络入侵检测模型

针对当前的入侵检测方法普遍存在准确率与泛化性较低的问题,提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)和权重缩减门控循环单元(Weight Reduction Gated Recurrent Unit,WRGRU)的网络入侵检测模型(CNN-WRGRU).该模型首先利用C...     

基于深度学习的垃圾邮件文本分类方法

文中旨在研究基于深度学习的垃圾邮件文本分类方法，该方法结合了卷积神经网络（CNN）和循环神经网络（RNN）的模型，通过对邮件文本进行特征提取和分类，能高效、准确地对垃圾邮件进行分类。文中以卷积神经网络和循环神经网络为实验对象，提出了一种垃圾邮件文本分类方法，并在公开数据集上进行了实验。实验结果表明，该方法在垃圾邮件文本分类任务上具有较高的准确率和召回率。     

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network, CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种 基于残差网络的多层特征匹配生成对抗网络模型。提出的模型引入残差网络以挖掘高光谱图 像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分 利用网络的各层特征。提出的算法在Indian Pines、Pavia University和Salinas数据集 上的分类精度分别达到了97.6%,99.3%,99.1%,与径向基函数支持向量机(radial basis function-support vector machine, RBF-SVM)、堆叠自动编码器(stacked autoencoder, SAE)、深度置信网络(deep belief network, DBN)、PPF-CNN (CNN based on pixel-pair feature)、CNN和三维卷积网络 (three-dimensional convolutional neural network, 3D-CNN)方法相比较,其分类精度具有明显的提高。实验结果表明,提出的方法是一种有效 的高光谱图像分类方法。     

基于字符级联合网络特征融合的中文文本情感分析

针对传统卷积神经网络(CNN)同层神经元之间信息不能互传,无法充分利用同一层次上的特征信息,以及无法提取长距离上下文相关特征的问题.该文针对中文文本,提出字符级联合网络特征融合的模型进行情感分析,在字符级的基础上采用BiGRU和CNN-BiGRU并行的联合网络提取特征,利用CNN的强学习能力提取深层次特征,再利用双向门限循环神经网络(BiGRU)进行深度学习,加强模型对特征的学习能力.另一方面,利用BiGRU提取上下文相关的特征,丰富特征信息.最后在单方面上引入注意力机制进行特征权重分配,降低噪声干扰.在数据集上进行多组对比实验,该方法取得92.36%的F1值,结果表明本文提出的模型能有效的提高文本分类的准确率.     

自学习稀疏密集连接卷积神经网络图像分类方法

通道剪枝是深度模型压缩的主要方法之一。针对密集连接卷积神经网络中,每一层都接收其前部所有卷积层的输出特征图作为输入,但并非每个后部层都需要所有先前层的特征,网络中存在很大冗余的缺点。本文提出一种自学习剪枝密集连接网络中冗余通道的方法,得到稀疏密集连接卷积神经网络。首先,提出了一种衡量每个卷积层中每个输入特征图对输出特征图贡献度大小的方法,贡献度小的输入特征图即为冗余特征图;其次,介绍了通过自学习,网络分阶段剪枝冗余通道的训练过程,得到了稀疏密集连接卷积神经网络,该网络剪枝了密集连接网络中的冗余通道,减少了网络参数,降低了存储和计算量;最后,为了验证本文方法的有效性,在图像分类数据集CIFAR-10/100上进行了实验,在不牺牲准确率的前提下减小了模型冗余。      

基于线性映射场的fNIRS信号特征提取与分析

大脑功能性激活的相关研究普遍存在特征提取依赖人工经验、深层次生理学信息难以挖掘两大问题。针对这两个问题，该文通过引入变分模态分解(VMD)技术，提出自适应VMD算法。该算法考虑了脑血氧信号在不同频段下的生理意义，降低了传统VMD对超参数选取的依赖。实验结果表明自适应VMD算法能够精确地提取出功能性近红外光谱(fNIRS)中富有生理学意义的有效模态分量，进而提升数据预处理效果。在此基础上，基于将时间序列映射成图像并使用深度卷积神经网络进行特征学习的思路，提出线性映射场(LMF)。基于LMF，该文以较低的运算量将fNIRS序列映射成2维图像，辅以深度卷积神经网络，实现了fNIRS生理信号深层次特征的提取。实验结果证明了所提出LMF的优势。最后，该文对提出方法的有效性进行了讨论与分析，说明了不同于循环神经网络仅能“顺序”地感知时间序列，卷积神经网络对时间序列的“跳跃”感知是其取得优异效果的关键。     

基于CNNCIFG-Attention模型的文本情感分类

神经网络在处理中文文本情感分类任务时,文本显著特征提取能力较弱,学习速率也相对缓慢.针对这一问题,文中提出一种基于注意力机制的混合网络模型.首先对文本语料进行预处理,利用传统的卷积神经网络对样本向量的局部信息进行特征提取,并将其输入耦合输入和遗忘门网络模型,用以学习前后词句之间的联系.随后,再加入注意力机制层,对深层次...     

Multi-level fusion with deep neural networks for multimodal sentiment classification

The task of multimodal sentiment classification aims to associate multimodal information, such as images and texts with appropriate sentiment polarities. There are various levels that can affect human sentiment in visual and textual modalities. However, most existing methods treat various levels of features independently without having effective method for feature fusion. In this paper, we propose a multi-level fusion classification (MFC) model to predict the sentiment polarity based on the fusing features from different levels by exploiting the dependency among them. The proposed architecture leverages convolutional neural networks ( CNNs) with multiple layers to extract levels of features in image and text modalities. Considering the dependencies within the low-level and high-level features, a bi-directional (Bi) recurrent neural network (RNN) is adopted to integrate the learned features from different layers in CNNs. In addition, a conflict detection module is incorporated to address the conflict between modalities. Experiments on the Flickr dataset demonstrate that the MFC method achieves comparable performance compared with strong baseline methods.     

基于滤波重构和卷积神经网络的心电信号分类

计算机自动分类心电信号能够减轻医生工作压力并大幅提高诊断速度和准确率。文中针对传统算法中特征提取过程复杂及抗干扰能力弱的问题,提出了一种结合滤波重构和卷积神经网络的心电信号分类算法。该算法首先通过传统信号滤波和心拍序列重构去除原始心电信号中的噪声干扰,然后构建卷积神经网络来自动学习心电信号特征并完成分类。在PhysioNet/CinC Challenge 2017数据集上的分类实验结果表明,该方法的平均F₁(查准率、召回率的调和平均)达到了0.8471,优于人工特征提取和常规卷积网络方法,且具有很强的抗干扰能力。     

基于深度卷积神经网络的多特征融合的手势识别

针对传统的分类方法由于提取的特征比较单一或者分类器结构过于简单,导致手语识别率较低的问题,本文将深度卷积神经网络架构作为分类器与多特征融合算法进行结合,通过使用纹理特征结合形状特征做到有效识别。首先纹理特征通过LBP、卷积神经网络和灰度共生矩阵方法得到,其中形状特征向量由Hu氏不变量和傅里叶级数组成。为了避免过拟合现象,使用"dropout"方法训练深度卷积神经网络。这种基于深度卷积神经网络的多特征融合的手语识别方法,在"hand"数据库中,对32种势的识别率为97.73%。相比一般的手语识别方法,此方法鲁棒性更强,并且识别率更高。