基于循环卷积多任务学习的多领域文本分类方法

文本分类任务中,不同领域的文本很多表达相似,具有相关性的特点,可以解决有标签训练数据不足的问题.采用多任务学习的方法联合学习能够将不同领域的文本利用起来,提升模型的训练准确率和速度.该文提出循环卷积多任务学习(MTL-RC)模型用于文本多分类,将多个任务的文本共同建模,分别利用多任务学习、循环神经网络(RNN)和卷积神经网络(CNN)模型的优势获取多领域文本间的相关性、文本长期依赖关系、提取文本的局部特征.基于多领域文本分类数据集进行丰富的实验,该文提出的循环卷积多任务学习模型(MTL-LC)不同领域的文本分类平均准确率达到90.1％,比单任务学习模型循环卷积单任务学习模型(STL-LC)提升了6.5％,与当前热门的多任务学习模型完全共享多任务学习模型(FS-MTL)、对抗多任务学习模型(ASP-MTL)、间接交流多任务学习框架(IC-MTL)相比分别提升了5.4％,?4％和2.8％.     

Equation Chapter 1 Section 1一种多任务面部特征点与头部姿态检测方法

目前国内在面部特征点检测和头部姿态估计研究领域多采用单任务方式,分别对两项任务建立独立模型进行检测处理。本文通过证明面部特征点检测与头部姿态估计两项任务具有强相关性,设计了一种多任务卷积神经网络（MTL-CNN）将面部特征点检测和头部姿态估计两项任务关联于一个神经网络模型中,共享核心卷积神经网络提取到的特征,后采用独立的分类器进行检测,最终以5个面部特征点和3个头部姿态参数为目标输出。实验表明,相比于传统单任务独立检测方法,采用多任务卷积神经网络可以同时完成面部特征点检测与头部姿态估计两项任务,并且在检测速度、精度上有较大的提升。     

基于深度学习的垃圾邮件文本分类方法

文中旨在研究基于深度学习的垃圾邮件文本分类方法，该方法结合了卷积神经网络（CNN）和循环神经网络（RNN）的模型，通过对邮件文本进行特征提取和分类，能高效、准确地对垃圾邮件进行分类。文中以卷积神经网络和循环神经网络为实验对象，提出了一种垃圾邮件文本分类方法，并在公开数据集上进行了实验。实验结果表明，该方法在垃圾邮件文本分类任务上具有较高的准确率和召回率。     

基于改进的BERT-CNN模型的新闻文本分类研究

语言处理模型层出不穷,从在图像领域运用的卷积神经网络(Convolutional Neural Networks,CNN)、被改进后的TextCNN到循环神经网络(Rerrent Neural Network,RNN)、谷歌推出的transformer模型以及百度公司提出的ERNIE模型等.为了区分出在新闻文本领域处理效果最佳的文本分类模型,基于新闻文本任务数据对来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)进行微调,再将BERT作为embedding输入到其他深度学习模型中,最后对比目前几个深度学习模型的训练效果.实验结果表明,BERT-CNN模型分类效果最佳,其准确率比原BERT模型的准确率多了0.31％,且更为稳定.     

基于多任务学习的有源内腔混合气体反演算法研究（特邀）

针对目前深度学习在气体检测领域多聚焦于学习单个任务即气体定性分类或气体体积分数定量回归,忽略了相关任务间的信息关联性,降低了模型学习精度与效率等问题,提出了一种基于一维卷积神经网络和长短期记忆网络的多任务学习模型,即MTL-1DCNN-LSTM,并行实现了混合气体种类定性识别与体积分数定量回归。利用掺铥光纤,搭建了二级放大掺铥环腔光纤激光器,基于有源内腔吸收光谱法探测了CO₂和NH₃混合气体的吸收光谱数据。将实验数据放入多任务学习模型中训练,并进行超参数优化后,对测试集数据进行测试得到气体识别准确率为100%,NH₃体积分数预测决定系数为99.84%,CO₂体积分数预测决定系数为99.62%,优于单任务模型与传统的气体反演算法如反向传播神经网络和支持向量机。所提出的深度学习算法与有源内腔法相结合的方法,为吸收光谱型混合气体反演技术的进一步研究提供了新思路。     

基于多任务NR-DenseNet网络的航班延误预测模型

不同于目前大多数只倾向于研究单一的分类或回归任务的航班延误预测方法,该文提出一种基于多任务NR-DenseNet网络的航班延误预测模型,旨在同时实现航班延误等级分类预测与延误时间回归预测。首先,预处理相关数据;其次,建立多任务学习特征提取共享层,使用NR-DenseNet网络提取任务之间的共享参数,深度挖掘任务之间的相关特征;然后,建立多任务学习特定任务层,通过回归器与分类器分别输出特定任务的预测结果;最后,采用损失加权方法对两个任务损失函数进行优化,平衡任务间的收敛速度,提高模型泛化性。将模型应用在宁波机场数据集中,与单任务模型相比回归任务平均MSE降低了23.4%,平均MAE降低了14.2%,分类平均准确率提升了2.7%。实验结果表明,该文方法提升了分类任务的准确率降低了回归任务的误差,可以有效提升模型性能。     

基于差分星座轨迹图的多任务802.11b/g信号识别方法

针对802.11b/g无线信号的调制方式识别和辐射源个体识别问题,提出了一种基于差分星座轨迹图的多任务卷积神经网络识别方法。将调制识别和辐射源个体识别看作两个相互关联的学习任务,通过共享参数的深度网络提取差分星座轨迹图的特征,并由结构不同的两个分支网络进行分类识别,同时对这两个任务进行联合优化训练并相互促进学习。实验中使用6个不同的路由器进行验证,结果表明相比于单任务模型的识别方法,多任务模型所用的训练时长和模型所占内存均比两个单任务模型之和少,同时对辐射源个体、调制方式的识别率分别平均提高了1.17%和3%。     

基于共轭梯度法的CNN图像分类模型研究

本文针对处理图像分类的卷积神经网络(CNN)模型,设计并应用修正的三项PRP共轭梯度法(M-PRPCG)训练模型以提高图像分类的准确率。首先,基于CIFAR-10图像分类数据集构建ResNet18和VGG16卷积神经网络(CNN)模型;然后在训练集上,采用修正的三项PRP共轭梯度法(M-PRPCG)训练模型;最后在测试集上进行验证。实验结果表明,修正的三项PRP共轭梯度法(M-PRPCG)训练的ResNet18和VGG16模型相比于Adam算法训练的模型在图像分类准确率上分别提高了3.46%和1.97%。     

基于迁移学习的卷积神经网络图像识别方法研究

卷积神经网络是图像分类领域效果卓越的深度学习算法,然而训练深度神经网络是一项繁琐且复杂的工作,不仅在结构设计上依赖开发人员丰富的经验,还容易产生过拟合现象。因此,该文提出一种基于模型迁移的图像识别方法,该方法能够在简化设计思路的同时极大地提升卷积神经网络的性能。此外还在三个小型图片集上进行了多次模型训练和对比分析。研究结果表明,经过迁移学习优化的卷积神经网络的测试集准确率均得到显著提升。     

集成学习在短文本分类中的应用研究

为了进一步提高基于深度神经网络短文本分类性能,提出将集成学习方法应用于5种不同的神经网络文本分类器,即卷积神经网络、双向长短时记忆网络、卷积循环神经网络、循环卷积神经网络、分层注意力机制神经网络,分别对两种集成学习方法(Bagging,Stacking)进行了测试。实验结果表明:将多个神经网络短文本分类器进行集成的分类性能要优于单一文本分类模型;进一步两两集成的实验验证了单个模型对短文本分类性能的贡献率。     

基于自组织增量-图卷积神经网络的金相图半监督学习

采用深度学习对钢铁材料显微组织图像分类,需要大量带标注信息的训练集。针对训练集人工标注效率低下问题,该文提出一种新的融合自组织增量神经网络和图卷积神经网络的半监督学习方法。首先,采用迁移学习获取图像数据样本的特征向量集合;其次,通过引入连接权重策略的自组织增量神经网络(WSOINN)对特征数据进行学习,获得其拓扑图结构,并引入胜利次数进行少量人工节点标注;然后,搭建图卷积网络(GCN)挖掘图中节点的潜在联系,利用Dropout手段提高网络的泛化能力,对剩余节点进行自动标注进而获得所有金相图的分类结果。针对从某国家重点实验室收集到的金相图数据,比较了在不同人工标注比例下的自动分类精度,结果表明:在图片标注量仅为传统模型12%时,新模型的分类准确度可达到91%。     

一种基于EDDL的非侵入式负荷检测模型

针对目前非侵入式负荷检测时存在检测精确度低的问题,提出一种基于事件驱动-深度学习(EDDL)的负荷检测模型。通过零交叉检测电流数据,基于事件驱动机制从大量数据中发现关键事件;将包含关键事件的电流序列转换至图像空间,并代入基于深度学习的负荷检测模型,从而实现端对端的非侵入式负荷检测。实验结果表明,与多分类支持向量机(MSVM)、前馈神经网络(FNN)、卷积神经网络(CNN)和长短时记忆网络(LSTM)模型相比,所提EDDL模型综合性能更优,检测准确率和精确度分别为94.67%和91.76%。仿真结果验证了所提模型可基于事件驱动机制挖掘电流数据,并基于深度学习模型有效提取电流数据特征,从而实现高精确度的非侵入式电力负荷检测。该模型对非侵入式电力负荷检测研究具有一定借鉴作用。     

基于深度学习的图像描述研究

卷积神经网络（Convolution Neural Networks,CNN）和循环神经网络（Recurrent NeuralNetworks,RNN）在图像分类、计算机视觉、自然语言处理、语音识别、机器翻译、语义分析等领域取得了迅速的发展,引起了研究者对计算机自动生成图像描述的广泛关注。目前图像描述存在的主要问题有输入文本数据稀疏、模型存在过拟合、模型损失函数震荡难以收敛等问题。文中使用NIC作为基线模型,针对数据稀疏问题,改变了基线模型中的文本one-hot表示,使用word2vec对文本进行映射,为了防止过拟合,在模型中加入了正则项和使用Dropout技术,并在词序记忆方面取得创新,引入联想记忆单元GRU,用于文本生成。在试验中使用AdamOptimizer优化器进行参数迭代更新。实验结果表明:改进后的模型参数减少且收敛速度大幅加快,损失函数曲线更加平滑,损失最大降至2.91,模型的准确率比NIC提高了接近15%。实验有效地验证了在模型当中使用word2vec对文本进行映射可明显缓解数据稀疏问题,加入正则项和使用Dropout技术可有效防止模型过拟合,引入联想记忆单元GRU能够大幅减少模型训练参数,加快算法收敛速度,进而提高整个模型的准确率。     

基于循环神经网络的无线网络入侵检测分类模型构建与优化研究

为提高无线网络入侵检测模型的综合性能,该文将循环神经网络(RNN)算法用于构建无线网络入侵检测分类模型。针对无线网络入侵检测训练数据样本分布不均衡导致分类模型出现过拟合的问题,在对原始数据进行清洗、转换、特征选择等预处理基础上,提出基于窗口的实例选择算法精简训练数据集。对攻击分类模型的网络结构、激活函数和可复用性进行综合优化实验,得到最终优化模型,分类准确率达到98.6699%,综合优化后的运行时间为9.13 s。与其他机器学习算法结果比较,该优化方法在分类准确率和执行效率两个方面取得了很好的效果,综合性能优于传统的入侵检测分类模型。     

Effective short text classification via the fusion of hybrid features for IoT social data

Nowadays short texts can be widely found in various social data in relation to the 5G-enabled Internet of Things (IoT). Short text classification is a challenging task due to its sparsity and the lack of context. Previous studies mainly tackle these problems by enhancing the semantic information or the statistical information individually. However, the improvement achieved by a single type of information is limited, while fusing various information may help to improve the classification accuracy more effectively. To fuse various information for short text classification, this article proposes a feature fusion method that integrates the statistical feature and the comprehensive semantic feature together by using the weighting mechanism and deep learning models. In the proposed method, we apply Bidirectional Encoder Representations from Transformers (BERT) to generate word vectors on the sentence level automatically, and then obtain the statistical feature, the local semantic feature and the overall semantic feature using Term Frequency-Inverse Document Frequency (TF-IDF) weighting approach, Convolutional Neural Network (CNN) and Bidirectional Gate Recurrent Unit (BiGRU). Then, the fusion feature is accordingly obtained for classification. Experiments are conducted on five popular short text classification datasets and a 5G-enabled IoT social dataset and the results show that our proposed method effectively improves the classification performance.     

基于CNN的键盘电磁信息泄漏识别检测方法

针对键盘电磁信息安全问题,分析了PS/2键盘的工作原理以及信号特征,提出一种基于深度学习的检测方法。该方法针对键盘设备的电磁泄漏信号特征,对卷积神经网络(CNN)结构进行了适应性调整;结合改进的梯度加权类激活映射方法,实现了对键盘电磁信息的智能识别和精准定位。对4个按键的电磁信号进行测试,分类准确率达到了98%;在噪声环境下的分类准确率也达到了81%。将梯度加权类激活映射方法及其改进方法对键盘电磁信息的定位效果进行了对比,实验结果证明改进后的方法定位效果更佳。     

基于多任务卷积神经网络的人脸识别技术研究

深度神经网络是目前计算机机器学习领域的一个关键技术,可应用于图像处理。其中,多任务卷积神经网络(Multi-task Convolutional Neural Network,MTCNN)是一种基于卷积神经网络的多任务人脸检测框架,这里采用MTCNN人脸检测模型代替传统的卷积神经网络,在深度学习框架TensorFlow上进行人脸识别。首先,在数据预处理阶段利用灰度化方法将图像集转变为灰度图,降低图像通道。其次,基于MTCNN构建人脸检测模型,并利用Softmax函数进行分类识别。最后,实验过程中选择不同迭代次数进行准确性对比,在模型趋于稳定的情况下,得到较高的准确性。     

基于迁移学习的注意力胶囊网络

胶囊网络(Capsule Network,CapsNet)通过运用胶囊取代传统神经元,能有效解决卷积神经网络(Conventional Neural Network,CNN)中位置信息缺失的问题,近年来在图像分类中受到了极大的关注.由于胶囊网络的研究尚处于起步阶段,因此目前大多数胶囊网络研究成果在复杂数据集上表现的分类...     

基于深度分离卷积神经网络的高速高精度SAR舰船检测

随着人工智能的兴起,利用深度学习技术实现SAR舰船检测,能够有效避免传统的复杂特征设计,并且检测精度获得了极大的改善。然而,现如今大多数检测模型往往以牺牲检测速度为代价来提高检测精度,限制了一些SAR实时性应用,如紧急军事部署、迅速海难救援、实时海洋环境监测等。为了解决这个问题,该文提出一种基于深度分离卷积神经网络(DS-CNN)的高速高精度SAR舰船检测方法SARShipNet-20,该方法取代传统卷积神经网络(T-CNN),并结合通道注意力机制(CA)和空间注意力机制(SA),能够同时实现高速和高精度的SAR舰船检测。该方法在实时性SAR应用领域具有一定的现实意义,并且其轻量级的模型有助于未来的FPGA或DSP的硬件移植。