基于循环卷积多任务学习的多领域文本分类方法

文本分类任务中,不同领域的文本很多表达相似,具有相关性的特点,可以解决有标签训练数据不足的问题。采用多任务学习的方法联合学习能够将不同领域的文本利用起来,提升模型的训练准确率和速度。该文提出循环卷积多任务学习(MTL-RC)模型用于文本多分类,将多个任务的文本共同建模,分别利用多任务学习、循环神经网络(RNN)和卷积神经网络(CNN)模型的优势获取多领域文本间的相关性、文本长期依赖关系、提取文本的局部特征。基于多领域文本分类数据集进行丰富的实验,该文提出的循环卷积多任务学习模型(MTL-LC)不同领域的文本分类平均准确率达到90.1%,比单任务学习模型循环卷积单任务学习模型(STL-LC)提升了6.5%,与当前热门的多任务学习模型完全共享多任务学习模型(FS-MTL)、对抗多任务学习模型(ASP-MTL)、间接交流多任务学习框架(IC-MTL)相比分别提升了5.4%, 4%和2.8%。     

基于改进的BERT-CNN模型的新闻文本分类研究

语言处理模型层出不穷,从在图像领域运用的卷积神经网络(Convolutional Neural Networks,CNN)、被改进后的TextCNN到循环神经网络(Rerrent Neural Network,RNN)、谷歌推出的transformer模型以及百度公司提出的ERNIE模型等.为了区分出在新闻文本领域处理效果最佳的文本分类模型,基于新闻文本任务数据对来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)进行微调,再将BERT作为embedding输入到其他深度学习模型中,最后对比目前几个深度学习模型的训练效果.实验结果表明,BERT-CNN模型分类效果最佳,其准确率比原BERT模型的准确率多了0.31％,且更为稳定.     

基于深度学习的垃圾邮件文本分类方法

文中旨在研究基于深度学习的垃圾邮件文本分类方法，该方法结合了卷积神经网络（CNN）和循环神经网络（RNN）的模型，通过对邮件文本进行特征提取和分类，能高效、准确地对垃圾邮件进行分类。文中以卷积神经网络和循环神经网络为实验对象，提出了一种垃圾邮件文本分类方法，并在公开数据集上进行了实验。实验结果表明，该方法在垃圾邮件文本分类任务上具有较高的准确率和召回率。     

Equation Chapter 1 Section 1一种多任务面部特征点与头部姿态检测方法

目前国内在面部特征点检测和头部姿态估计研究领域多采用单任务方式,分别对两项任务建立独立模型进行检测处理。本文通过证明面部特征点检测与头部姿态估计两项任务具有强相关性,设计了一种多任务卷积神经网络（MTL-CNN）将面部特征点检测和头部姿态估计两项任务关联于一个神经网络模型中,共享核心卷积神经网络提取到的特征,后采用独立的分类器进行检测,最终以5个面部特征点和3个头部姿态参数为目标输出。实验表明,相比于传统单任务独立检测方法,采用多任务卷积神经网络可以同时完成面部特征点检测与头部姿态估计两项任务,并且在检测速度、精度上有较大的提升。     

基于多任务学习的有源内腔混合气体反演算法研究（特邀）

针对目前深度学习在气体检测领域多聚焦于学习单个任务即气体定性分类或气体体积分数定量回归,忽略了相关任务间的信息关联性,降低了模型学习精度与效率等问题,提出了一种基于一维卷积神经网络和长短期记忆网络的多任务学习模型,即MTL-1DCNN-LSTM,并行实现了混合气体种类定性识别与体积分数定量回归。利用掺铥光纤,搭建了二级放大掺铥环腔光纤激光器,基于有源内腔吸收光谱法探测了CO₂和NH₃混合气体的吸收光谱数据。将实验数据放入多任务学习模型中训练,并进行超参数优化后,对测试集数据进行测试得到气体识别准确率为100%,NH₃体积分数预测决定系数为99.84%,CO₂体积分数预测决定系数为99.62%,优于单任务模型与传统的气体反演算法如反向传播神经网络和支持向量机。所提出的深度学习算法与有源内腔法相结合的方法,为吸收光谱型混合气体反演技术的进一步研究提供了新思路。     

基于迁移学习的卷积神经网络图像识别方法研究

卷积神经网络是图像分类领域效果卓越的深度学习算法,然而训练深度神经网络是一项繁琐且复杂的工作,不仅在结构设计上依赖开发人员丰富的经验,还容易产生过拟合现象。因此,该文提出一种基于模型迁移的图像识别方法,该方法能够在简化设计思路的同时极大地提升卷积神经网络的性能。此外还在三个小型图片集上进行了多次模型训练和对比分析。研究结果表明,经过迁移学习优化的卷积神经网络的测试集准确率均得到显著提升。     

融合词性特征的深度迁移学习商品评论情感分析

情感分析是文本分类的研究方向,深度迁移学习通过学习目标领域数据和已有领域数据之间的相关度,提高当目标数据不足时文本分类的精度。从基于网络迁移的角度设计算法,首先使用Word2vec+词性特征词向量表示,然后进行卷积神经网络文本分类,再将训练好的模型共享网络参数,迁移至跨域商品评论数据,训练、分类评论数据。实验证明,在小样本数据集中算法精度有明显提升。     

采用多任务学习和循环神经网络的语音情感识别算法

随着机器学习的快速发展,许多研究者使用神经网络来解决语音识别领域中的各类问题。然而由于训练数据有限等原因,常规的神经网络分类器普遍存在泛化误差等问题。为了解决此问题,迁移学习中的多任务学习被引入到研究中。本文提出了一种采用多任务学习和循环神经网络的语音情感识别算法(MTL-RNN),将说话人情感识别作为主任务,性别识别和身份识别作为辅助任务,三个任务在神经网络中并行训练。算法模型通过RNN共享层共享网络参数、学习共享特征,通过属性依赖层学习独有特征,以提升模型的分类性能。实验结果表明,本文所提出的MTL-RNN算法在汉语和阿拉伯语、较少说话人和较多说话人的场景下均有较好的识别性能。      

基于字符级联合网络特征融合的中文文本情感分析

针对传统卷积神经网络(CNN)同层神经元之间信息不能互传,无法充分利用同一层次上的特征信息,以及无法提取长距离上下文相关特征的问题.该文针对中文文本,提出字符级联合网络特征融合的模型进行情感分析,在字符级的基础上采用BiGRU和CNN-BiGRU并行的联合网络提取特征,利用CNN的强学习能力提取深层次特征,再利用双向门限循环神经网络(BiGRU)进行深度学习,加强模型对特征的学习能力.另一方面,利用BiGRU提取上下文相关的特征,丰富特征信息.最后在单方面上引入注意力机制进行特征权重分配,降低噪声干扰.在数据集上进行多组对比实验,该方法取得92.36%的F1值,结果表明本文提出的模型能有效的提高文本分类的准确率.     

基于卷积神经网络的砂石骨料分类方法研究

针对目前在检测商用砂石骨料的过程中,人工检测的效率低下且受到主观因素的影响较大以及检测的准确率不理想,提出一种基于卷积神经网络(Convolutional Neural Network,CNN)的砂石骨料图像分类模型CNN13,该分类模型参考经典卷积神经网络VGG16(Visual Geometry Group 16)模型进行网络结构的改进和参数优化,利用TensorFlow深度学习框架搭建一个13层的卷积神经网络结构.实验数据集采集于某商用混凝土生产企业日常生产中的砂石骨料,共5000幅数字图像,模型在训练过程中采用GPU进行高速计算.相比于VGG16模型,CNN13模型的卷积层和参数量较少,对GPU内存的要求更低,训练速度更快,分类的准确率更高,每个等级的砂石骨料的分类准确率都达到99％以上.