基于混合神经网络的中文短文本分类模型

针对已有算法中特征表示存在的稀疏问题以及文本高层特征提取效果不佳问题,提出了一种基于混合神经网络的中文短文本分类模型。该模型首先通过自定义筛选机制将文档以短语层和字符层进行特征词筛选;然后将卷积神经网络(CNN)和循环神经网络(RNN)相结合,提取文本高阶特征,并引入注意力机制优化高阶向量特征;最后将得到的高阶向量特征输入到全连接层得到分类结果。实验结果表明:该方法能有效提取出文档的短语层和字符层特征;与传统CNN、传统LSTM和CLSTM模型对比,二分类数据集上准确率分别提高10.36%、5.01%和2.39%,多分类数据集上准确率分别提高12.33%、4.16%和2.33%。     

采用词向量注意力机制的双路卷积神经网络句子分类模型

针对句子中不同的词对分类结果影响不同以及每个词对应的词向量受限于单一词向量训练模型的特点,提出一种基于词向量注意力机制的双路卷积神经网络句子分类模型（AT-DouCNN）.该模型将注意力机制和卷积神经网络相结合,以不同训练算法得到的词向量同时作为输入,分别进行卷积和池化,并在全连接层进行融合,不仅能够使得具体分类任务下句子中的关键信息更易被提取,还能够有效地利用不同种类的词向量得到更加丰富的句子特征,进而提高分类的准确率.实验结果表明：所提出的模型在3个公开数据集上的分类准确率分别达到50.6%、88.6%和95.4%,具有良好的句子分类效果.     

基于ATT-CNN的化工装备分类算法

随着化工技术的飞速发展,化工装备在化工产业生产实践中发挥着更加重要的作用,与此同时也对化工装备的精准分类提出了更高要求。为了提高化工装备在化工生产中分类的准确率,提出了一种基于Attention注意力机制和卷积神经网络的化工装备文本分类算法。首先,分别使用卷积神经网络算法的输入层和Attention注意力机制提取化工装备文本特征;其次,将两种算法得到的特征与卷积核进行卷积操作,得到不同权重的输入,最后在分类器中对得到的化工装备文本特征进行分类,得到最终分类结果。通过多算法实验结果表明,该方法相比传统卷积神经网络与机器学习方法在数据挖掘中具有更高的分类准确性,达到了96. 42%,证明ATT-CNN算法在化工装备分类中具有较好的性能。     

基于串并行卷积门阀循环神经网络的短文本特征提取与分类

针对短文本数据特征少、提供信息有限,以及传统卷积神经网络（convolutional neural network,CNN）和循环神经网络（recurrent neural network,RNN）对短文本特征表示不充分的问题,提出基于串并行卷积门阀循环神经网络的文本分类模型,处理句子特征表示与短文本分类。该网络在卷积层中去除池化操作,保留文本数据的时序结构和位置信息,以串并行的卷积结构提取词语的多元特征组合,并提取局部上下文信息作为RNN的输入;以门阀循环单元（gated recurrent unit,GRU）作为RNN的组成结构,利用文本的时序信息生成句子的向量表示,输入带有附加边缘距离的分类器中,引导网络学习出具有区分性的特征,实现短文本的分类。实验中采用TREC、MR、Subj短文本分类数据集进行测试,对网络超参数选择和卷积层结构对分类准确率的影响进行仿真分析,并与常见的文本分类模型进行了对比实验。实验结果表明：去掉池化操作、采用较小的卷积核进行串并行卷积,能够提升文本数据在多元特征表示下的分类准确率。相较于相同参数规模的GRU模型,所提出模型的分类准确率在3个数据集中分别提升了2.00%、1.23%、1.08%;相较于相同参数规模的CNN模型,所提出模型的分类准确率在3个数据集中分别提升了1.60%、1.57%、0.80%。与Text-CNN、G-Dropout、F-Dropout等常见模型相比,所提出模型的分类准确率也保持最优。因此,实验表明所提出模型可改善分类准确率,可实际应用于短文本分类场景。     

采用注意力门控卷积网络模型的目标情感分析

针对传统目标情感分析采用循环神经网络模型导致训练时间长且其他替代模型未能使得上下文和目标词之间实现良好交互等问题,提出了一种用于目标情感分析的注意力门控卷积网络模型。该模型首先将上下文和目标词通过多头注意力机制加强上下文和目标词之间的交互;其次采用门控卷积机制进一步提取关于目标词的情感特征;最后通过Softmax分类器将情感特征进行分类,输出情感极性。实验结果显示,与循环神经网络模型中准确率最高的循环注意力网络模型相比,在SemEval 2014任务四的餐厅和笔记本电脑数据集上的准确率分别提高了1.29%和0.12%;与循环神经网络模型中收敛速度较快的基于注意力的长短期记忆网络模型相比,收敛时间下降了约29.17s。     

基于双注意力卷积神经网络模型的情感分析研究

卷积神经网络（Convolutional Neural Networks,CNN）无法判别输入文本中特征词与情感的相关性.因此提出一种双注意力机制的卷积神经网络模型（Double Attention Convolutional Neural Networks,DACNN）,将词特征与词性特征有效融合后得到本文的特征表示,确定情感倾向.本文提出局部注意力的卷积神经网络模型,改进卷积神经网络的特征提取能力,采用双通道的局部注意力卷积神经网络提取文本的词特征和词性特征.然后使用全局注意力为特征分配不同的权重,有选择地进行特征融合,最后得到文本的特征表示.将该模型在MR和SST-1数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.7%和1%的提升.     

运用CNN-LSTM混合模型的短文本分类

针对分类短文本时卷积神经网络(CNN)只提取局部特征和长短时记忆网络(LSTM)学习计算量大、处理时间长且随着短文本文字量增加与上下文的联系会减弱的问题,给出了基于CNN-LSTM混合模型算法.该算法融合CNN对短文本的特征提取能力,降低了文本数据量;利用LSTM的记忆能力,充分学习短文本的全局特征,进而对短文本进行更加有效地分类.实验结果表明,CNN-LSTM混合模型对短文本的分类效果远远好于CNN模型和LSTM模型.     

基于深度卷积神经网络的图像自编码算法

针对目前图像编码的研究工作更加重视信息无损性,而没有体现出社交网络图像区分度的问题,本研究提出一种新颖的基于深度卷积神经网络的社交网络图像自编码算法,将深度卷积神经网络提取特征的能力与社交网络中图像的特点相结合,得到性能良好的图像自编码。结合社交网络图片的特性与聚类算法,先将图片进行聚类得到距离信息,再利用深度卷积神经网络学习图片的距离信息,提取深度卷积神经网络中的全连接层作为编码,重复以上步骤,并得到最终的图像编码。试验结果表明,本研究提出的算法在图像搜索中的效果好于其他算法,更利于在社交网络图像搜索中使用。     

基于深层卷积神经网络的图像美感度分类

针对图像美感度分类中出现的准确率低、美感特征描述差等问题,提出了一种基于深层卷积神经网络的图像美感度分类算法.首先将图片输入55层卷积神经网络自动学习并获得更加细致和深层次的美感特征,然后通过softmax分类器进行图像美感度分类,从而得到最优的分类结果.将该算法与多种传统算法和浅层深度卷积神经网络的算法进行对比实验,结果表明该算法在A1和A0数据库的准确率分别达到80.13%和87.32%,且在CUHKPQ数据库的6种场景下,获得了更好的分类准确率.     

高效通道注意力和特征融合的协同显著性检测算法

针对现有的协同显著性检测算法在多显著目标复杂场景下表现不佳的问题,提出了一种基于高效通道注意力和特征融合的协同显著性检测算法。首先,检测算法利用预训练的深度卷积神经网络对场景进行多尺度特征的提取,结合边缘显著信息设计了显著性语义特征提取模块,以避免全卷积神经网络导致边缘信息的缺失;其次,通过内积基本原理得到组内图片间的关联性信息并根据其关联程度进行自适应加权,结合高效通道注意力层设计了协同特征提取算法;最后,为了将各级高层语义特征经过协同显著性特征提取之后的结果与浅层次的特征进行融合,并实现对预测结果进行多分支同步监督,设计了基于高效通道注意力的特征融合模块。通过对3个经典的数据集进行测试,并与6种现有的协同显著检测算法进行对比,结果表明本文所提算法提高了复杂场景中图像的协同显著性检测的精度以及边缘信息的丰富程度,并具有更优的协同显著性信息检测性能;通过消融实验进一步验证了所提设计算法各个模块的有效性和必要性。     

一种基于高层特征融合的网络商品分类

为了利用商品文本标题实现商品自动分类,提出一种基于高层特征融合的商品分类模型.首先,提出基于字嵌入和词嵌入的文本底层特征表示法,进而获得更强的商品标题结构特征表达;其次,提出了联合自注意力、卷积神经网络和通道注意力的机制,对文本标题的底层特征进行增强并获得高层增强特征;最后,通过将文本的字嵌入和词嵌入的高层增强特征进行融合,最终获得商品文本标题的综合特征,并实现商品自动分类.以商品标题语料作为数据集进行了实验,实验结果表明,该模型对三级商品类别的分类精度能够达到84.348%,召回率和F1值分别达到了47.8%和49.4%,优于现有可用于商品文本标题分类的先进短文本分类方法.     

基于深度学习的录音文本分类方法

为了提高具有关联工单数据的录音文本的分类精确率,根据录音文本及关联数据的特点,设计基于深度学习的录音文本分类方法. 针对录音文本,通过双向词嵌入语言模型（ELMo）获得录音文本及工单信息的向量化表示,基于获取的词向量,利用卷积神经网络（CNN）挖掘句子局部特征;使用CNN分别挖掘工单标题和工单的描述信息,将CNN输出的特征进行加权拼接后,输入双向门限循环单元（GRU）,捕捉句子上下文语义特征;引入注意力机制,对GRU隐藏层的输出状态赋予不同的权重. 实验结果表明,与已有算法相比,该分类方法的收敛速度快,具有更高的准确率.     

基于注意力与多级特征融合的YOLOv5算法

针对复杂场景下目标检测与识别精度较低的问题,提出了一种基于注意力与多级特征融合的YOLOv5目标检测与识别算法。该算法在传统YOLOv5s模型的主干网络中引入双空间方向的金字塔切分注意力机制,增强对特征空间和通道信息的学习能力,同时在瓶颈网络中采用多级特征融合结构,对不同分支的特征进行融合,增加特征的丰富性,提升应对复杂场景的能力。此外,利用C3Ghost模块和深度可分离卷积分别替换C3模块和普通卷积,降低网络参数量和复杂度。结果表明：与传统的YOLOv5s算法相比,所提算法在VOC2007+2012数据集的均值平均精度高达85%,在智能零售柜商品识别数据集的均值平均精度高达97.2%,表现出较好的性能。     

基于改进CNN-BiGRU-att模型的文本分类研究

为解决单一的卷积神经网络(CNN)缺乏利用上下文本信息与单一循环神经网络(RNN)对局部信息把握不全面问题,提出一种基于注意力机制的多通道TextCNN-BiGRU分类模型.首先,通过word2vec对初始文本向量化,经实验选取窗口值组成三通道.然后利用CNN的强学习能力提取局部特征,利用双向门控循环单元(BiGRU)提取上下文全局信息,运用注意力层与池化层获取并优化重要的特征.最后采用softmax函数使误差loss极小化.仿真实验结果表明,提出的模型分类性能,准确度达94%,损失函数值稳定在0.22%左右,具有良好的泛化能力,能够有效解决单一模型挖掘信息不全问题,有效提高分类效果.     

基于RFA-LinkNet模型的高分遥感影像水体提取

针对现阶段卷积神经网络模型在复杂地物背景下水体提取精度低、多尺度特征捕获能力差、模型复杂的问题,基于LinkNet模型提出一种结合RFB模块和通道注意力机制的RFA-LinkNet高分辨率光学遥感影像水体提取模型.首先,将RFB模块用于获取高阶水体语义信息与多尺度特征;其次,利用通道注意力机制,对特征编码和解码的特征进行加权融合,抑制背景特征,增强水体语义.与现有卷积神经网络模型相比,提出方法不仅具有高效的性能和鲁棒性,而且能实现高精度的水体提取.     

基于注意力机制的卷积神经网络可视化方法

相比于传统机器学习算法,卷积神经网络"端到端"的黑盒特性使其内部工作机制缺乏透明性和可解释性,导致其在某些安全性要求较高的领域受到一定限制.为此,提出一种基于注意力机制的卷积神经网络可视化方法,用于可视化解释卷积神经网络中间层所学特征.该方法首先将注意力机制添加到网络结构中,跟随网络一起训练;然后,获取训练后模型的最高...     

嵌入卷积块注意力模块的人像自动抠图算法

针对常用人像抠图算法需要输入人工标注三分图及抠图精度不高的问题,提出一种嵌入卷积块注意力模块的人像自动抠图算法。该算法使用三分支网络进行学习：首先预分割分支网络将MobileNetV2与Unet相结合,减少网络参数,引入h-swish激活函数,保留更多有效特征,获取三分图;然后在Alpha抠图分支网络嵌入卷积块注意力模块(CBAM),更好地获取图像多尺度信息,实现Alpha图的初步预测;最后通过细节融合分支网络将以上两个分支的输出进行特征融合,得到Alpha图。实验对比本文算法与现有深度图像抠图(DIM)算法,结果表明,本文算法的绝对误差和(SAD)降低了7.5%、均方误差(MSE)降低了19.4%,实现了人像自动抠图,并获得了良好的抠图效果。     

用于文本情感极性分析的动态卷积神经网络超限学习算法

为改善动态卷积神经网络在文本情感分类方法中的泛化能力,提出了一种动态卷积超限学习算法.对动态卷积神经网络的输出层加以改进,使用浅层随机神经网络替代全连接层,利用参数随机生成的扰动性能,降低分类端对训练样本的依赖,避免过拟合,提升分类性能.在公共数据集上的实验证明:相对改进前的动态卷积学习算法以及超限学习机,所提出的方法在准确率、F1测度等多个标准指标上均体现了更优的分类性能.     

基于卷积神经网络的抽油机故障诊断

为提高抽油机的故障诊断性能、减少诊断模型的硬件存储,设计了基于轻量注意力卷积神经网络和示功图的故障诊断方法。首先,将示功图的位移-载荷数据转换为图像,诊断模型的基础结构采用深度分离卷积,提出一种可嵌入连续卷积层的正则化注意力模块,对每个卷积层的通道进行压缩、注意力计算,并根据注意力建立通道失活机制,输出具有特征抑制或加强的注意力特征图。其次,在模型学习算法上,提出注意力损失函数抑制易分样本对模型训练损失的贡献,使模型训练关注难分样本。最后通过仿真实验验证有效性,结果表明该模型硬件存储仅为5.4 MB,故障诊断精度达95.1%,满足抽油机工况检测的诊断精度要求。     

基于双向循环神经网络的字符级文本分类

针对传统的文本分类深度学习模型由于收敛速度慢或严重依赖于预先训练好的词向量,在大规模数据集上通常耗时较长,提出了一种结合卷积神经网络(CNN)、门控循环单元(GRU)和高速公路网络(HN)的字符级短文本分类模型,该模型具有快速收敛的捕获全局和局部文本语义的能力.此外,将误差最小化极值学习机(EM-ELM)引入到模型中,进一步提高了分类精度.实验表明,与现有方法相比,该方法在大规模文本数据集上取得了更好的性能.