基于深度学习的录音文本分类方法

为了提高具有关联工单数据的录音文本的分类精确率,根据录音文本及关联数据的特点,设计基于深度学习的录音文本分类方法. 针对录音文本,通过双向词嵌入语言模型（ELMo）获得录音文本及工单信息的向量化表示,基于获取的词向量,利用卷积神经网络（CNN）挖掘句子局部特征;使用CNN分别挖掘工单标题和工单的描述信息,将CNN输出的特征进行加权拼接后,输入双向门限循环单元（GRU）,捕捉句子上下文语义特征;引入注意力机制,对GRU隐藏层的输出状态赋予不同的权重. 实验结果表明,与已有算法相比,该分类方法的收敛速度快,具有更高的准确率.     

融合多粒度动态语义表征的文本分类模型

在对化工领域类文本进行分类任务时,由于文本的专业性以及复杂多样性,仅仅依靠现有的词向量表征方式,很难对其中的专业术语以及其他化工领域内相关字词的语义进行充分表征,从而导致分类任务的准确率不高.本文提出一种融合多粒度动态语义表征的文本分类模型,首先在词嵌入层使用动态词向量表征语义信息并引入对抗扰动,使得词向量具有更好的表征能力,然后利用多头注意力机制进行词向量权重分配,获得带有关键语义信息的文本表示,最后使用提出的多尺度残差收缩深层金字塔形的卷积神经网络与混合注意力胶囊双向LSTM网络模型分别提取不同粒度的文本表示,融合后对得到的最终文本表示进行分类.实验结果表明,相比于现有模型,所提出的模型使用不同词向量表示时,在化工领域文本数据集上F1-Score最高可达84.62%,提升了0.38～5.58个百分点;在公开中文数据集THUCNews和谭松波酒店评论数据集ChnSentiCorp上进行模型泛化性能评估,模型也有较好表现.     

基于多层跨模态注意力融合的图文情感分析

针对现有图文情感分析模型仅考虑图像高层特征与文本特征的联系,而忽视图像低层特征的问题,提出了一种基于多层跨模态注意力融合(Multi-level cross-modal attention fusion,MCAF)的图文情感分析模型.该模型首先将VGG13网络外接多层卷积,以获取不同层次的图像特征,并使用BERT词嵌入...     

基于多尺度通道重校准的乳腺癌病理图像分类

针对乳腺癌病理图像的自动分类问题,提出基于深度学习的分类算法. 通道重校准模型是作用于特征通道的注意力模型,可以利用学习到的通道权重对无用特征进行抑制来实现对特征通道的重校准,以达到更高的分类准确率. 为了使通道重校准的结果更加准确,提出多尺度通道重校准模型,设计卷积神经网络 msSE-ResNet. 多尺度特征通过网络中的最大池化层获得并作为后续通道重校准模型的输入,将不同尺度下学到的通道权重进行融合,可以改善通道重校准的结果. 该实验在公开数据集BreaKHis上开展. 实验结果表明,该网络对良性/恶性乳腺病理图像分类任务达到88.87%的分类精度,可以对不同放大倍数下获取的病理图像具有较好的鲁棒性.     

双重注意力充分组合评论特征的推荐模型

针对基于评论文本推荐系统的特征没有充分组合的问题,提出一种利用双重注意力实现评论特征组合的推荐模型.首先利用经情感分类任务微调后的编码模型对评论文本进行编码,得到对应的特征向量;然后利用双线性内积计算用户与商品之间评论特征向量的交叉注意力,实现用户和商品之间评论特征的交叉组合;再利用多头自注意力实现用户和商品对应评论特征的自组合,得到用户和商品最终的特征表示.在真实数据集上的实验结果表明,所提模型的均方误差相比其他模型下降了1.43%.     

基于BERT的复合网络模型的中文文本分类

针对自然语言在语句结构上有着较强的前后依赖关系,提出一种基于BERT的复合网络模型进行中文新闻分类。首先利用BERT的基于注意力机制的多层双向transformer特征提取器获得字词以及句子之间更加全局的特征关系表达。然后将所得数据输入门结构更加简单的双向门控循环神经网络层将特征增强的同时减少时间代价,加强数据特征的选取精确度。最后将不同权重的文本特征信息输入softmax函数层进行新闻分类。通过在cnews新浪新闻数据集上进行实验,获得97.21%的F1值,结果表明所提特征融合模型较其他模型分类效果更好。     

基于密集连接网络和多维特征融合的文本匹配模型

针对文本匹配过程中存在语义损失和句子对间信息交互不充分的问题,提出基于密集连接网络和多维特征融合的文本匹配方法. 模型的编码端使用BiLSTM网络对句子进行编码,获取句子的上下文语义特征;密集连接网络将最底层的词嵌入特征和最高层的密集模块特征连接,丰富句子的语义特征;基于注意力机制单词级的信息交互,将句子对间的相似性特征、差异性特征和关键性特征进行多维特征融合,使模型捕获更多句子对间的语义关系. 在4个基准数据集上对模型进行评估,与其他强基准模型相比,所提模型的文本匹配准确率显著提升,准确率分别提高0.3%、0.3%、0.6%和1.81%. 在释义识别Quora数据集上的有效性验证实验结果表明,所提方法对句子语义相似度具有精准的匹配效果.     

多视图融合的三维模型分类

目前基于视图的三维模型分类已经成为一个研究热点。但是,现有的方法会产生大量冗余视图,且所有的视图都被平等对待,忽略了不同视图之间的差异性和重要性。针对以上问题,提出了多视图融合的三维模型分类方法。该方法首先使用加入混合域注意力机制的视图特征提取网络提取视图特征,然后对这些视图特征进行特征融合,将融合后的特征输入到加入通道域注意力机制的视图权重学习网络,根据不同视图对三维模型重要性不同赋予不同权重,形成具有代表性的特征描述符用于三维模型分类。实验结果表明,在刚性三维模型数据集ModelNet10和ModelNet40中分类准确率分别达到了98.3%和95.5%。     

基于双注意力卷积神经网络模型的情感分析研究

卷积神经网络（Convolutional Neural Networks,CNN）无法判别输入文本中特征词与情感的相关性.因此提出一种双注意力机制的卷积神经网络模型（Double Attention Convolutional Neural Networks,DACNN）,将词特征与词性特征有效融合后得到本文的特征表示,确定情感倾向.本文提出局部注意力的卷积神经网络模型,改进卷积神经网络的特征提取能力,采用双通道的局部注意力卷积神经网络提取文本的词特征和词性特征.然后使用全局注意力为特征分配不同的权重,有选择地进行特征融合,最后得到文本的特征表示.将该模型在MR和SST-1数据集上进行验证,较普通卷积神经网络和传统机器学习方法,在准确率上分别取得0.7%和1%的提升.     

基于语义增强特征融合的多模态图像检索模型

为了在多模态图像检索任务中建立文本特征与图像特征的相关性，提出基于语义增强特征融合的多模态图像检索模型（SEFM）.该模型通过文本语义增强模块、图像语义增强模块2部分在特征融合时对组合特征进行语义增强.在文本语义增强模块建立多模态双重注意力机制，利用双重注意力建立文本与图像之间的关联以增强文本语义；在图像语义增强模块引入保留强度和更新强度，控制组合特征中查询图像特征的保留和更新程度.基于以上2个模块可以优化组合特征使其更接近目标图像特征.在MIT-States和Fashion IQ这2个数据集上对该模型进行评估，实验结果表明在多模态图像检索任务上该模型与现有方法相比在召回率和准确率上都有所提升.     

基于word2vec词模型的中文短文本分类方法

针对受字数限定影响的文本特征表达能力弱成为短文本分类中制约效果的主要问题,提出基于word2vec维基百科词模型的中文短文本分类方法(chinese short text classification method based on embedding trained by word2vec from wikipedia, CSTC-EWW),并针对新浪爱问4个主题的短文本集进行相关试验。首先训练维基百科语料库并获取word2vec词模型,然后建立基于此模型的短文本特征,通过SVM、贝叶斯等经典分类器对短文本进行分类。试验结果表明:本研究提出的方法可以有效进行短文本分类,最好情况下的F-度量值可达到81.8%;和词袋(bag-of-words, BOW)模型结合词频-逆文件频率(term frequency-inverse document frequency, TF-IDF)加权表达特征的短文本分类方法以及同样引入外来维基百科语料扩充特征的短文本分类方法相比,本研究分类效果更好,最好情况下的F-度量提高45.2%。     

基于特征融合的深度学习目标检测算法研究

通过研究卷积神经网络中的特征层级,发现高层特征图的分辨率低、语义信息强,低层特征图的分辨率强、语义信息较弱等问题.针对上述问题提出一种二次特征融合的目标检测算法,该算法在特征金字塔网络(Feature Pyramid Networks,FPN)的基础上对过渡特征重复使用并进行二次特征融合,使丰富的低层特征信息补充到高层...     

基于梅尔频谱分离和LSCNet的声学场景分类方法

针对现有频谱分离方法进行声学场景分类研究时其分类准确率不高的问题,提出了一种基于梅尔频谱分离和长距离自校正卷积神经网络(long-distance self-calibration convolutional neural network, LSCNet)的声学场景分类方法。首先,介绍了频谱的谐波打击源分离原理,提出了一种梅尔频谱分离算法,将梅尔频谱分离出谐波分量、打击源分量和残差分量;然后,结合自校正神经网络和残差增强机制,提出了一种长距离自校正卷积神经网络;该模型采用频域自校正算法以及长距离增强机制来保留特征图原始信息,通过残差增强机制和通道注意力增强机制加强了深层特征与浅层特征间的关联度,且结合多尺度特征融合模块,以进一步提取模型训练中输出层的有效信息,从而提高模型的分类准确率;最后,基于Urbansound8K和ESC-50数据集开展了声学场景分类实验。实验结果表明:梅尔频谱的残差分量能够针对性地减少背景噪音的影响,从而具有更好的分类性能,且LSCNet实现了对特征图中频域信息的关注,其最佳分类准确率分别达到90.1%和88%,验证了该方法的有效性。     

基于显著稀疏强关联的脑功能连接分类方法

针对脑功能连接数据维度过高、冗余特征过多影响神经网络分类准确率的问题,提出一种基于显著稀疏强关联的脑功能连接分类方法. 该方法利用显著特征稀疏模块对原始特征进行筛选增强;采用稀疏强关联特征上下文融合模块对不同感受野内的显著特征信息进行聚合;使用全连接神经网络进行分类预测. 在ABIDE以及ADHD-200数据集上的实验结果表明,所提方法相较于现有的脑功能连接分类算法在准确率上分别提升了10.41%和12.50%. 重要特征的可视化结果表明所提方法能准确定位与疾病相关的脑区,具有一定实际应用价值.     

基于LSTM的中文文本多分类应用研究

随着互联网的发展,网上购物成为主流消费方式,随之产生了大量的商品文本数据,需要对商品进行准确而高效的分类。利用机器学习进行文本分类需要进行复杂的人工设计特征和提取特征过程。随着深度学习领域的发展,基于深度学习的文本分类技术效果显著。设计了一个基于长短期记忆网络（LSTM）的中文文本多分类器。首先对数据进行预处理,利用Tokenizer分词技术将文本处理为计算机可理解的词向量传入LSTM网络,并加入Dropout算法以防止过拟合得出最终的分类模型。将该模型与逻辑回归、多项式朴素贝叶斯、线性支持向量机、随机森林模型进行对比发现,基于LSTM的中文文本多分类方法具有较好的效果。     

一种改进的基于共现关系的短文本特征扩展算法研究

针对短文本单一共现词特征扩展效果不理想的情况,提出一种改进的基于共现关系的短文本特征扩展算法,改进之处在于考虑了多个共现词同时出现的情况,改进了特征词权重计算公式及特征扩展策略,并应用于中文短文本分类,使分类准确度得到了一定提升。     

基于模糊粗糙集的图像自动分类研究

如何使用图像底层特征有效表达高层语义是实现图像自动分类难以逾越的鸿沟。本文将模糊粗糙集理论引入图像自动分类,在使用图像底层特征表达高层语义的图像自动分类过程中,把高维特征向量处理、合适的描述符集合选择难题转换为模糊决策表,使用图像语义贴近度概念来检验图像特征属性间的数据依赖关系,以达到属性约简,剔除冗余信息和图像分类规则推导的目的,并定义了图像类别隶属度函数对图像进行分类。实验结果表明该图像分类系统的分类正确率达81.7%,说明该方法具有很好的精确性和有效性,能较好地实现图像自动分类。     

一种基于多重词典的中文文本情感特征抽取方法

情感特征抽取是文本情感分类的重要步骤,正确的选择情感特征并赋予合理的情感权重是保障分类精度的前提。利用基础情感词词典、连词词典及词语距离,提出了一种基于多重词典的中文文本情感特征抽取算法,实验证明该方法优于HM,SO-PMI和词语语义距离等经典的特征抽取算法。