基于图神经网络的复杂网络关键节点检测算法

针对复杂网络关键节点检测算法准确性低及可靠性不足的问题，结合图神经网络(Graph Neural Network, GNN)模型提出了一种新的复杂网络关键节点检测算法。将复杂网络建模为图模型，通过注意力机制学习每个邻居节点的权重；利用GNN强大的图学习和推理能力，评估网络中节点与连接的关键性评分；采用强化学习(Reinforcement Learning, RL)搜索GNN的超参数，从而提高关键节点检测算法的可扩展性及可靠性。仿真实验结果表明，由该算法检测的关键节点具有较高的准确性，并且具有较快的运算速度。     

基于语义理解注意力神经网络的多元特征融合中文文本分类

在中文文本分类任务中,针对重要特征在中文文本中位置分布分散、稀疏的问题,以及不同文本特征对文本类别识别贡献不同的问题,该文提出一种基于语义理解的注意力神经网络、长短期记忆网络(LSTM)与卷积神经网络(CNN)的多元特征融合中文文本分类模型(3CLA)。模型首先通过文本预处理将中文文本分词、向量化。然后,通过嵌入层分别经过CNN通路、LSTM通路和注意力算法模型通路以提取不同层次、具有不同特点的文本特征。最终,文本特征经融合层融合后,由softmax分类器进行分类。基于中文语料进行了文本分类实验。实验结果表明,相较于CNN结构模型与LSTM结构模型,提出的算法模型对中文文本类别的识别能力最多提升约8%。     

一种基于潜在语义分析和直推式谱图算法的文本分类方法LSASGT

 本文针对训练数据较少以及在基于图的分类算法中的文本表示问题,提出了一种基于潜在语义分析技术和直推式谱图算法的文本分类方法LSASGT,该方法将潜在语义分析技术和直推式谱图算法这两种基于谱分析理论的技术有机地结合在一起,对所有训练数据和测试数据进行统一建模,挖掘数据中潜在的多种结构信息.LSASGT引入潜在语义分析技术用于构造文本图表示模型,在能够反映人的分类标准的潜在语义特征空间中,描述文本之间的语义相关性;基于这样的文本表示,利用半监督的直推式谱图算法进行文本分类.在基准英文文本分类数据集Reuters21578和中文文本分类数据集Tan-Corp上的实验结果表明,本文给出的LSASGT文本分类方法获得了较好的分类结果.     

基于特征融合的层次结构微博情感分类

情感分类是观点挖掘的热点研究之一,微博文本情感分类具有很高的应用价值.鉴于传统特征选择方法存在语义缺陷,采用神经网络语言模型,提出了基于概率模型的对词向量进行权重分配的深层特征表示方法,构建文本语义向量.将文本深层特征与浅层特征融合,构建融合语义信息的特征向量,弥补传统特征选择方法语义的缺陷.采用SVM层次结构分类模型,实现多种情感分类.实验结果表明,采用特征融合的层次结构情感分类方法,能有效提高微博情感分类的准确率.     

结合双预训练语言模型的中文文本分类模型

针对Word2Vec等模型所表示的词向量存在语义模糊从而导致的特征稀疏问题,提出一种结合自编码和广义自回归预训练语言模型的文本分类方法。首先,分别通过BERT、XLNet对文本进行特征表示,提取一词多义、词语位置及词间联系等语义特征;再分别通过双向长短期记忆网络(BiLSTM)充分提取上下文特征,最后分别使用自注意力机制(Self＿Attention)和层归一化(Layer Normalization)实现语义增强,并将两通道文本向量进行特征融合,获取更接近原文的语义特征,提升文本分类效果。将提出的文本分类模型与多个深度学习模型在3个数据集上进行对比,实验结果表明,相较于基于传统的Word2Vec以及BERT、XLNet词向量表示的文本分类模型,改进模型获得更高的准确率和F₁值,证明了改进模型的分类有效性。     

用于不平衡节点分类的集成图神经网络模型

为解决图神经网络（GNN）上不平衡节点的分类问题,提出一种Bagging集成模型,该模型使用图卷积网络（GCN）作为基分类器。在该模型中,先对若干基分类器进行并行训练,然后使用多数投票的方式对这些基分类器的预测结果进行集成,最终完成分类任务。实验结果表明,该文提出的模型显著优于其他现有基线方法,验证了其在不平衡节点分类中的有效性。     

基于深度特征提取和图神经网络匹配的图像复制粘贴篡改检测

针对图像中特征提取不均匀、单尺度超像素划分对伪造定位结果影响较大的问题,提出一种基于深度特征提取和图神经网络(graph neural network,GNN) 匹配的图像复制粘贴篡改检测(cope-move forgery detection,CMFD) 算法。首先将图像进行多尺度超像素分割并提取深度特征,为保证特征点数目充足,以超像素为单位计算特征点分布的均匀度,自适应降低特征提取阈值;随后引入新的基于注意力机制的GNN特征匹配器,进行超像素间的迭代匹配,且用随机采样一致性(random sample consensus,RANSAC) 算法消除误匹配;最后将多尺度匹配结果进行融合,精确定位篡改区域。实验表明,所提算法具有良好的性能,也证明了GNN在图像篡改检测领域的可用性。     

基于注意力机制改进的LSTM空战目标意图识别方法

空战对抗过程中的目标状态数据呈现时序性、多维性等特征,为进一步提升目标意图识别的准确率,提出了一种基于改进注意力机制的长短期记忆网络(LSTM)目标识别方法,将空战可能出现的目标意图识别当成一个多分类问题处理。该方法首先通过目标实时的状态数据,生成特征序列;接着采用注意力机制提升目标的特征学习能力,增强空战过程中的主要目标状态特征表示,得到具有权值分配的特征向量;最后利用LSTM网络对目标特征向量进行训练,通过softmax层实现目标意图的识别。仿真实验表明,该方法利用注意力机制有效增强目标的特征学习,进一步提升了LSTM网络的识别精度,具有一定的科学性和有效性。     

基于BERT的施工安全事故文本命名实体识别方法

为解决传统施工安全管理中对事故报告信息分析效率低的问题,利用自然语言处理(Natural Language Processing,NLP)技术,提出基于双向编码器表示(Bidirectional Encoder Representations from Transformers,BERT)的施工安全事故文本命名实体识别方法。以自建的施工安全事故领域实体标注语料数据集为研究对象,首先利用BERT预训练模型获取动态字向量,然后采用双向长短时记忆网络-注意力机制-条件随机场(BiLSTM-Attention-CRF)对前一层输出的语义编码进行序列标注和解码以获取最优文本标签序列。实验结果表明,该模型在自建数据集上的F1值分数为92.58%,较基准模型BiLSTM-CRF提升了4.19%;该方法对事故时间等5类实体识别F1值均可达到91%以上,验证了该方法对施工安全事故实体识别的有效性,说明模型可用于实际施工知识管理中并指导建筑安全管理的安全培训。     

基于LSTM-Attention神经网络的文本特征提取方法

针对当前文本分类神经网络不能充分提取词语与词语和句子与句子之间的语义结构特征信息的问题,提出一种基于LSTM-Attention的神经网络实现文本特征提取的方法。首先,分别使用LSTM网络对文本的词语与词语和句子与句子的特征信息进行提取;其次,使用分层的注意力机制网络层分别对文本中重要的词语和句子进行选择;最后,将网络逐层提取得到的文本特征向量使用softmax分类器进行文本分类。实验结果表明,所提方法可以有效地提取文本的特征,使得准确率得到提高。将该方法应用在IMDB,yelp2013和yelp2014数据集上进行实验,分别得到52.4%,66.0%和67.6%的正确率。     

一种基于类别的混合型文本特征降维

提出了一种基于特征选择和特征抽取的混合型文本特征降维方法.通过一种改进的优势率方法进行初次特征选择,将文本表示为以类别属性为行向量的矩阵形式;再使用一种改进的最大散度差特征抽取方法进行二次特征抽取.在最大限度减少信息损失的前提下实现了文本特征的二次降维.对中文文本的分类实验结果表明,提出的特征降维方法具有良好的分类效果.     

融合潜在主题信息和卷积语义特征的文本分类

经典的概率主题模型通过词与词的共现挖掘文本的潜在主题信息,在文本聚类与分类任务上被广泛应用。近几年来,随着词向量和各种神经网络模型在自然语言处理上的成功应用,基于神经网络的文本分类方法开始成为研究主流。本文通过卷积神经网络(Convolutional Neural Network,CNN)和概率主题模型在文本主题分类上的效果对比,展示了CNN在此任务上的优越性。在此基础上,本文利用CNN模型提取文本的特征向量并将其命名为卷积语义特征。为了更好地刻画文本的主题信息,本文在卷积语义特征上加入文本的潜在主题分布信息,从而得到一种更有效的文本特征表示。实验结果表明,相比于单独的概率主题模型或CNN模型,新的特征表示显著地提升了主题分类任务的F1值。      

基于BiGRU-Capsule的多标签文本分类

传统的文本分类一般采用单标签形式,但现实生活中多标签文本比单标签文本具有更广泛的应用场景.本文提出一种BiGRU-Capsule模型的多标签文本分类方法,该方法首先通过嵌入层将输入的文本序列转化为向量表示;然后通过BiGRU和Capsule提取文本特征;最后使用sigmoid分类器进行分类.为确保数据量足够,利用今日头条2018新闻标题多标签语料数据集进行实验,将胶囊网络模型作为对比模型进行多标签文本分类实验与分析.实验结果表明:本文模型的多标签文本分类效果得到有效提升.     

基于Bert-A-BiR神经网络的文本情感分类模型

为了解决双向长短时记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)模型不能解决一词多义、不能充分学习文本深层次语义的问题,提出一种基于Bert-A-BiR的文本情感分析模型.首先,对预训练模型(Bidirectional Encoder Representations from Transformers,BERT)进行微调,利用BERT预训练模型对词向量动态调整,将包含上下文信息的真实语义嵌入模型;其次,利用双向门控循环网络(BiGRU)层对BERT层输出文本进行深层特征采集;再次,引入注意力机制,为采集的深层情感特征分配相应的不同权重;最后,将包含权重信息的情感特征送入softmax层进行情感分类.同时,为了进一步提升模型对文本深层语义的学习能力,设计6组相关模型进行进一步实验验证.实验结果表明,所提出的神经网络模型在IMDB数据集上的最高准确率为93.66％,在SST-5数据集上的最高准确率为53.30％,验证了Bert-BiR-A模型的有效性.     

基于双重注意力融合和空洞残差特征增强的场景文本检测

针对自然场景中任意形状文本容易漏检、错检的问题,提出了一种基于双重注意力融合和空洞残差特征增强的场景文本检测方法.为了增强文本特征通道之间的潜在联系,提出了双重注意力融合(DAF)模块,采用双向特征金字塔与双重注意力融合模块相结合的方式进行多层的特征融合;另外针对深层特征图在降维的过程中可能造成语义丢失的现象,提出了空...     

基于改进主题分布特征的神经网络语言模型

在递归神经网络(RNN)语言模型输入中增加表示当前词所对应主题的特征向量是一种有效利用长时间跨度历史信息的方法。由于在不同文档中各主题的概率分布通常差别很大,该文提出一种使用文档主题概率改进当前词主题特征的方法,并将改进后的特征应用于基于长短时记忆(LSTM)单元的递归神经网络语言模型中。实验表明,在PTB数据集上该文提出的方法使语言模型的困惑度相对于基线系统下降11.8%。在SWBD数据集多候选重估实验中,该文提出的特征使LSTM模型相对于基线模型词错误率(WER)相对下降6.0%;在WSJ数据集上的实验中,该特征使LSTM模型相对于基线模型词错误率(WER)相对下降6.8%,并且在eval92测试集上,改进隐含狄利克雷分布(LDA)特征使RNN效果与LSTM相当。     

数据驱动的双通道CNN-LSTM调制分类算法

为同时利用卷积神经网络(Convolutional Neural Network, CNN)的空间特征提取能力和长短时记忆(Long Short-Term Memory, LSTM)网络的时序特征提取能力，提出了一种由双通道一维CNN与LSTM相互串联的调制分类算法。算法采用数据驱动的方式，直接将信号送入至2路CNN提取其在不同维度的空间特征信息；把2个通道的特征融合信息输入至LSTM学习其时序上的特征；与全连接网络连接实现对5种目标信号的调制分类。实验结果表明，CNN与LSTM相互串联能够学习到更加丰富的特征信息，更有利于分类；与传统方法相比，提出的方法无需人工提取信号特征，减少了预处理步骤并有效提升了识别性能。     

轻量化多特征融合的指纹分类算法研究

快速准确的指纹分类在大型指纹识别系统中是加速目标指纹查找的关键技术。目前,指纹分类算法存在复杂度高、操作繁琐、参数较多、所需数据规模大、且无法充分利用指纹特征信息等问题。神经网络深层提取的特征更加关键,也更有代表性,但忽略了部分浅层信息。针对指纹分类存在的问题,本文提出一种轻量化多特征融合的指纹分类算法。该算法设计了轻量化Finger-SqueezeNet来训练指纹图像,采用查表法求得指纹的细化图之后,利用改进的分布求和梯度法求取相应细化图的感兴趣区域(Region Of Interest,ROI)图像;将指纹ROI图像输入网络深层与提取的特征图进行特征融合,使得深层网络也能获得浅层中纹线准确的走向信息,从而增强网络对于纹型的敏感度;采用Maxout激活函数对网络提取的特征进行激活。实验结果表明,本文算法不仅减少了训练参数量,而且通过指纹ROI图像补偿深层特征图,更加充分利用了指纹的纹型信息,轻量化算法也可为指纹分类模型拓展到移动端提供理论支撑。      

基于胶囊网络的中长微博情感分析

针对通过微博文本获取用户情感倾向,以提高舆情监控效率的问题。利用深度学习的方法实现微博语料的情感分类,构建符合近年文本长度分布特点的高质量微博情感分类数据集,分析微博文本长度对情感分类的影响。由于中长语料主观性强、句子关联度弱,其检测准确率偏低。针对此问题,本文提出一种基于胶囊网络的中长微博情感分析模型。采用注意力机制,在融合局部特征与全局特征的基础上,利用胶囊向量实现深层情感特征提取,提高中长语料的检测效果。利用本文搜集的数据集进行实验,结果表明,相较于多种深度学习算法,本文模型性能更佳。在不同文本长度语料的对比实验中,伴随着文本长度的增加,分类准确率逐渐降低。相较于传统的LSTM算法,本文模型随文本长度增加效果提升,证明了该模型针对中长微博文本情感分类的可行性。     

基于文本分类与语义识别的电力运营数据智能处理

针对当前电力运营数据分析和利用不足的现状,提出一种基于文本分类与语义识别的电力运营数据智能处理算法。该算法采用剔除异常文本、分词以及去停顿词等操作进行电力运营文本清洗,再使用连续词袋（CBOW）模型实现电力运营文本的向量化表示。同时利用Apriori算法挖掘电力运营文本向量与文本分类结果的关联规则,并基于小批量梯度下降（MBGD）的长短期记忆网络（LSTM）算法来获取电力运营文本分类的结果。通过对新疆电网某历史数据的仿真分析结果表明,文中所提算法相较于LSTM与Apriori-SVM算法,在电力运营文本分类上具有更高的准确率;且与传统梯度下降法相比,MBGD算法能够在保持较高准确率的同时大幅缩减模型的训练时间。