面向多标签文本分类的深度主题特征提取

针对单标签特征提取方法不能有效解决多标签文本分类的问题,文中提出融合主题模型(LDA)与长短时记忆网络(LSTM)的双通道深度主题特征提取模型(DTFEM).LDA与LSTM分别作为两个通道,通过LDA为文本的全局特征建模,利用LSTM为文本的局部特征建模,使模型能同时表达文本的全局特征和局部特征,实现有监督学习与无监督学习的有效结合,得到文本不同层次的特征提取.实验表明,相比文本特征提取模型,文中模型在多标签分类结果上的多项指标均有明显提升.     

基于自监督增强特征的直推式零样本图像分类

图像的视觉特征对实现零样本图像分类有至关重要的作用.尽管目前VGG、GoogLeNet和ResNet等网络提取的深度特征在图像分类领域获得了广泛的应用,但其在零样本图像分类问题上的表现并不理想,仍旧存在较大的提升空间.此外,由于零样本学习场景下训练集与测试集不相交的设定,导致分类网络不可避免地存在领域偏移问题.为此,提出一种基于自监督增强特征的直推式零样本图像分类框架.首先,通过辅助任务构造伪标签,利用自监督学习获得图像的自监督特征并将其与无监督深度特征进行特征融合;然后,将融合特征嵌入语义空间中进行零样本图像分类,并获得未见类的初始预测标签;最后,利用未见类特征和预测标签迭代地优化视觉-语义映射.所提出框架组件可选择,框架组件自监督网络、主干网络和降维网络分别选用CFN、VGG16和PCA构成网络.在CUB、SUN和AwA2数据集上的实验结果表明,所提出网络能够增强特征的判别能力,在零样本图像分类问题上表现良好.     

融合深度学习和聚类分析的自适应图像聚类

针对卷积神经网络应用于图像分类任务时需要大量有标签数据的问题,提出一种融合卷积神经网络和聚类分析的无监督分类模型,将无监督算法引入深度学习,并将该模型应用到图像分类领域,来弥补现有分类方式的不足.首先对经典卷积神经网络AlexNet从网络结构和模型训练两个方面进行优化;然后利用改进后的自适应快速峰值聚类算法指导聚类过程...     

应用深度自编码网络的网络安全态势评估

针对BP神经网络类方法对标签数据的依赖性缺陷,提出了一种基于深度自动编码网络的态势评估方法。模型应用深度自动编码器作为基本单元构建深度自编码网络,结合专家经验和层次化评估的方法训练深度自编码网络。利用无标签数据采用无监督逐层算法对网络进行预训练,确定网络各层参数及权值的范围空间。在此基础上,采用有监督算法使用有标签样本对网络进行微调,对各层参数及权值进行优化,最终形成具有对输入态势数据进行准确评估能力的模型。多种样本数量条件下的对比实验表明,相对于BP神经网络类方法,基于深度自动编码网络模型受标签的影响较小,明显减少了对专家经验的依赖,并且具有整体上较高的评估精度。     

基于图卷积网络的多标签遥感图像分类

由于遥感图像包含物体类别多样,单个语义类别标签无法全面地描述图像内容,而多标签图像分类任务更加具有挑战性.通过探索深度图卷积网络(GCN),解决了多标签遥感图像分类缺乏对标签语义信息相关性利用的问题,提出了一种新的基于图卷积的多标签遥感图像分类网络,它包含图像特征学习模块、基于图卷积网络的分类器学习模块和图像特征差异化模块三个部分.在公开多标签遥感数据集Planet和UCM上与相关模型进行对比,在多标签遥感图像分类任务上可以得到了较好的分类结果.该方法使用图卷积等模块将多标签图像分类方法应用到遥感领域,提高了模型分类能力,缩短了模型训练时间.     

应用无监督最大互信息算法分类鸟类叫声

在建立鸟类叫声的分类模型时,由于自然界中具有准确标签的鸟类叫声数据较少,因此需要解决小样本下的模型训练问题。本文研究应用最大互信息的无监督网络来对鸟类叫声进行分类。通过同时提取梅尔图谱的高层语义特征和浅层特征并计算互信息,减少噪声特征的提取。训练时使用对抗样本,利用先验约束网络拉大不同类别之间的距离,降低模型对数据的依赖。实验证明,与现有无监督方法相比,利用最大互信息方法的无监督学习能够在鸟类叫声分类任务上取得最好的效果。     

基于自监督学习的输电线路螺栓螺母异常检测技术

针对输电线路螺栓螺母异常检测问题,对无标签螺栓数据训练深度学习预训练模型进行了研究,首次采用了自监督学习的方法,使用大量无标签数据集进行学习,首先,使用少量带标签的螺栓目标检测数据集训练目标检测模型,推理获取大量的单图无标签螺栓数据集,然后,采用自监督学习方法通过单图无标签螺栓数据集训练螺栓预训练大模型并获取可视化的螺栓注意力图,最后通过实验对比螺栓预训练大模型在螺栓分类和检索任务中与非预训练模型的效果,实验结果表明无标签数据得到的预训练大模型可以注意到螺杆、螺母、连接件的位置,进一步表明螺栓预训练大模型在分类任务中准确率提升了2%到7%,在螺栓检索任务中平均精度提升了8%。     

基于Deep Belief Nets的维吾尔语句子级情感分析

针对维吾尔语句子情感信息：喜、怒、哀、乐和客观五分类任务,提出一种利用深度信念网络模型(Deep Belief Nets, DBN)的深度学习机制进行基于深层语义特征的句子级情感分析方法。该方法通过对维吾尔语情感句及语言特点的深入研究,提取出利于情感分析任务的8项情感特征。为了提高特征对文本语义的表达,将富含词汇深层语义和上下文信息的word embedding特征与情感特征进行融合,作为深度信念网络的输入。利用多层无监督的波尔兹曼机(RBM)训练并提取隐含的深层语义特征,通过有监督的后向传播算法对网络进行微调,进而完成情感分类任务。该方法在维吾尔语句子级情感分类任务中的准确率为83,35%,召回率为84.42%,F值为：83.88%. 实验结果证明,深度学习模型较浅层的学习模型更合适于本文的情感分类任务,对word embedding特征项的引入,有效的提高了情感分类模型的性能.     

基于伪成对标签的深度无监督哈希学习

无监督的深度哈希学习方法由于缺少相似性监督信息,难以获取高质量的哈希编码.因此,文中提出端到端的基于伪成对标签的深度无监督哈希学习模型.首先对由预训练的深度卷积神经网络得到的图像特征进行统计分析,用于构造数据的语义相似性标签.再进行基于成对标签的有监督哈希学习.在两个常用的图像数据集CIFAR-10、NUS-WIDE上的实验表明,经文中方法得到的哈希编码在图像检索上的性能较优.     

基于深度示例差异化的零样本多标签图像分类

零样本多标签图像分类是对含多个标签且测试类别标签在训练过程中没有相应训练样本的图像进行分类标注。已有的研究表明,多标签图像类别间存在相互关联,合理利用标签间相互关系是多标签图像分类技术的关键,如何实现已见类到未见类的模型迁移,并利用标签间相关性实现未见类的分类是零样本多标签分类需要解决的关键问题。针对这一挑战性的学习任务,提出一种深度示例差异化分类算法。首先利用深度嵌入网络实现图像视觉特征空间至标签语义特征空间的跨模态映射,然后在语义空间利用示例差异化算法实现多标签分类。通过在主流数据集Natural Scene和IAPRTC-12上与已有算法进行对比实验,验证了所提方法的先进性和有效性,同时验证了嵌入网络的先进性。     

基于半监督深度信念网络的图像分类算法研究

近年来,深度学习在图像、语音、视频等非结构化数据中获得了成功的应用,已成为机器学习和数据挖掘领域的研究热点。作为一种监督学习模型,成功的深度学习应用往往要求较大的高质量的训练集。基于此,研究了多个受限波尔兹曼机组成的深度信念网络,结合半监督学习的思想,使用较小的训练集提高深度网络模型的分类准确性。分别采用了Knn,SVM和pHash 3种方法来学习非标示数据集,实验结果表明半监督深度信念网络比传统多层受限波尔兹曼机在图像分类准确率方面提高了约3%。     

深度迁移学习在高光谱图像分类中的运用

针对高光谱图像分类中，样本空间特征利用不足的问题。将深层残差网络作为特征提取器运用到高光谱图像分类中，利用深层残差网络更深的网络结构，挖掘样本邻域空间中的深层特征，实验证明此特征具有更好的可分性。同时，针对深层卷积网络有监督训练的过程中，由于有标签样本不足导致的过拟合现象，提出基于深度迁移学习方法的训练策略，通过迁移网络在另一相关数据集中训练得到的网络浅层卷积核参数，再使用目标数据集对深层卷积核参数进行微调，提高了残差网络在少量有标签样本情况下的分类效果。     

噪声鲁棒的轻量级深度遥感场景图像分类检索

目的 基于深度神经网络的遥感图像处理方法在训练过程中往往需要大量准确标注的数据,一旦标注数据中存在标签噪声,将导致深度神经网络性能显著降低。为了解决噪声造成的性能下降问题,提出了一种噪声鲁棒的轻量级深度遥感场景图像分类检索方法,能够同时完成分类和哈希检索任务,有效提高深度神经网络在有标签噪声遥感数据上的分类和哈希检索性能。方法 选取轻量级神经网络作为骨干网,而后设计能够同时完成分类和哈希检索任务的双分支结构,最后通过设置损失基准的正则化方法,有效减轻模型对噪声的过拟合,得到噪声鲁棒的分类检索模型。结果 本文在两个公开遥感场景数据集上进行分类测试,并与8种方法进行比较。本文方法在AID（aerial image datasets）数据集上,所有噪声比例下的分类精度比次优方法平均高出7.8%,在NWPU-RESISC45（benchmark created by Northwestern Polytechnical University for remote sensing image scene classification covering 45 scene classes）数据集上,分类精度比次优方法平均高出8.1%。在效率方面,本文方法的推理速度比CLEOT（classification loss with entropic optimal transport）方法提升了2.8倍,而计算量和参数量均不超过CLEOT方法的5%。在遥感图像哈希检索任务中,在AID数据集上,本文方法的平均精度均值（mean average precision,mAP）在3种不同哈希比特下比MiLaN（metric-learning based deep hashing network）方法平均提高了5.9%。结论 本文方法可以同时完成遥感图像分类和哈希检索任务,在保持模型轻量高效的情况下,有效提升了深度神经网络在有标签噪声遥感数据上的鲁棒性。     

稀疏和标签约束半监督自动编码机的分类算法

自动编码机通过深度无监督学习能够表达数据的语义特征,但由于其隐含层节点个数难以有效确定,所处理的数据进一步用于分类时常会导致分类准确度低、稳定性弱等问题。针对这些问题,提出了一种稀疏和标签约束的半监督自动编码机（SLRAE）,以实现无监督学习与监督学习的有机结合,更准确地抽取样本的本质特征。稀疏约束项针对每个隐含节点的响应添加约束条件,从而在隐含神经元数量较多的情况下仍可发现数据中潜在的结构;同时引入标签约束项,以监督学习的方式比对实际标签与期望标签,针对性地调整网络参数,进一步提高分类准确率。为验证所提方法的有效性,实验中对多个数据集进行广泛地测试,其结果表明,相对传统自动编码机（AE）、稀疏自动机（SAE）以及极限学习机（ELM）,SLRAE所处理的数据应用于同一分类器,能明显提高分类准确率和稳定性。     

一种基于图卷积网络的文本多标签学习方法

多标签学习广泛应用于文本分类、标签推荐、主题标注等.最近,基于深度学习技术的多标签学习受到广泛关注,针对如何在多标签学习中有效挖掘并利用高阶标签关系的问题,提出一种基于图卷积网络探究标签高阶关系的模型TMLLGCN.该模型采用GCN的映射函数从数据驱动的标签表示中生成对象分类器挖掘标签高阶关系.首先,采用深度学习方法提取文本特征,然后以数据驱动方式获得基础标签关联表示矩阵,为更好地建模高阶关系及提高模型效果,在基础标签关联表示矩阵上考虑未标记标签集对已知标签集的影响进行标签补全,并以此相关性矩阵指导GCN中标签节点之间的信息传播,最后将提取的文本特征应用到学习高阶标签关系的图卷积网络分类器进行端到端训练,综合标签关联和特征信息作为最终的预测结果.在实际多标签数据集上的实验结果表明,提出的模型能够有效建模标签高阶关系且提升了多标签学习的效果.     

一种基于自组织过程神经网络的动态样本半监督学习算法

针对时变信号模式分类和未标记样本信息的有效利用问题,提出了一种基于自组织过程神经网络的动态样本半监督学习算法。根据获得的已标记和未标记的过程函数样本信号,分别构建基于竞争学习规则和有教师示教方法的自组织过程神经网络模型,利用该网络的自组织特性,实现动态样本的分类标识。文中分析了算法的信息处理机制,给出了具体的实现步骤。以油田开发水淹状况判别为例,实验结果验证了方法的有效性。     

基于深度卷积网络的地理图像分类研究

最近五年,卷积神经网络（CNN）得到了充分的发展,在图像分类领域,基于监督学习的算法在相关任务中取得了巨大的成功。但是与分类极为准确地粗粒度标签数据集相比,细粒度标签数据集的分类依旧是一个难点。地理图像被广泛应用于社会的各个方面,研究者往往需要对大规模的地理图像数据进行分类,但是由于地理图像的特征差异较小,因此自动化分类是相对困难的。对地理图像的细粒度特征进行标记,通过深度卷积网络对其进行训练和学习,极大地提高地理图像的分类精度。     

Labelset topic model for multi-label document classification

It has recently been suggested that assuming independence between labels is not suitable for real-world multi-label classification. To account for label dependencies, this paper proposes a supervised topic modeling algorithm, namely labelset topic model (LsTM). Our algorithm uses two labelset layers to capture label dependencies. LsTM offers two major advantages over existing supervised topic modeling algorithms: it is straightforward to interpret and it allows words to be assigned to combinations of labels, rather than a single label. We have performed extensive experiments on several well-known multi-label datasets. Experimental results indicate that the proposed model achieves performance on par with and often exceeding that of state-of-the-art methods both qualitatively and quantitatively.     

基于图深度学习的金融文本多标签分类算法

金融文本多标签分类算法可以根据用户需求在海量金融资讯中实现信息检索。为进一步提升金融文本标签识别能力,建模金融文本多标签分类中标签之间的相关性,提出基于图深度学习的金融文本多标签分类算法。图深度学习通过深度网络学习局部和全局的图结构特征,可以刻画节点之间的复杂关系。通过建模标签关联实现标签之间的知识迁移,是构造具有强泛化能力算法的关键。所提算法结合标签之间的关联信息,采用基于双向门控循环网络和标签注意力机制得到的新闻文本对应不同标签的特征表示,通过图神经网络学习标签之间的复杂依赖关系。在真实数据集上的实验结果表明,显式建模标签之间的相关性能够极大地增强模型的泛化能力,在尾部标签上的性能提升尤其显著,相比CAML、BIGRU-LWAN和ZACNN算法,该算法在所有标签和尾部标签的宏观F1值上最高提升3.1%和6.9%。