少样本文本分类的多任务原型网络

少样本文本分类中,原型网络对语义利用不足、可迁移特征挖掘不够,导致模型泛化能力不强,在新任务空间中分类性能不佳。从模型结构、编码网络、度量网络等角度提高模型泛化性,提出多任务原型网络(multiple-task prototypical network, MTPN)。结构上,基于原型网络度量任务增加辅助分类任务约束训练目标,提高了模型的语义特征抽取能力,利用多任务联合训练,获得与辅助任务更相关的语义表示。针对编码网络,提出LF-Transformer编码器,使用层级注意力融合底层通用编码信息,提升特征的可迁移性。度量网络使用基于BiGRU的类原型生成器,使类原型更具代表性,距离度量更加准确。实验表明,MTPN在少样本文本情感分类任务中取得了91.62%的准确率,比现有最佳模型提升了3.5%以上;在新领域的情感评论中,基于五条参考样本,模型对查询样本可获得超过90%的分类准确率。     

图自适应原型网络的小样本节点分类方法

小样本节点分类旨在让机器从少量节点中学习到快速认知和分类的能力,现有小样本节点分类模型的分类性能容易受到图编码器提取的节点特征不够准确和子任务中支撑集实例的类内异常值的影响．为此,文中提出图自适应原型网络(Graph Adaptive Prototypical Networks,GAPN)的小样本节点分类方法．首先,将图中的节点通过图编码器嵌入度量空间中．然后,将全局重要度和局部重要度的融合结果作为支撑集实例的权重计算类原型,使查询集实例能自适应地学习更鲁棒的类原型．最后,计算自适应任务的类原型与查询集实例之间距离产生的分类概率,最小化分类概率和真实标签间的正间隔损失,反向更新网络参数,学习到更有判别性的节点特征．在常用图数据集上的实验表明,文中方法具有较优的节点分类性能．     

基于原型网络的细粒度实体分类方法

细粒度实体分类任务作为命名实体识别任务的扩展,其目的是根据指称及其上下文,发掘实体更细粒度的类别含义。由于细粒度实体语料的标注代价较大,标注错误率较高,因此该文研究了在少量样本情况下的细粒度实体分类方法。该文首先提出了一种特征提取模型,能够分别从单词层面以及字符层面提取实体信息,随后结合原型网络将多标签分类任务转化为单标签分类任务,通过缩小空间中同类样本与原型的距离实现分类。该文使用少样本学习以及零样本学习两种设置在公开数据集FIGER(GOLD)上进行了实验,在少样本学习的设置下,较基线模型在三个指标中均有提升,其中macro-F₁的提升最大,为2.4%。     

用于文本分类的均值原型网络

文本分类是自然语言处理的基本任务之一。该文在原型网络基础上,提出了按时序移动平均方式集成历史原型向量的均值原型网络,并将均值原型网络与循环神经网络相结合,提出了一种新的文本分类模型。该模型利用单层循环神经网络学习文本的向量表示,通过均值原型网络学习文本类别的向量表示,并利用文本向量与原型向量的距离训练模型并预测文本类别。与己有的神经网络文本分类方法相比,模型在训练和预测过程中有效利用了样本间的特征相似关系,并具有网络深度浅、参数少的特点。该方法在多个公开的文本分类数据集上取得了最好的分类准确率。     

基于残差模型改进的带钢缺陷分类网络

为了进一步提高带钢缺陷图像分类的准确性,文章基于ResNet18进行了改进,得到了一种新的网络结构,并命名为FusionNet。在FusionNet模型上添加卷积块注意力模块（Convolutional Block Attention Module,CBAM）后,验证集的准确性达到了99.50%,较基于ResNet18网络的CBAM模块及DenseNet121算法,准确率分别提高了0.94个百分点和1.51个百分点。设计的实验证明了改进后的网络具有一定的实用价值。     

基于红外成像太阳能板缺陷检测方法研究

设计一种基于红外热像技术进行太阳能光伏板缺陷检测和分类的方法.设计了由黑箱、红外热像仪、模拟光源和图像处理计算机组成的检测系统.根据常见的黑片、断栅、隐裂和碎片4种光伏电池板缺陷特点,通过改进传统Ostu算法来自动识别最优分割阈值的方法再提取红外图像平均灰度值差、复杂度、长宽比和边沿曲率等特征进行缺陷的检测.实验表明,对于含典型缺陷光伏板,系统能够实现光伏板缺陷的检测定位,并对缺陷进行准确分类.     

基于模糊推理的模糊原型网络

针对真实数据具有的模糊性和不确定性会严重影响小样本学习分类结果这一问题,改进并优化了传统的小样本学习原型网络,提出了基于模糊推理的模糊原型网络(FPN).首先,从卷积神经网络(CNN)和模糊神经网络两个方向分别获取图像特征信息;然后,对获得的两部分信息进行线性知识融合,得到最终的图像特征;最后,度量各个类别原型到查询集...     

基于改进深度残差网络的光伏板积灰程度识别

光伏板积灰会降低光伏发电的转换效率,同时易造成光伏板的损坏;因此,对光伏板的积灰进行智能识别具有重大意义。针对以上问题,提出一种基于改进深度残差网络的光伏板积灰程度识别模型。首先,通过分解卷积和微调下采样,对次代残差网络（ResNeXt）50进行改进;然后,融合坐标注意力（CA）机制,将位置信息嵌入到通道注意力中,通过精确的位置信息对通道关系和长期依赖性进行编码,并通过二维全局池操作将特征图像分解为两个一维编码,以增强关注对象的表示;最后,用监督对比（SupCon）学习损失函数替代交叉熵损失函数,从而有效提高识别准确率。实验结果表明,在真实光伏电站4个等级的光伏板积灰程度识别中,改进后的ResNeXt50的识别准确率为90.7%,与原始ResNeXt50相比提升了7.2个百分点。所提模型可满足光伏电站智能运维的基本要求。     

基于轻量级网络的钢铁表面缺陷分类

缺陷分类是钢铁表面缺陷检测的重要内容.在卷积神经网络(CNN)取得良好效果的同时,网络日益增长的参数量耗费了大量计算成本,为缺陷分类任务在个人计算机或低算力设备上的部署带来了巨大的挑战.针对上述问题,提出了一种新颖的轻量级网络模型Mix-Fusion.首先,通过组卷积和通道洗牌两种操作,在保持精度的同时有效降低计算成本...     

小样本关系分类研究综述

关系分类作为构建结构化知识的重要一环,在自然语言处理领域备受关注.但在很多应用领域中(如医疗、金融等领域)收集充足的用于训练关系分类模型的数据十分困难.近年来,仅需要少量训练样本的小样本学习逐渐应用于关系分类研究中.该文对近期小样本关系分类模型与方法进行了系统的综述.根据度量方法的不同,将现有方法分为原型式和分布式两大...     

适于少样本缺陷检测的两阶段缺陷增强网络

缺陷检测模型一般需要大量样本来学习缺陷的特征,但实际场景中一些重要缺陷的样本难以收集,如何用少量样本来学习罕见缺陷的特征成为一个具有挑战性的问题。为了促进少样本缺陷检测的研究,构建了一个新的工业表面缺陷数据集,包括缺陷样本和无缺陷样本。同时提出了一个两阶段缺陷增强网络以提升少样本场景下的缺陷检测性能,它利用了无缺陷样本,并将整个训练过程分为两个阶段。第一阶段的训练需要大量缺陷样本,而第二阶段的训练只需要少量缺陷样本和无缺陷样本。此外,还提出了一个缺陷突显模块,可以更好地利用无缺陷样本来增强缺陷区域的特征。在新数据集上的实验表明,该缺陷检测模型的性能优于其他的少样本目标检测模型,在工业表面缺陷检测中具有更好的应用前景。     

基于孪生深度特征融合残差网络的PCB缺陷分类模型

在电子工业领域中,印刷电路板(printed circuit board, PCB)缺陷检测已经变得越来越重要. PCB的部分微小损伤或者不规则损伤与其密集复杂的排线等视觉纹理信息高度相关.传统卷积神经网络提取特征向量,容易丢失纹理特征等中级视觉特征信息,导致对于细微损伤和不规则损伤的检测效果不明显.针对这一问题,提出了基于孪生深度特征融合残差网络(Siamese deep feature fusion residual network)的PCB损伤分类模型.模型的骨干网络采用ResNet50.特征提取阶段将纹理信息等中级视觉特征和神经网络最终输出的高级语义特征融合为一个32维的特征向量.两个特征的向量的相似性用L2距离表示,用于判断PCB是否有缺陷.在训练阶段应用了三元损失和交叉熵损失,多个损失函数的组合提高了网络的准确性.通过实验验证了模型的有效性,在测试数据集上的准确率达到了(95.42±0.31)%的准确率,实现了模型在PCB缺陷分类检测的可行性.     

结合注意力和改进样本选取方法的少样本高光谱分类孪生网络

针对高光谱图像(hyperspectral image)样本人工标记困难导致的样本数量不足的问题, 本文提出了一个结合注意力和空间邻域的少样本孪生网络算法. 它首先对高光谱图像进行PCA预处理, 实现数据降维; 其次, 对模型训练样本采用间隔采样和边缘采样的方式进行选取, 以有效减少冗余信息; 之后, Siamese network以大小不同的patch形式进行两两结合, 构建出样本对作为训练集进行训练, 不仅实现了数据增强的效果, 还能在提取光谱信息特征的同时, 充分提取目标像素光谱信息以及其周围邻域空间信息; 最后, 添加光谱维度的注意力模块以及空间维度的相似度度量模块, 分别对光谱信息和空间邻域信息进行权重分布, 以达到提升分类性能的目的. 实验结果表明, 本文提出的方法在部分公开数据集上对比常用方法取得了较好的实验效果.     

基于卷积神经网络的织物表面缺陷分类方法

针对织物缺陷检测时疵点种类繁多且传统人工检测方法漏检率高的问题,提出了一种基于卷积神经网络的织物表面缺陷分类方法。因卷积神经网络（CNN）训练时参数多、样本量大,且极易陷入过拟合,利用微调卷积神经网络模型Alexnet对织物疵点图像进行特征提取,初始化采用原网络的参数而非随机初始化参数;再针对特定目标下的训练样本对网络参数进行微调;最后利用softmax回归算法进行预测分类。分别用三种方法和两种织物进行测试,结果表明：针对特定目标微调后的Alexnet网络,在两类织物测试中均能达到95%以上的分类准确率。     

人工免疫网络记忆分类器网络文本分类研究

论文在人工免疫记忆分类器用于解决数据分类的基础上,提出将该分类器用于解决文本分类的方法。与两种基于免疫原理的文本分类方法和传统的贝叶斯分类器进行了比较研究。结果表明该分类器在标准文本样本集合上的性能好于其他三种分类器,在小样本分类上具有一定优势。     

航空机载软件缺陷分类方法研究及应用

分析现有软件缺陷分类方法,针对现有缺陷分类方法不能完全适用于航空机载软件缺陷管理的问题,结合机载软件研制阶段和特点,以现有软件缺陷分类方法为基础,综合考虑缺陷度量分析的要求,提出一种符合航空机载软件研制特点的缺陷分类方法,并给出了“缺陷类别”详细的分类.将其应用于实际软件研制过程中,应用结果表明,该方法满足机载软件缺陷分类原则.     

面向程序自动修复的缺陷分类方法研究*

程序自动修复是近年软件工程的研究热点,但其发展难以满足工业应用的要求。分析了自动修复技术的局限性,引入了缺陷分类的思想,并与正交缺陷分类方法相结合,提出了面向软件自动修复的缺陷分类方法(APRDC)。基于APRDC提出了自动修复技术集成的思想。实验中将基于APRDC与基于随机的自动修复技术集成工具作了比较。实验结果表明基于APRDC方法的自动修复技术的集成提高了修复效果,同时也表明了APRDC方法的有效性。     

深度信念网软件缺陷预测模型

软件缺陷预测技术在检测软件缺陷、保证软件质量方面发挥了重要的作用。利用神经网络分类算法构建的软件缺陷预测模型得到了广泛的应用。但是利用神经网络分类算法训练历史数据只能进行“浅层学习”,无法对数据特征进行深度挖掘。针对该问题,利用多层限制玻尔兹曼机叠加成深度信念网,先进行特征集成与迭代,并对这些特征数据进行深度学习,构建了基于深度信念网的软件缺陷预测模型(DBNSDPM)。仿真实验表明,本模型预测的准确性与传统的神经网络缺陷预测模型预测的准确性相比有显著提高。     

基于规则推理网络的分类模型

为了缓解神经网络的"黑盒子"机制引起的算法可解释性低的问题,基于使用证据推理算法的置信规则库推理方法(以下简称RIMER)提出了一个规则推理网络模型.该模型通过RIMER中的置信规则和推理机制提高网络的可解释性.首先证明了基于证据推理的推理函数是可偏导的,保证了算法的可行性;然后,给出了规则推理网络的网络框架和学习算法,利用RIMER中的推理过程作为规则推理网络的前馈过程,以保证网络的可解释性;使用梯度下降法调整规则库中的参数以建立更合理的置信规则库,为了降低学习复杂度,提出了"伪梯度"的概念;最后,通过分类对比实验,分析了所提算法在精确度和可解释性上的优势.实验结果表明,当训练数据集规模较小时,规则推理网络的表现良好,当训练数据规模扩大时,规则推理网络也能达到令人满意的结果.