基于图像转换的道路图像裂缝检测

深度学习是目前路面图像裂缝检测的主流方法,但是需要大量人工标注的真值图进行训练,而现实中获取人工标注的真值图既费时又费力,本文提出一种基于改进的生成对抗网络的路面图像裂缝检测方法,将路面图像裂缝检测问题视为一类基于图像跨域转换的异常检测问题,采用定点生成对抗网络将裂缝图像无监督自动转换为与之一一对应的无裂缝图像,进而将原图像与生成图像进行差分,差分图中的显著目标对应裂缝检测结果.在公开数据集CrackIT上的测试结果表明,本文方法在不依赖于人工标注的真值图条件下能够实现裂缝的精准检测,本文方法在准确率、召回率、F1分数上取得了与有监督深度学习方法相当的性能.     

结合SS-GAN和BERT的文本分类模型

BERT是近年来提出的一种大型的预训练语言模型,在文本分类任务中表现优异,但原始BERT模型需要大量标注数据来进行微调训练,且参数规模大、时间复杂度高。在许多真实场景中,大量的标注数据是不易获取的,而且模型参数规模过大不利于在真实场景的实际应用。为了解决这一问题,提出了一种基于半监督生成对抗网络的BERT改进模型GT-BERT。采用知识蒸馏的压缩方法将BERT模型进行压缩;引入半监督生成对抗网络的框架对BERT模型进行微调并选择最优生成器与判别器配置。在半监督生成对抗网络的框架下增加无标签数据集对模型进行微调,弥补了标注数据较少的缺点。在多个数据集上的实验结果表明,改进模型GT-BERT在文本分类任务中性能优异,可以有效利用原始模型不能使用的无标签数据,大大降低了模型对标注数据的需求,并且具有较低的模型参数规模与时间复杂度。     

基于生成对抗网络的目标检测黑盒迁移攻击算法

目标检测被广泛应用到自动驾驶、工业、医疗等各个领域. 利用目标检测算法解决不同领域中的关键任务逐渐成为主流. 然而基于深度学习的目标检测模型在对抗样本攻击下, 模型的鲁棒性存在严重不足, 通过加入微小扰动构造的对抗样本很容易使模型预测出错. 这极大地限制了目标检测模型在关键安全领域的应用. 在实际应用中的模型普遍是黑盒模型, 现有的针对目标检测模型的黑盒攻击相关研究不足, 存在鲁棒性评测不全面, 黑盒攻击成功率较低, 攻击消耗资源较高等问题. 针对上述问题, 提出基于生成对抗网络的目标检测黑盒攻击算法, 所提算法利用融合注意力机制的生成网络直接输出对抗扰动, 并使用替代模型的损失和所提的类别注意力损失共同优化生成网络参数, 可以支持定向攻击和消失攻击两种场景. 在Pascal VOC数据集和MS COCO数据集上的实验结果表明, 所提方法比目前攻击方法的黑盒迁移攻击成功率更高, 并且可以在不同数据集之间进行迁移攻击.     

远程监督关系抽取综述

远程监督可以为关系抽取任务自动构建数据集,缓解了人工构建数据集的压力和成本,为自动关系抽取的实现奠定基础,然而使用远程监督方法构建的数据集存在错误标注以及长尾问题,严重影响关系抽取性能.目前,远程监督关系抽取任务的主要研究方向为关系模型的降噪手段以及对长尾关系的处理方法.近年来,随着深度学习技术的发展,这两个领域的研究...     

面向小样本情感分类任务的弱监督对比学习框架

文本情感分类是自然语言处理领域的挑战性研究课题.基于词典的方法和传统基于机器学习方法分别依赖高质量的情感词典和鲁棒的特征工程,而多数深度学习方法的性能则依赖大规模人工标注数据集.幸运的是,不同社交平台用户生成了大量带标签的舆情文本,这些文本可以作为弱标注数据集被用于情感分类任务,但是弱标注数据集中的噪声样本会对训练过程产生负面影响.提出了一种用于小样本情感分类任务的弱监督对比学习(weakly-supervised contrastive learning, WCL)框架,旨在学习海量带噪声的用户标记数据中的情感语义,同时挖掘少量人工标注数据中潜在的类间对比模式.该框架包括2个步骤：首先,设计了一种弱监督预训练策略来削弱噪声数据的影响;其次,在有监督微调阶段引入对比学习策略来捕获少量有标注数据的对比模式.在亚马逊评论数据集上评估了所提出的方法,实验结果表明所提出的方法显著优于其他同类对比方法.在仅使用0.5%(即32个样本)比例的有标注数据集进行微调的情况下,所提出方法的性能依然超出其他深度方法.     

基于对比学习与数据增强的零样本事件检测

事件检测是一项经典的自然语言处理任务。然而在实践中,获取高质量的标注数据需要耗费大量的人力,这使得现有的基于监督学习的方法在面对大量未定义的新事件类型时表现不佳。面对零样本事件检测的困境,现有方法或者需要预定义的事件类型作为启发规则,或者由于自编码器类间特征提取能力不足,无法进一步归类发现的未知事件。为此,该文提出了一种基于对比学习与数据增强的零样本事件检测方法,通过对事件描述的重构与复写,自动为无监督的对比学习提供训练样本。模型只需要部分已知事件类别标准数据,便可以从大量文本中自动发现并归类新的事件类型。实验表明,该方法在保持对已知类别事件识别能力的同时,能够显著提升对未知事件类别识别的准确率。     

基于带噪观测的远监督神经网络关系抽取

远监督关系抽取的最大优势是通过知识库和自然语言文本的自动对齐生成标记数据.这种简单的自动对齐机制在将人从繁重的样本标注工作中解放出来的同时,不可避免地会产生各种错误数据标记,进而影响构建高质量的关系抽取模型.针对远监督关系抽取任务中的标记噪声问题,提出“最终句子对齐的标签是基于某些未知因素所生成的带噪观测结果”这一假设.并在此假设的基础上,构建由编码层、基于噪声分布的注意力层、真实标签输出层和带噪观测层的新型关系抽取模型.模型利用自动标记的数据学习真实标签到噪声标签的转移概率,并在测试阶段,通过真实标签输出层得到最终的关系分类.随后,研究带噪观测模型与深度神经网络的结合,重点讨论基于深度神经网络编码的噪声分布注意力机制以及深度神经网络框架下不均衡样本的降噪处理.通过以上研究,进一步提升基于带噪观测远监督关系抽取模型的抽取精度和鲁棒性.最后,在公测数据集和同等参数设置下进行带噪观测远监督关系抽取模型的验证实验,通过分析样本噪声的分布情况,对在各种样本噪声分布下的带噪观测模型进行性能评价,并与现有的主流基线方法进行比较.结果显示,所提出的带噪观测模型具有更高的准确率和召回率.     

一种半监督对抗鲁棒模型无关元学习方法

元学习期望训练所得的元模型在学习到的“元知识”基础上利用来自新任务的少量标注样本，仅通过较少的梯度下降步骤微调模型就能够快速适应该任务。但是，由于缺乏训练样本，元学习算法在元训练期间对现有任务过度训练时所得的分类器决策边界不够准确，不合理的决策边界使得元模型更容易受到微小对抗扰动的影响，导致元模型在新任务上的鲁棒性能降低。提出一种半监督对抗鲁棒模型无关元学习（semi-ARMAML）方法，在目标函数中分别引入半监督的对抗鲁棒正则项和基于信息熵的任务无偏正则项，以此优化决策边界，其中对抗鲁棒正则项的计算允许未标注样本包含未见过类样本，从而使得元模型能更好地适应真实应用场景，降低对输入扰动的敏感性，提高对抗鲁棒性。实验结果表明，相比ADML、R-MAML-TRADES等当下主流的对抗元学习方法，semi-ARMAML方法在干净样本上准确率较高，在MiniImageNet数据集的5-way 1-shot与5-way 5-shot任务上对抗鲁棒性能分别约提升1.8%和2.7%，在CIFAR-FS数据集上分别约提升5.2%和8.1%。     

成本约束下自适应众包标注的用户观点抽取

用户评论包含了丰富的用户观点信息，对潜在的顾客和商家具有重要的参考价值。观点目标和观点词作为用户评论中的核心对象，它们的自动抽取是用户评论智能化应用的一项核心工作。目前主要采用有监督的抽取方法解决该问题，这些方法依赖于利用高质量的标注样本进行模型训练，而传统人工标注样本的方法不仅耗时费力，且标注成本高。众包计算为构建高质量训练样本集提供了一种有效途径，然而，众包工作者由于知识背景等因素使得标注结果的质量参差不齐。为了在有限的成本下获取高质量的标注样本，提出一种基于工作者专业水平评估的自适应众包标注方法，构建可靠的观点目标-观点词数据集。首先，通过小成本挖掘出高专业水平的工作者；然后，设计一种基于工作者可靠性的任务分发机制；最后，利用观点目标和观点词间的依赖关系设计了一种有效的标注结果融合算法，通过整合不同工作者的标注结果生成最终可靠的结果。在真实数据集上进行了一系列实验表明，与GLAD模型和多数投票（MV）算法方法相比，所提方法能够在成本预算较小的情况下将构建出的高质量观点目标-观点词数据集的可靠性提高10%左右。     

基于半监督深度学习的木马流量检测方法

针对木马流量检测技术存在人工提取特征不够准确、大量标记样本获取困难、无标记样本没有充分利用、模型对于未知样本识别率较低等问题,提出基于半监督深度学习的木马流量检测方法,利用大量未标记网络流量用于模型训练.首先,采用基于mean teacher模型的检测方法提高检测准确率;然后,为解决mean teacher模型中采用随机噪声导致模型泛化能力不足的问题,提出基于虚拟对抗mean teacher模型的检测方法;最后,通过实验验证所提半监督深度学习检测方法在少标记样本下的二分类、多分类以及未知样本检测任务中具有更高的准确率.此外,基于虚拟对抗mean teacher模型的检测方法在多分类任务中比原始mean teacher模型表现出更强的泛化性能.     

基于改进VGG网络的弱监督细粒度阿尔兹海默症分类方法

针对阿尔兹海默症(AD)患者和正常(NC)人之间核磁共振成像(MRI)图像差别小、分类难度大的问题,提出了基于改进VGG网络的弱监督细粒度AD分类方法.该方法以弱监督数据增强网络(WSDAN)为基本模型,主要由弱监督注意力学习模块、数据增强模块及双线性注意力池化模块等构成.首先,通过弱监督力注意学习模块生成特征图和注意...     

基于弱监督学习的目标检测研究进展

随着卷积神经网络（Convolutional Neural Network,CNN）的不断发展,目标检测作为计算机视觉中最基本的技术,已取得了令人瞩目的进展。介绍了强监督目标检测算法对数据集标注精度要求高的现状。对基于弱监督学习的目标检测算法进行研究,按照不同的特征处理方法将该算法归为四类,并分析比较了各类算法的优缺点。通过实验比较了各类基于弱监督学习的目标检测算法的检测精度,并将其与主流的强监督目标检测算法进行了比较。展望了基于弱监督学习的目标检测算法未来的研究热点。     

基于生成对抗网络的基因数据生成方法

在深度学习中,随着卷积神经网络(CNN)的深度不断增加,进行神经网络训练所需的数据会越来越多,但基因结构变异在大规模基因数据中属于小样本事件,导致变异基因的图像数据十分匮乏,严重影响了CNN的训练效果,造成了基因结构变异检测精度差、假阳性率高等问题.为增加基因结构变异样本数量,提高CNN识别基因结构变异的精度,提出了一...     

基于渐进对抗学习的弱监督目标定位

针对实际应用中大量数据集缺乏精细位置标注的问题,提出了一种基于渐进对抗学习的弱监督目标定位算法。具体来说,针对数据集噪声造成训练困难的问题,引入自步学习对训练数据按由简到难的原则进行排序。在网络设计上,将弱监督目标定位网络设计为多标签分类网络,并提出了相应的对抗损失函数适应目标定位任务。为了解决现有方法往往只关注最具辨别力的部分,无法定位整个目标的问题,提出一种金字塔对抗擦除机制以此在最后的定位图中发现完整的目标。在数个标准的数据集的实验表明,该算法具有较高的定位精度,与最先进的弱监督目标定位的方法相比具有一定的竞争力。     

基于语言学扰动的事件检测数据增强方法

近年来,深度学习在事件检测领域取得了长足进展。但是,现有方法通常受制于事件检测标注数据的规模和训练阶段的不稳定性。针对上述问题,本文提出了基于语言学扰动的事件检测数据增强方法,从语法和语义两个角度生成伪数据来提升事件检测的性能。为了有效的利用生成的伪数据,该文探索了数据增加和多实例学习两个训练策略。在KBP 2017事件检测数据集上的实验验证了我们方法的有效性。此外,在人工构造的少量ACE2005数据集上的实验结果证明该文方法可以大幅度提升小数据情况下的模型学习性能。     

自组织增量神经网络IDS研究

理想的网络入侵检测系统(IDS)是无监督学习的、在线学习的。现有的满足这两个标准的方法训练速度较慢,无法保证入侵检测系统所需要的低丢包率。为了提高训练速度,提出一种基于改进的自组织增量神经网络(improved SOINN)的网络异常检测方法,用于在线地、无监督地训练网络数据分类器;并提出使用三种数据精简(Data Reduction)的方法,包括随机子集选取,k-means聚类和主成分分析的方法,来进一步加速改进的SOINN的训练。实验结果表明,提出的方法在保持较高检测率的前提下,减少了训练时间。     

基于Xception网络的弱监督细粒度图像分类

随着深度学习的快速发展,计算机视觉领域对图像的分类研究不仅仅局限于识别出物体的类别,更需要在传统图像分类任务的基础上进行更细致的类别划分.通过对现有细粒度图像分类算法和模型的分析研究,提出一种基于Xception模型与WSDAN(weakly supervised data augmentation network)弱...     

基于深度学习的图像压缩算法研究综述

随着深度学习的不断发展与图像数据的爆炸式增长,如何使用深度学习来获得更高压缩比和更高质量的图像逐渐成为热点研究问题之一。通过对近几年相关文献的分析与整理,将基于深度学习的图像压缩方法按照卷积神经网络、循环神经网络、生成对抗网络进行总结与分析,对不同种方法分别列举了具有代表性的实例,并对基于深度学习的图像压缩算法的常用训练数据集、评价指标进行了介绍,根据深度学习在图像压缩领域中的优势对其未来的发展趋势进行了总结与讨论。     

卷积神经网络在心电逆问题中的应用

基于横跨膜电位分布的心电逆问题研究,即从身体表面电位无创重建心脏跨膜电位,可视为一种多输入多输出的回归问题（亦即多个体表电位分布输入重构多个心脏跨膜电位分布输出）,而基于数据驱动的机器学习模型是解决回归问题的一种有效手段。通过使用深度卷动神经网络（CNN）构建深度学习模型,使用Caffe框架训练神经网络;此外,基于真实的心脏模型,使用ECGSim软件仿真了肯特束综合症心室激活情况的数据,用于训练和测试回归模型。实验结果表明,与极限学习机（ELM）和核化的极限学习机相比,CNN方法在心脏跨膜电位重构方面有更高的精度和泛化性能。     

基于生成对抗网络的乳腺癌病理图像可疑区域标记

本论文针对乳腺癌病理图像分析提出新的方法进行图像特征提取和可疑区域标记。由于深度神经网络,例如 VGG,GoogleNet,ResNet 等,均需要大量的标注样本才能完成训练,而医疗影像图像的标记成本很高,并不能为训练复杂的网络提供足够的训练数据。本论文借鉴生成对抗网络(Generative Adversarial Network, GAN) 的思想,提出基于弱监督学习的病理图像可疑区域标记网络,首先利用少量有标记的病理图像数据来训练分类模型,即判断该图像是否是乳腺癌,然后通过融合该网络提取到的具有判别力的特征来对可疑区域进行标记。由本文提出的网络在已有的国外乳腺癌病理图像数据集上达到的平均准确率为 83.8%,比基于卷积神经网络 (Convolutional Neural Network,CNN) 的分类方法在准确率上分别高 3 个百分点,说明该网络提取到的特征具有更好的判别力,不仅能够提高分类模型的准确率,还更有助于对病理图像的可疑区域进行标记。