基于对抗式分布对齐的跨域方面级情感分析

跨领域情感分类任务旨在利用富含情感标签的源域数据对缺乏标签的目标域数据进行情感极性分析.由此,文中提出基于对抗式分布对齐的跨域方面级情感分类模型,利用方面词与上下文的交互注意力学习语义关联,基于梯度反转层的领域分类器学习共享的特征表示.利用对抗式训练扩大领域分布的对齐边界,有效缓解模糊特征导致错误分类的问题.在Semeval-2014、Twitter数据集上的实验表明,文中模型性能较优.消融实验进一步表明捕获决策边界的模糊特征并扩大样本与决策边界间距离的策略可提高分类性能.     

基于伪标签的无监督领域自适应分类方法

现有的领域自适应方法在匹配分布时并未完全考虑伪标签置信度或伪标签损失计算问题,针对此类问题,提出循环选择伪标签分类模型（CSPL）。利用深度网络提取图像特征,为目标域打上高置信度伪标签使得训练数据增强,采用MMD距离度量方法对齐源域和目标域的概率分布,同时设计伪标签损失同步迭代学习,更新模型作为下一次循环的训练模型直至模型收敛。在常用的领域自适应数据集Office31、Office-Home、ImageCLEF-DA以及Amazon-Review上实验表明,该模型相比之前域适应模型在准确度方面平均提升4%~8%且模型的鲁棒性也明显增加。     

基于决策边界优化域自适应的跨库语音情感识别

域自适应算法被广泛应用于跨库语音情感识别中;然而,许多域自适应算法在追求减小域差异的同时,丧失了目标域样本的鉴别性,导致其以高密度的形式存在于模型决策边界处,降低了模型的性能。基于此,提出一种基于决策边界优化域自适应（DBODA）的跨库语音情感识别方法。首先利用卷积神经网络进行特征处理,随后将特征送入最大化核范数及均值差异（MNMD）模块,在减小域间差异的同时,最大化目标域情感预测概率矩阵的核范数,从而提升目标域样本的鉴别性并优化决策边界。在以Berlin、eNTERFACE和CASIA语音库为基准库设立的六组跨库实验中,所提方法的平均识别精度领先于其他算法1.68～11.01个百分点,说明所提模型有效降低了决策边界的样本密度,提升了预测的准确性。     

核范数优化下的多表征挤压激励自适应网络

多表征自适应网络(MRAN)用于无监督学习取得了显著成效.但MRAN的特征提取只关注了域在空间结构上的联系而忽略了特征通道之间的联系,在进行无监督领域自适应(UDA)分类时,决策边界附近存在大量混淆数据的情况,当使用信息熵最小化对混淆数据进行分类时,往往会产生错误分类.针对这一问题,提出了基于批量核范数最大化的多表征挤压激励自适应网络(Multi-Representation Squeeze-Excitation Adaptation Network_Batch Kernel Norm Maximization, MRSEAN_BNM).该网络采用挤压激励注意力机制对多表征特征进行重标定,以强化重要的表征特征,采用条件最大均值差异(CMMD)拉近源域和目标域的特征分布距离,并通过最大化目标域分类输出矩阵的核范数以约束决策边界的混淆数据,达到提升域适应图像分类精度的效果.在基于公开数据集的域适应下的图像分类、可视化结果实验结果表明,MRSEAN_BNM分类精度有明显提升.     

多源域分布下优化权重的无监督迁移学习Boosting方法

深度决策树迁移学习Boosting方法（DTrBoost）可以有效地实现单源域有监督情况下向一个目标域迁移学习,但无法实现多个源域情况下的无监督迁移场景。针对这一问题,提出了多源域分布下优化权重的无监督迁移学习Boosting方法,主要思想是根据不同源域与目标域分布情况计算出对应的KL值,通过比较选择合适数量的不同源域样本训练分类器并对目标域样本打上伪标签。最后,依照各个不同源域的KL距离分配不同的学习权重,将带标签的各个源域样本与带伪标签的目标域进行集成训练得到最终结果。对比实验表明,提出的算法实现了更好的分类精度并对不同的数据集实现了自适应效果,分类错误率平均下降2.4%,在效果最好的marketing数据集上下降6%以上。     

甲状腺超声影像的元优化多级对抗域适应网络

目的 计算机辅助诊断是临床诊断中一种重要的辅助手段。然而在多机型超声影像的应用现状中,单一深度卷积神经网络面临难以从不同数据源中提取样本特征的问题,导致模型在区分多源数据方面性能欠佳。为提升单一深度模型在多源数据的泛化能力,本文提出一种无监督域自适应网络。方法 将深度对抗域适应方法应用于多源甲状腺超声影像分类任务,通过生成对抗思想提取源域图像与目标域图像的域不变特征,提出一种多级对抗域自适应网络(multi-level adversarial domain adaptation network, MADAN)。将元优化(meta-optimized)策略引入对抗域适应的学习中,将域对齐目标和样本分类目标以协调的方式联合优化,提升了模型对无标记目标域数据的分类性能。结果 在包含4种域的甲状腺超声影像数据集上实验,与7种经典域自适应方法比较。实验结果表明,MADAN在全部迁移任务中取得90.141%的目标域样本平均分类准确率,优于残差分类网络和多种经典域自适应分类网络。融合元优化训练策略后的MADAN在目标域的测试平均准确率提升约1.67%。结论 本文提出的元优化多级对抗域适应网络一方面通...     

基于自步学习的开放集领域自适应

领域自适应的目的是将从源领域获得的知识泛化到具有不同数据分布的目标领域.传统的领域自适应方法假设源域和目标域的类别是相同的，但在现实世界的场景中并非总是如此.为了解决这个缺点，开放集领域自适应在目标域中引入了未知类以代表源域中不存在的类别.开放集领域自适应旨在不仅识别属于源域和目标域共享的已知类别样本，还要识别未知类别样本.传统的领域自适应方法旨在将整个目标域与源域对齐以最小化域偏移，这在开放集领域自适应场景中不可避免地导致负迁移.为了解决开放集领域自适应带来的挑战，提出了一种基于自步学习的新颖框架SPL-OSDA (self-paced learning for openset domain adaptation)，用于精确区分已知类和未知类样本，并进行领域自适应.为了利用未标记的目标域样本实现自步学习，为目标域样本生成伪标签，并为开放集领域自适应场景设计一个跨领域混合方法.这种方法最大程度地减小了伪标签的噪声，并确保模型逐步从简单到复杂的例子中学习目标域的已知类特征.为了提高模型在开放场景的可靠性以满足开放场景可信人工智能的要求，引入了多个准则以区分已知类和未知类样本.此外，与现有...     

一种基于伪标签的深度迁移学习算法

深度学习的成功依赖于海量的训练数据，然而获取大规模有标注的数据并不容易，成本昂贵且耗时；同时由于数据在不同场景下的分布有所不同，利用某一特定场景的数据集所训练出的模型往往在其他场景表现不佳。迁移学习作为一种将知识从一个领域转移到另一个领域的方法，可以解决上述问题。深度迁移学习则是在深度学习框架下实现迁移学习的方法。提出一种基于伪标签的深度迁移学习算法，该算法以ResNet-50为骨干，通过一种兼顾置信度和类别平衡的样本筛选机制为目标域样本提供伪标签，然后进行自训练，最终实现对目标域样本准确分类，在Office-31数据集上的三组迁移学习任务中，平均准确率较传统算法提升5.0%。该算法没有引入任何额外网络参数，且注重源域数据隐私，可移植性强，具有一定的实用价值。     

两阶段领域自适应学习

针对领域自适应问题中源域和目标域的联合分布差异最小化问题,提出两阶段领域自适应学习方法.在第一阶段考虑样本标签和数据结构的判别信息,通过学习一个共享投影变换,使投影后的共享空间中边缘分布的差异最小.第二阶段利用源域标记数据和目标域非标记数据学习一个带结构风险的自适应分类器,不仅能最小化源域和目标域条件分布差异,还能进一步保持源域和目标域边缘分布的流形一致性.在3个基准数据集上的实验表明,文中方法在平均分类准确率和Kappa系数两项评价指标上均表现较优.     

加权决策模板业务感知算法

针对决策模板法在业务感知准确率上的局限性问题,提出了加权决策模板法。该方法首先利用有监督的神经网络模糊聚类分类器作为基本分类器,再通过混淆矩阵衡量分类器对样本不同类别的置信度,经过两级的性能权衡,赋予该算法更高的可信度。在训练阶段根据错误分类的样本构造一个附加的加权决策模板,若在测试阶段有样本离该模板的距离最近时,可以认为该样本被错误分类的可能性很大,从而保证该算法具有高识别准确率。实验结果表明,与决策模板法对比,加权决策模板法在业务感知上具有更高的准确性。     

Self-corrected unsupervised domain adaptation

Unsupervised domain adaptation (UDA), which aims to use knowledge from a label-rich source domain to help learn unlabeled target domain, has recently attracted much attention. UDA methods mainly concentrate on source classification and distribution alignment between domains to expect the correct target prediction. While in this paper, we attempt to learn the target prediction end to end directly, and develop a Self-corrected unsupervised domain adaptation (SCUDA) method with probabilistic label correction. SCUDA adopts a probabilistic label corrector to learn and correct the target labels directly. Specifically, besides model parameters, those target pseudo-labels are also updated in learning and corrected by the anchor-variable, which preserves the class candidates for samples. Experiments on real datasets show the competitiveness of SCUDA.     

伪标签不确定性估计的源域无关鲁棒域自适应

无监督域自适应是解决训练集(源域)和测试集(目标域)分布不一致的有效途径之一.现有的无监督域自适应的理论和方法在相对封闭、静态的环境下取得了一定成功,但面向开放动态任务环境时,在隐私保护、数据孤岛等限制条件下,源域数据往往不可直接获取,现有无监督域自适应方法的鲁棒性将面临严峻的挑战.鉴于此,研究了一个更具挑战性却又未被...     

Source-Free Unsupervised Domain Adaptation with Sample Transport Learning

Unsupervised domain adaptation (UDA) has achieved great success in handling cross-domain machine learning applications.It typically benefits the model training of unlabeled target domain by leveraging knowledge from labeled source domain.For this purpose,the minimization of the marginal distribution divergence and conditional distribution divergence between the source and the target domain is widely adopted in existing work.Nevertheless,for the sake of privacy preservation,the source domain is usually not provided with training data but trained predictor (e.g.,classifier).This incurs the above studies infeasible because the marginal and conditional distributions of the source domain are incalculable.To this end,this article proposes a source-free UDA which jointly models domain adaptation and sample transport learning,namely Sample Transport Domain Adaptation (STDA).Specifically,STDA constructs the pseudo source domain according to the aggregated decision boundaries of multiple source classifiers made on the target domain.Then,it refines the pseudo source domain by augmenting it through transporting those target samples with high confidence,and consequently generates labels for the target domain.We train the STDA model by performing domain adaptation with sample transport between the above steps in alternating manner,and eventually achieve knowledge adaptation to the target domain and attain confident labels for it.Finally,evaluation results have validated effectiveness and superiority of the proposed method.     

Label flipping attacks against Naive Bayes on spam filtering systems

Label flipping attack is a poisoning attack that flips the labels of training samples to reduce the classification performance of the model. Robustness is used to measure the applicability of machine learning algorithms to adversarial attack. Naive Bayes (NB) algorithm is a anti-noise and robust machine learning technique. It shows good robustness when dealing with issues such as document classification and spam filtering. Here we propose two novel label flipping attacks to evaluate the robustness of NB under label noise. For the three datasets of Spambase, TREC 2006c and TREC 2007 in the spam classification domain, our attack goal is to increase the false negative rate of NB under the influence of label noise without affecting normal mail classification. Our evaluation shows that at a noise level of 20%, the false negative rate of Spambase and TREC 2006c has increased by about 20%, and the test error of the TREC 2007 dataset has increased to nearly 30%. We compared the classification accuracy of five classic machine learning algorithms (random forest(RF), support vector machine(SVM), decision tree(DT), logistic regression(LR), and NB) and two deep learning models(AlexNet, LeNet) under the proposed label flipping attacks. The experimental results show that two label noises are suitable for various classification models and effectively reduce the accuracy of the models.

     

遥感图像语义分割中的弱监督域自适应算法

近年来,遥感图像的语义分割得到广泛应用。虽然基于深度学习的方法极大程度地提高了遥感图像的语义分割精度,但由于遥感图像的多样性（不同的地理位置、地形和天气条件）以及像素级标签的缺乏,该算法难以适用于跨多个域的任务。而若重新训练新的域则需要消耗大量人力资源来收集相应的像素级标签。为了解决这一跨域问题,基于对抗学习提出了一种目标域图像级标签已知的弱监督域自适应方法：利用图像级标签,提出多类域判别器,使目标域各个类别自适应地对齐到源域;为保持训练过程的平稳,一种基于熵值产生目标域像素级伪标签的方法被提出以监督特征提取器,提升模型表现。在ISPRS Vaihingen与ISPRS Potsdam数据集上的大量实验表明,改进后的算法优于其他遥感图像语义分割中的基于对抗学习域自适应算法。     

基于对比学习的标签带噪图像分类

标签噪声会极大地降低深度网络模型的性能. 针对这一问题, 本文提出了一种基于对比学习的标签带噪图像分类方法. 该方法包括自适应阈值、对比学习模块和基于类原型的标签去噪模块. 首先采用对比学习最大化一幅图像的两个增强视图的相似度来提取图像鲁棒特征; 接下来通过一种新颖的自适应阈值过滤训练样本, 在模型训练过程中根据各个类别的学习情况动态调整阈值; 然后创新性地引入基于类原型的标签去噪模块, 通过计算样本特征向量与原型向量的相似度更新伪标签, 从而避免标签中噪声的影响; 在公开数据集CIFAR-10、CIFAR-100和真实数据集ANIMAL10上进行对比实验, 实验结果表明, 在人工合成噪声的条件下, 本文方法实验结果均高于常规方法, 通过计算图像鲁棒的特征向量与各个原型向量的相似度更新伪标签的方式, 降低了噪声标签的负面影响, 在一定程度上提高模型的抗噪声能力, 验证了该模型的有效性.     

基于度量学习的无监督域适应方法及其在死亡风险预测上的应用

近年来,深度学习模型已在医疗领域的预测任务上得到广泛应用,并取得了不错的效果.然而,深度学习模型常会面临带标签训练数据不足、整体数据分布偏移和类别之间数据分布偏移的问题,导致模型预测的准确度下降.为解决上述问题,提出一种基于域对抗和加性余弦间隔损失的无监督域适应方法(additive margin softmax ba...