基于无监督域适应的可区分联合匹配算法

当域之间差异较大时,域适应的迁移效果较差.缩小域差可改善迁移效果,但却忽略后期分类时的可区分性.因此,文中提出基于无监督域适应的可区分联合匹配算法,根据域间类别的不同进行差异化处理,并结合特征匹配和实例重加权提高迁移效果.使用联合概率分布作为域之间数据分布差异的度量,缩小相同类域之间的距离,提高迁移性;扩大不同类域之间的距离,提高区分性.在特征降维的过程中联合特征匹配和实例重加权,共同构造特征变换矩阵.实验表明,文中算法在18组任务上的分类效果较优.     

基于深度动态联合自适应网络的图像识别方法

相比传统的图像识别方法,利用深度网络可以提取到表征能力更好的特征,从而获得更好的识别效果.现实中任务提供的数据多为无标签数据或部分有标签数据,其为深度网络的学习带来了困难.而迁移学习的方法可以将从源域数据中学习到的知识迁移到目标任务的学习中,以解决有标签数据不足的问题.为了在迁移过程中减小源域和目标域间的图像数据差异,文中提出基于深度动态联合自适应网络的图像识别方法.对网络进行训练时,首先在多层网络结构中利用域间动态联合自适应方法完成针对性的数据分布自适应,然后利用熵最小化原则使学习的目标分类器穿过目标域的低密度区域,从而提高对目标域图像的识别精度.在2018年AI challenge比赛提供的24种植物病害数据集的3种迁移任务(g1->g2,s1->g2和s2->g2)中,所提方法的准确率分别达到了97.27％,94.25％和93.66％,均优于其他算法.实验结果证明,文中提出的基于深度网络并使用动态联合自适应和熵最小化原则的学习框架能够准确识别图像.     

具有类间差异约束的多对抗深度域适应模型

为实现目标域样本能够与源域中同类样本准确对齐,并在保证样本准确识别率的条件下进一步提高不同类别样本特征间的可区分性,提出了一种带有类间差异约束的域适应模型。首先,该模型采用深度卷积神经网络对源域样本进行了有监督学习,并在训练过程中基于提出的类间差异测量函数对源域样本特征加以类间差异性约束;其次,该模型采用了多对抗域鉴别网络结构,其中提出了一种目标域样本伪标签计算方法,从而将无标签的样本指定到合理的域鉴别网络进行训练;最后,通过最小化分类损失与最大化域鉴别损失,获得最优特征提取器与特征分类器。实验结果表明,对于4种数据集,提出的模型在目标域上平均识别准确率可以达到0.860,同类间的平均距离、不同类间的平均距离、目标域中样本错误识别率相对于改进前分别降低0.003,提升0.065,降低0.025,从而验证了提出模型的性能得到了明显提升。     

非平衡数据下基于自适应迁移与宽度学习的多工况故障诊断

针对高维不平衡数据的多工况故障诊断难题,提出一种非平衡数据条件下基于动态自适应迁移的宽度学习方法 (TL-BLS),并应用于污水处理过程的多工况故障诊断.首先,针对工业过程中不同工况下存在数据分布差异过大的问题,采用迁移学习流形变换方法拉近源域数据和目标域数据的距离;其次,针对后续自适应迁移中需要伪标签的条件,提出考虑数据不平衡的两阶段目标域伪标签预测方法,第一阶段使用基于类间关系的伪标签方法得到可靠度高的伪标签,第二阶段使用考虑子集差异的集成方法来获得可靠度更高且兼顾数据不平衡问题的伪标签;最终,建立带流形正则化项和具有动态平衡因子的自适应迁移与宽度学习方法,并在宽度学习系统和自适应迁移中引入权重矩阵来解决数据非平衡的问题,实现多工况过程下的故障诊断.污水处理过程数据实验及其比较分析表明所提方法具有更优的故障识别效果和更好的实用性.     

注意力迁移的联合平衡领域自适应

目的 现有的图像识别方法应用于从同一分布中提取的训练数据和测试数据时具有良好性能,但这些方法在实际场景中并不适用,从而导致识别精度降低。使用领域自适应方法是解决此类问题的有效途径,领域自适应方法旨在解决来自两个领域相关但分布不同的数据问题。方法 通过对数据分布的分析,提出一种基于注意力迁移的联合平衡自适应方法,将源域有标签数据中提取的图像特征迁移至无标签的目标域。首先,使用注意力迁移机制将有标签源域数据的空间类别信息迁移至无标签的目标域。通过定义卷积神经网络的注意力,使用关注信息来提高图像识别精度。其次,基于目标数据集引入网络参数的先验分布,并且赋予网络自动调整每个领域对齐层特征对齐的能力。最后,通过跨域偏差来描述特定领域的特征对齐层的输入分布,定量地表示每层学习到的领域适应性程度。结果 该方法在数据集Office-31上平均识别准确率为77.6%,在数据集Office-Caltech上平均识别准确率为90.7%,不仅大幅领先于传统手工特征方法,而且取得了与目前最优的方法相当的识别性能。结论 注意力迁移的联合平衡领域自适应方法不仅可以获得较高的识别精度,而且能够自动学习领域间特征的对齐程度,同时也验证了进行域间特征迁移可以提高网络优化效果这一结论。     

两阶段领域自适应学习

针对领域自适应问题中源域和目标域的联合分布差异最小化问题,提出两阶段领域自适应学习方法.在第一阶段考虑样本标签和数据结构的判别信息,通过学习一个共享投影变换,使投影后的共享空间中边缘分布的差异最小.第二阶段利用源域标记数据和目标域非标记数据学习一个带结构风险的自适应分类器,不仅能最小化源域和目标域条件分布差异,还能进一步保持源域和目标域边缘分布的流形一致性.在3个基准数据集上的实验表明,文中方法在平均分类准确率和Kappa系数两项评价指标上均表现较优.     

基于自适应权重的多源部分域适应

作为机器学习的一个新兴领域,多源部分域适应(MSPDA)问题由于其源域自身的复杂性、领域之间的差异性以及目标域自身的无监督性,给相关研究带来了挑战,以致目前鲜有相关工作被提出.在该场景下,多个源域中的无关类样本在域适应过程中会造成较大的累积误差和负迁移.此外,现有多源域适应方法大多未考虑不同源域对目标域任务的贡献度不同.因此,提出基于自适应权重的多源部分域适应方法(AW-MSPDA).首先,构建了多样性特征提取器以有效利用源域的先验知识;同时,设计了多层次分布对齐策略从不同层面消除了分布差异,促进了正迁移;此外,为量化不同源域贡献度以及过滤源域无关类样本,利用相似性度量以及伪标签加权方式构建自适应权重;最后,通过大量实验验证了所提出AW-MSPDA算法的泛化性以及优越性.     

基于自监督任务最优选择的无监督域自适应方法

无监督域自适应方法通过源域标签数据学习到的知识对目标域无标签数据进行分类,成为目前迁移学习中解决两个域特征对齐的主流方法.针对现实中存在已标签数据量少且质量不高造成提取的特征不完备的情况,文中提出了基于自监督任务最优选择的无监督域自适应方法.为使特征具有更强的语义信息,在两个域未标记数据上使用了多个自监督任务;此外,针对进行自监督任务时的易混淆特征,提出了一种新的智能组合优化策略自适应地选择有效特征;最后通过两个域沿着任务相关方向靠近使得源域标记数据训练的分类器能够更好地推广到目标域.仿真实验在公开的6个基准数据集上分别从分类精度、训练集数据使用量、自监督任务使用效果3个方面进行了对比分析.实验结果表明,所提方法在3个方面上的表现都优于现有的先进方法,使用相同数据集时分类精度提高8％;在相同的分类精度要求下,所用数据量减少12％;与单个自监督任务对比时精度提高了11％.     

融合动态残差的多源域自适应算法研究

多源域自适应问题通常是指拥有多个源域与单个目标域的场景.常见做法是依据域标签两两对齐源域与目标域分布,通过减小域间距离,将分布映射到共同隐空间内,去预测未知目标域的数据分类.源数据集通常需要域标签,且模型在经过训练阶段后,参数固定,这就很难达到拟合未知目标域分布的目的.基于动态残差块的多源域自适应算法不是从域的角度而是...     

基于渐进多源域迁移的无监督跨域目标检测

针对目标检测任务中获取人工标注训练样本的困难, 提出一种在像素级与特征级渐进完成域自适应的无监督跨域目标检测方法. 现有的像素级域自适应方法中, 存在翻译图像风格单一、内容结构不一致的问题. 因此, 将输入图像分解为域不变的内容空间及域特有的属性空间, 综合不同空间表示进行多样性的图像翻译, 同时保留图像的空间语义结构以实现标注信息的迁移. 此外, 对特征级域自适应而言, 为缓解单源域引起的源域偏向问题, 将得到的带有标注的多样性翻译图像作为多源域训练集, 设计基于多领域的对抗判别模块, 从而获取多个领域不变的特征表示. 最后, 采用自训练方案迭代生成目标域训练集伪标签, 以进一步提升模型在目标域上的检测效果. 在Cityscapes & Foggy Cityscapes与VOC07 & Clipart1k数据集上的实验结果表明, 相比现有的无监督跨域检测算法, 该检测框架具更优越的迁移检测性能.     

边缘标记弱化的多标记特征选择算法

在多标记学习中,特征选择是处理数据高维问题和提升分类性能的一种有效手段,然而现有特征选择算法大多是基于标记分布大致平衡这一假设,鲜有考虑标记分布不平衡的问题。针对这一问题,本文提出了一种边缘标记弱化的多标记特征选择算法(Multi-label feature selection algorithm with weakening marginal labels,WML),计算不同标记下正负标记的频数比率作为该标记的权值,然后通过赋权方式弱化边缘标记,将标记空间信息融入到特征选择的过程中,得到一组更为高效的特征序列,提升标记对样本描述的精确性。在多个数据集上的实验结果表明,本文算法具有一定优势,通过稳定性分析和统计假设检验进一步证明本文算法的有效性和合理性。     

遥感图像语义分割中的弱监督域自适应算法

近年来,遥感图像的语义分割得到广泛应用。虽然基于深度学习的方法极大程度地提高了遥感图像的语义分割精度,但由于遥感图像的多样性（不同的地理位置、地形和天气条件）以及像素级标签的缺乏,该算法难以适用于跨多个域的任务。而若重新训练新的域则需要消耗大量人力资源来收集相应的像素级标签。为了解决这一跨域问题,基于对抗学习提出了一种目标域图像级标签已知的弱监督域自适应方法：利用图像级标签,提出多类域判别器,使目标域各个类别自适应地对齐到源域;为保持训练过程的平稳,一种基于熵值产生目标域像素级伪标签的方法被提出以监督特征提取器,提升模型表现。在ISPRS Vaihingen与ISPRS Potsdam数据集上的大量实验表明,改进后的算法优于其他遥感图像语义分割中的基于对抗学习域自适应算法。     

面向开放集图像分类的模糊域自适应方法

目前大多的域自适应算法在源域与目标域具有相同类别的场景下,利用标签丰富的源域信息对标签稀少且分布相似的目标域数据进行迁移学习,取得了很多成果。然而,由于现实场景的复杂性和开放性,源域和目标域在类别空间上不尽相同,往往会各自包含一些类别未知且超出现有类别设定的样本。对于这样具有挑战性的开放集场景,传统的域自适应算法将无能为力。为了有效解决上述问题,提出一种面向开放集的模糊域自适应算法。该算法引用了不确定性的模糊化,计算目标域样本的模糊隶属度来学习源域特征到目标域特征空间的线性映射,通过迭代逐步将源域与目标域转化在同一特征空间下。通过对无监督和半监督的图像迁移任务的大量实验,验证了该算法对于开放集场景下图像分类的有效性。     

Intelligent fault diagnosis of mechanical equipment under varying working condition via iterative matching network augmented with selective Signal reuse strategy

Change of working condition leads to discrepancy in domain distribution of equipment vibration signals. This discrepancy poses an obstacle to application of deep learning method in fault diagnosis of wind turbine. When lacking domain adaptation ability, diagnostic accuracy of deep learning method applied to unseen condition will decrease significantly. To solve this problem, an iterative matching network augmented with selective sample reuse strategy is proposed. By generating pseudo labels for unlabeled signals from unseen condition and reusing these signals to iteratively update parameters, embedding space of matching network reduce discrepancy in domain distribution between different working conditions. This makes the model more adaptable to unseen condition. Specially designed filter is proposed for selecting pseudo-labeled signals to increase proportion of correctly labeled signals in iteration. By combing these two points, proposed algorithm can be updated iteratively based on selected pseudo-labeled signals and achieve higher accuracy when analyzing signals of unseen working conditions. Multiscale feature extractor is used to extract features at different scales and form embedding space. Effectiveness of the proposed algorithm is verified by four datasets. Experiments show that this algorithm not only has good performance under varying load and speed conditions but also surpasses other domain adaptation methods.     

Class conditional distribution alignment for domain adaptation

In this paper, we study the problem of domain adaptation, which is a crucial ingredient in transfer learning with two domains, that is, the source domain with labeled data and the target domain with none or few labels. Domain adaptation aims to extract knowledge from the source domain to improve the performance of the learning task in the target domain. A popular approach to handle this problem is via adversarial training, which is explained by the $\mathcal H \Delta \mathcal H$-distance theory. However, traditional adversarial network architectures just align the marginal feature distribution in the feature space. The alignment of class condition distribution is not guaranteed. Therefore, we proposed a novel method based on pseudo labels and the cluster assumption to avoid the incorrect class alignment in the feature space. The experiments demonstrate that our framework improves the accuracy on typical transfer learning tasks.     

An evolutionary hyper-heuristic to optimise deep belief networks for image reconstruction

Deep Belief Networks (DBN) have become a powerful tools to deal with a wide range of applications. On complex tasks like image reconstruction, DBN’s performance is highly sensitive to parameter settings. Manually trying out different parameters is tedious and time consuming however often required in practice as there are not many better options. This work proposes an evolutionary hyper-heuristic framework for automatic parameter optimisation of DBN. The hyper-heuristic framework introduced here is the first of its kind in this domain. It involves a high level strategy and a pool of evolutionary operators such as crossover and mutation to generates DBN parameter settings by perturbing or modifying the current setting of a DBN. Providing a large set of operators could be beneficial to form a more effective high level strategy, but in the same time would increase the search space hence make it more difficulty to form a good strategy. To address this issue, a non-parametric statistical test is introduced to identify a subset of effective operators for different phases of the hyper-heuristic search. Three well-known image reconstruction datasets were used to evaluate the performance of the proposed framework. The results reveal that the proposed hyper-heuristic framework is very competitive when compared to the state of art methods.     

提升LoRa网络性能的终端参数动态选择方法研究

针对当前大部分LoRa网络因终端采用静态参数配置而导致的网络灵活性和通信效率不高等问题,提出了一种基于正交遗传算法改善LoRa网络性能的动态参数选择方法。分析了不同参数配置对网络通信性能的影响,针对LoRa网络建立信道冲突和链路预算模型,通过引入基于多目标遗传算法的动态参数选择方法求解该模型,最终获得具有最小冲突概率的参数集。通过对超过10 000台设备的单网关LoRa网络的运行结果表明,所提出的动态参数选择算法可将网络的分组交付率（Packet Delivery Rate,PDR）提高30%,显著提高了网络在不同应用场景下的适应性和扩展能力。     

The more you learn,the less you store: Memory-controlled incremental SVM for visual place recognition

The capability to learn from experience is a key property for autonomous cognitive systems working in realistic settings. To this end, this paper presents an SVM-based algorithm, capable of learning model representations incrementally while keeping under control memory requirements. We combine an incremental extension of SVMs [43] with a method reducing the number of support vectors needed to build the decision function without any loss in performance [15] introducing a parameter which permits a user-set trade-off between performance and memory. The resulting algorithm is able to achieve the same recognition results as the original incremental method while reducing the memory growth. Our method is especially suited to work for autonomous systems in realistic settings. We present experiments on two common scenarios in this domain: adaptation in presence of dynamic changes and transfer of knowledge between two different autonomous agents, focusing in both cases on the problem of visual place recognition applied to mobile robot topological localization. Experiments in both scenarios clearly show the power of our approach.     

基于流形学习的约束Laplacian分值多标签特征选择

多标签特征选择是针对多标签数据的特征选择技术,提高多标签分类器性能的重要手段。提出一种基于流形学习的约束Laplacian分值多标签特征选择方法（Manifold-based Constraint Laplacian Score,M-CLS）。方法分别在数据特征空间和类别标签空间定义两种Laplacian分值：在特征空间利用逻辑型类别标签的相似性对邻接矩阵进行改进,定义特征空间的约束Laplacian分值;在标签空间基于流形学习将逻辑型类别标签映射为数值型,定义实值标签空间的Laplacian分值。将两种分值的乘积作为最终的特征评价指标。实验结果表明,所提方法性能优于多种多标签特征选择方法。     

Designing fuzzy logic controllers using a multiresolutional searchparadigm

A multiresolutional search paradigm is employed to design optimal fuzzy logic controllers in a variable structure simulation environment. The initial search space is evaluated with a coarse resolution and some of the subspaces are selected as candidate regions for global optimum. New optimization processes are then created to investigate the candidate search spaces in detail, a process which continues until a solution is found. This search paradigm was implemented using hierarchical distributed genetic algorithms (HDGAs)-search agents solving different degrees of abstracted problems. Creation/destruction of agents is executed dynamically during the operation based on their performance. In the application to fuzzy systems, the HDGA investigates design alternatives such as different types of membership functions and the number of the fuzzy labels, as well as their optimal parameter settings, all at the same time. This paradigm is demonstrated with an application to the design of a fuzzy controller for an inverted pendulum