基于主动学习的微博数据分类

在基于微博数据训练分类模型的过程当中,我们可以通过主动学习有效的减少需标注数据的数据量,SVM主动学习算法是主动学习中相当著名的算法,但是该算法还存在缺陷,就是没有对微博数据内容多样的特点进行充分考虑,因此在本文中作者提出了一种新的基于支持向量机(SVM)的主动学习算法,该算法通过未标注样本点与所有已标注样本点之间的余弦相似度之和来度量未标注样本与所有已标注样本点之间的相似性,通过选择与已选择的所有样本不相似的样本点进行标注就可以实现对于数据多样性的充分考虑;另外,为了避免太大的余弦相似度值对于余弦相似度之和的影响,该算法通过一种设置阈值的方法来使得被选择样本的最小余弦相似度尽可能大;除此之外,为了选择最佳的样本进行标注,在算法中我们在考虑数据多样性的同时也对样本点和分类超平面之间的距离进行了考虑。     

基于JITL的电量预测高斯软测量建模研究

为了解决工业过程受本身结构特征、外界因素等影响而存在严重的非线性和时变性等问题,本文提出了一种基于输入输出综合性相似度指标的即时学习高斯过程软测量建模方法。在该方法中,将样本数据进行归一化处理,首先利用传统的基于距离和角度的相似度指标分别对样本输入输出变量进行相似度计算,进而对相似度进行综合,最后选择出最终的相关样本集,建立高斯过程回归软测量模型,将所提基于输入输出相似度指标的即时学习高斯工程软测量模型应用于城市日用电量数据的预测。研究结果表明,所提出的软测量建模方法可以实现对日用电量数据的高精度预测且预测结果具有较小的误差。因此可表明该方法可在电量预测中具有一定的应用可靠性,可以在电力市场预测分析中得到广泛的应用。     

自适应图融合的缺失多视图聚类算法

多视图聚类能充分利用不同视图间数据的一致性和差异性,引起越来越多的关注。传统多视图聚类方法假设每个视图的数据都是完整的,然而在实际应用中,收集到的多视图数据常存在部分视图缺失的样本。为了对缺失多视图数据进行聚类分析,提出自适应图融合的缺失多视图聚类算法（IMC＿AGF）。算法以两两视图间共有样本为瞄点构建样本-样本的相似度矩阵,学习其一致性知识,再利用两两视图间的互补性,用自适应图融合算法整合所有的相似度图,获取缺失多视图数据完整的相似度矩阵,然后进行谱聚类得到分类结果。实验结果表明,提出的算法优于与之比较的经典缺失多视图聚类方法。     

半监督的局部保留投影降维方法

针对现有数据降维算法不能同时利用标记样本和无标记样本的问题,提出一种半监督局部保留投影降维方法。定义类间相似度和类内相似度,同时最大化类间分离度、最小化类内分离度,保持样本总体结构和局部结构,从而提高数据降维的效果。在人工数据集、UCI数据库和Olivetti人脸库中的测试结果表明,该方法的识别率较高。     

改进孪生网络的脑电信号处理方法

针对运动想象脑机接口系统中分类准确率低的问题,提出一种改进孪生网络的脑电信号分类方法,把原孪生网络中的两个子网络扩充成3个子网络,并设计了新的学习样本采集方法和距离函数;脑电信号经过小波变换及经验模态分解,利用自相关系数筛选得到预处理后的小波分量,然后随机分割成训练集和测试集,从训练集中按照新的学习样本采集方法获得学习样本集,将其输入3个权重共享的子网络进行训练,使用新的距离函数进行相似度的对比,最后计算测试样本特征与训练集中标签为1和标签为0样本特征相似度,选择最高相似度样本标签作为该待测样本的类别;通过对国际公开BCI Competition Ⅱ Data set Ⅲ和The largest SCP data of Motor-Imagery数据集进行仿真,此算法分类准确率高达94.29%;与现有性能较高的算法进行对比,其有效的提高了分类准确率,能更好地进行脑电信号分类识别。     

基于二阶相似度的即时学习软测量建模方法

针对即时(惰性)学习模型频率降低间接导致的精度下降问题,提出一种二阶相似性的即时学习方法。该方法综合顾及到样本集的整体分布特性,在传统一阶相似度准则的基础上建立二阶相似度准则,采用与测试样本具有绝大部分相同近邻的二阶相似样本建立当前时刻的模型;同时将累计相似度因子用于建立局部模型时样本量的确定,并采用相似度阈值的方式判断此刻模型是否需要重新建立。该方法在青霉素发酵过程产物浓度的预测实验中得到了有效的验证。     

基于增量式相似度的样本评估方法

现有的强化学习算法存在样本利用率低的问题,导致智能体寻找最优策略的能力下降.为解决这个问题,提出了基于增量式相似度的样本评估方法.设计了一个状态新颖度度量方法和一个样本价值评价函数.计算新状态与基准状态之间的相似度,基于状态的相似度计算状态的新颖程度,再增量式更新基准状态,直到训练结束.计算样本价值时,将状态的新颖程度考虑在内,再针对样本奖励值是否大于零分别进行计算.最后根据其样本价值结合排名选择和随机选择进行采样.该方法在Playing Atari 2600的控制问题中取得了更高的奖励值,说明该方法缓解了样本利用率低的问题,且通过增量式计算相似度减少了计算量.     

基于最大-最小相似度学习方法的文本提取

应用最大-最小相似度(maximum-minimum similarity,简称MMS)学习方法,对基于高斯混合模型的文本区域提取方法中的有关参数进行优化.该学习方法通过最大化正样本相似度和最小化反样本相似度获得最佳分类能力.根据这种判别学习思想,建立了相应的目标函数,并利用最速梯度下降法寻找目标函数最小值,以得到文本区域提取方法的最优参数集合.文本区域提取实验结果表明:在用期望最大化(expectation maximization,简称EM)算法获得参数的极大似然估计值后,使用最大-最小相似度学习方法,使文本提取综合性能明显提高,开放实验的召回率和准确率分别达到98.55%和93.56%.在实验中,最大-最小相似度学习方法的表现还优于常用的判别学习方法——最小分类错误(minimum classification error,简称MCE)学习方法.     

系数增强最小二乘回归子空间聚类法

针对最小二乘回归子空间聚类法在求解表示系数时忽略了样本相似度的不足,提出改进方法。基于样本相互重构的表示系数矩阵和样本相似度矩阵有很大的关联定义系数增强项,求解可以保持样本相似度的表示系数矩阵,提出系数增强最小二乘回归子空间聚类法。在8个标准数据集上的实验表明该方法可以提高最小二乘回归子空间聚类法的聚类性能。     

基于相似度分布的开集人脸识别方法

利用相似度多个维度的信息进行开集判别,以提高开集人脸识别的准确率。该方法首先通过大量带标识的测试样本获得已知类样本和非已知类样本相似度向量的分布,然后引入线性判别分析学习两个类中相似度向量的分布特征,在开集判别中通过相似度向量的特征匹配来判断样本是否为已知类。利用相似度分布中的分类信息,训练出的特征具有更强的分类能力。不同人脸库的实验表明,相对于传统方法,文中方法能提高开集识别的准确率。     

New goals for HCI training: How to mix old and new skills in the trainee

The development of human‐computer interaction systems and the acquisition of skills associated with such systems typically occur in the context of previous experience. What is learned in one situation may facilitate or impede learning in another situation. The aim of this article is to discuss the role of experience in human‐computer interaction. The ACT? theory of skill acquisition and transfer is extended to account for the effects of old skills on the learning of new tasks. The extended model predicts a number of changes in performance that will occur when a new task involves the combination of old and new skills, including the suggestion that the learning rate of the new task will be slower than the rate at which the old skills were originally acquired. Two experiments are reported, the results of which support most of the model's predictions. The results also suggest that the minimum performance time of a task may be increased if performance of the task involves combining old and new skills. Implications of the effects of such combinations are considered with respect to the best methods of training for human‐computer interaction systems and the development of such systems.     

机器人增量学习研究综述

机器人的应用场景正在不断更新换代,数据量也在日益增长.传统的机器学习方法难以适应动态的环境,而增量学习技术能够模拟人类的学习过程,使机器人能利用旧知识来加快新任务的学习,在不遗忘旧技能的前提下学习新的技能.目前对于机器人增量学习的相关研究仍然较少,对此,主要介绍机器人增量学习研究进展.首先,对增量学习进行简介;其次,从参数和模型的角度出发,将当前机器人增量学习主流方法分为变参数方法、变模型方法、混合方法3类,分别对每一类进行论述,并给出相应的增量学习技术在机器人领域中的应用实例;然后,对机器人增量学习中常用的数据集和评价指标进行介绍;最后,对增量学习未来的发展趋势进行展望.     

一种基于随机权神经网络的类增量学习与记忆融合方法

连续学习(Continual learning, CL)多个任务的能力对于通用人工智能的发展至关重要. 现有人工神经网络(Artificial neural networks, ANNs)在单一任务上具有出色表现, 但在开放环境中依次面对不同任务时非常容易发生灾难性遗忘现象, 即联结主义模型在学习新任务时会迅速地忘记旧任务. 为了解决这个问题, 将随机权神经网络(Random weight neural networks, RWNNs)与生物大脑的相关工作机制联系起来, 提出一种新的再可塑性启发的随机化网络(Metaplasticity-inspired randomized network, MRNet)用于类增量学习(Class incremental learning, Class-IL)场景, 使得单一模型在不访问旧任务数据的情况下能够从未知的任务序列中学习与记忆融合. 首先, 以前馈方式构造具有解析解的通用连续学习框架, 用于有效兼容新任务中出现的新类别; 然后, 基于突触可塑性设计具备记忆功能的权值重要性矩阵, 自适应地调整网络参数以避免发生遗忘; 最后, 所提方法的有效性和高效性通过5个评价指标、5个基准任务序列和10个比较方法在类增量学习场景中得到验证.     

非平稳数据流下的持续学习灾难性遗忘问题求解策略综述

持续学习作为一种在非平稳数据流中不断学习新任务并能保持旧任务性能的特殊机器学习范例,是视觉计算、自主机器人等领域的研究热点,但现阶段灾难性遗忘问题仍然是持续学习的一个巨大挑战。围绕持续学习灾难性遗忘问题展开综述研究,分析了灾难性遗忘问题缓解机理,并从模型参数、训练数据和网络架构三个层面探讨了灾难性遗忘问题求解策略,包括正则化策略、重放策略、动态架构策略和联合策略;根据现有文献凝练了灾难性遗忘方法的评估指标,并对比了不同灾难性遗忘问题的求解策略性能。最后对持续学习相关研究指出了未来的研究方向,以期为研究持续学习灾难性遗忘问题提供借鉴和参考。     

An incremental approach to genetic-algorithms-based classification.

Incremental learning has been widely addressed in the machine learning literature to cope with learning tasks where the learning environment is ever changing or training samples become available over time. However, most research work explores incremental learning with statistical algorithms or neural networks, rather than evolutionary algorithms. The work in this paper employs genetic algorithms (GAs) as basic learning algorithms for incremental learning within one or more classifier agents in a multiagent environment. Four new approaches with different initialization schemes are proposed. They keep the old solutions and use an "integration" operation to integrate them with new elements to accommodate new attributes, while biased mutation and crossover operations are adopted to further evolve a reinforced solution. The simulation results on benchmark classification data sets show that the proposed approaches can deal with the arrival of new input attributes and integrate them with the original input space. It is also shown that the proposed approaches can be successfully used for incremental learning and improve classification rates as compared to the retraining GA. Possible applications for continuous incremental training and feature selection are also discussed.     

面向增量分类的多示例学习

近年来多示例学习(multi-instance learning, MIL)被广泛应用于复杂数据问题中,但现有的多示例学习算法往往在封闭静态环境中工作良好,其所处理的类别数量也恒定不变.然而在现实应用当中,常会有新的类别不断地加入到系统当中,例如科学的发展中不断出现新的议题、社交媒体中不断出现新的话题.由于存储限制或保密协议等原因,旧数据可能随着时间的发展变得不可见,这使得直接学习新的类别时模型会忘记曾经学过的知识.增量学习则被用于解决上述问题.因此,在多示例学习设定下进行增量数据挖掘十分有意义,然而目前针对多示例学习下的增量数据挖掘的工作十分稀少.提出一个基于注意力机制和原型分类器映射的多示例增量数据挖掘方法,通过注意力机制选择性地将多示例包的示例汇合为统一的特征表示,然后为每个类别生成类别原型表示并存储下来.类别原型通过原型分类器映射模块得到无偏鲁棒的类别分类器,并通过上一个增量阶段生成的分类器的预测结果对新增量阶段生成的分类器的预测结果进行知识蒸馏,使得模型能够在多示例学习下以极低的存储很好地保留模型的旧知识.实验结果表明：提出的方法能够有效地进行面向增量分类的多示例学习.     

Combat data shift in few-shot learning with knowledge graph

Many few-shot learning approaches have been designed under the meta-learning framework, which learns from a variety of learning tasks and generalizes to new tasks. These meta-learning approaches achieve the expected performance in the scenario where all samples are drawn from the same distributions (i.i.d. observations). However, in real-world applications, few-shot learning paradigm often suffers from data shift, i.e., samples in different tasks, even in the same task, could be drawn from various data distributions. Most existing few-shot learning approaches are not designed with the consideration of data shift, and thus show downgraded performance when data distribution shifts. However, it is non-trivial to address the data shift problem in few-shot learning, due to the limited number of labeled samples in each task. Targeting at addressing this problem, we propose a novel metric-based meta-learning framework to extract task-specific representations and task-shared representations with the help of knowledge graph. The data shift within/between tasks can thus be combated by the combination of task-shared and task-specific representations. The proposed model is evaluated on popular benchmarks and two constructed new challenging datasets. The evaluation results demonstrate its remarkable performance.     

基于变分贝叶斯的纤维丛元学习算法

以神经网络为基础的深度学习在大量领域取得优异成果,但其难以处理相似或未经训练的任务。深度学习在对新任务的学习和适应过程中存在困难,且对训练样本规模要求很高,造成泛化性和扩展性不佳的问题。元学习是一种新的学习框架,旨在解决传统学习方法难以解决的快速学习和适应新任务的问题。针对图像分类的元学习问题,文中提出了一种基于贝叶斯理论的纤维丛元学习算法(Fiber Bundle Meta-learning Algorithm,FBBML)。首先通过卷积神经网络提取支持数据集的图片信息,以得到图片的表示。然后构建数据特征的流形结构和数据特征到标签的纤维丛。最后输入查询集选取当前新任务的流形截面,从而获得适合新任务的纤维,得到图片的正确标签。实验结果表明,基于所提算法实现的模型(FBBML)在公共数据集(mini-ImageNet)上相比标准四层卷积神经网络的模型取得了最佳的准确率性能。同时将纤维丛理论引入元学习,使得算法本身具备更高的可解释性。     

Superimposing neural learning by dynamic and spatial changing weights

In this article, a new neural network model is presented for incremental learning tasks where networks are required to learn new knowledge without forgetting the old. An essential core of the proposed network structure is their dynamic and spatial changing connection weights (DSCWs). A learning scheme is developed for the formulation of the dynamic changing weights, while a structural adaptation is formulated by the spatial changing connecting weights. To avoid disturbing the old knowledge by the creation of new connections, a restoration mechanism is introduced dusing the DSCWs. The usefulness of the proposed model is demonstrated by using a system identification task. This work was presented in part at the 7th International Symposium on Artificial Life and Robotics, Oita, Japan, January 16–18, 2002.     

基于多样真实任务生成的鲁棒小样本分类方法

随着大数据、计算机与互联网等技术的不断进步,以机器学习和深度学习为代表的人工智能技术取得了巨大成功,尤其是最近不断涌现的各种大模型,极大地加速了人工智能技术在各个领域的应用.但这些技术的成功离不开海量训练数据和充足的计算资源,大大限制了这些方法在一些数据或计算资源匮乏领域的应用.因此,如何利用少量样本进行学习,也就是小样本学习成为以人工智能技术引领新一轮产业变革中一个十分重要的研究问题.小样本学习中最常用的方法是基于元学习的方法,这类方法通过在一系列相似的训练任务上学习解决这类任务的元知识,在新的测试任务上利用元知识可以进行快速学习.虽然这类方法在小样本分类任务上取得了不错的效果,但是这类方法的一个潜在假设是训练任务和测试任务来自同一分布.这意味着训练任务需要足够多才能使模型学到的元知识泛化到不断变化的测试任务中.但是在一些真正数据匮乏的应用场景,训练任务的数量也是难以保证的.为此,提出一种基于多样真实任务生成的鲁棒小样本分类方法(DATG).该方法通过对已有少量任务进行Mixup,可以生成更多的训练任务帮助模型进行学习.通过约束生成任务的多样性和真实性,该方法可以有效提高小样本分类方...