一种基于自组织过程神经网络的动态样本半监督学习算法

针对时变信号模式分类和未标记样本信息的有效利用问题,提出了一种基于自组织过程神经网络的动态样本半监督学习算法。根据获得的已标记和未标记的过程函数样本信号,分别构建基于竞争学习规则和有教师示教方法的自组织过程神经网络模型,利用该网络的自组织特性,实现动态样本的分类标识。文中分析了算法的信息处理机制,给出了具体的实现步骤。以油田开发水淹状况判别为例,实验结果验证了方法的有效性。     

结构自适应的半监督自组织过程神经网络

针对时域空间中模式识别、聚类分析和未标记样本的有效利用问题,提出一种基于半监督学习的网络结构自适应的二维自组织过程神经网络模型和算法。通过构建可度量时变样本间相似性的广义Fréchet距离,利用部分已标记动态样本的类别信息和过程特征,采用奖励-惩罚更新规则,根据网络学习目标函数,对网络二维平面竞争层节点进行动态拆分或合并,实现网络结构的自适应调整和样本的有效聚类。仿真实验结果验证了模型和算法的有效性。     

结合Tri-training半监督学习和凸壳向量的SVM主动学习算法*

为解决监督学习过程中难以获得大量带有类标记样本且样本数据标记代价较高的问题,结合主动学习和半监督学习方法,提出基于Tri-training半监督学习和凸壳向量的SVM主动学习算法.通过计算样本集的壳向量,选择最有可能成为支持向量的壳向量进行标记.为解决以往主动学习算法在选择最富有信息量的样本标记后,不再进一步利用未标记样本的问题,将Tri-training半监督学习方法引入SVM主动学习过程,选择类标记置信度高的未标记样本加入训练样本集,利用未标记样本集中有利于学习器的信息.在UCI数据集上的实验表明,文中算法在标记样本较少时获得分类准确率较高和泛化性能较好的SVM分类器,降低SVM训练学习的样本标记代价.     

基于多分类器协同学习的卷积神经网络训练算法

卷积神经网络(CNN)是一类重要的深度神经网络,然而其训练过程需要大量的已标记样本,从而限制了其实际应用。针对这一问题,分析了CNN分类器的协同学习过程,给出了基于迭代进化的分类器协同训练算法CAMC。该算法结合了CNN和多分类器协同训练的优势,首先采用不同的卷积核提取出多种样本特征以产生不同的CNN分类器;然后利用少量的已标记样本和大量的未标记样本对多个分类器进行协同训练,以持续提高分类性能。在人脸表情标准数据集上的实验结果表明,相对于传统的表情特征识别法LBP和Gabor,CAMC能够在分类过程中利用未标记样本持续实现性能提升,从而具有更高的分类准确率。     

基于深度贝叶斯主动学习的高光谱图像分类

针对高光谱图像分类中标记样本获取费时费力,无标记数据难以得到有效利用以及主动学习与深度学习结合难等问题,结合贝叶斯深度学习与主动学习的最新进展,提出一种基于深度贝叶斯的主动学习高光谱图像分类算法。利用少量标记样本训练一个卷积神经网络模型,根据与贝叶斯方法结合的主动学习采样策略从无标记样本中选择模型分类最不确定性的样本,选取的样本经人工标记后加入到训练集重新训练模型,减小模型不确定性,提高模型分类精度。通过PaviaU高光谱图像分类的实验结果表明,在少量的标记样本下,提出的方法比传统的方法分类效果更好。     

一种基于Tri-training的半监督多标记学习文档分类算法

多标记学习主要用于解决因单个样本对应多个概念标记而带来的歧义性问题,而半监督多标记学习是近年来多标记学习任务中的一个新的研究方向,它试图综合利用少量的已标记样本和大量的未标记样本来提高学习性能。为了进一步挖掘未标记样本的信息和价值并将其应用于文档多标记分类问题,该文提出了一种基于Tri-training的半监督多标记学习算法(MKSMLT),该算法首先利用k近邻算法扩充已标记样本集,结合Tri-training算法训练分类器,将多标记学习问题转化为标记排序问题。实验表明,该算法能够有效提高文档分类性能。     

基于相似度融合的主动支持向量机算法

提出一种基于相似度融合的主动支持向量机算法,利用未标记样本和标记样本,结合支持向量机的方法实现主动学习.实验结果表明,该算法与普通主动学习的支持向量机相比,在保证分类器性能的情况下,可以减少标记样本的数目,抑制孤立样本对分类器的影响;在相同标记样本数目的情况下,该算法具有较高的分类精度.     

自适应主动半监督学习方法

主动学习从大量无标记样本中挑选样本交给专家标记.现有的批抽样主动学习算法主要受3个限制：（1）一些主动学习方法基于单选择准则或对数据、模型设定假设,这类方法很难找到既有不确定性又有代表性的未标记样本;（2）现有批抽样主动学习方法的性能很大程度上依赖于样本之间相似性度量的准确性,例如预定义函数或差异性衡量;（3）噪声标签问题一直影响批抽样主动学习算法的性能.提出一种基于深度学习批抽样的主动学习方法.通过深度神经网络生成标记和未标记样本的学习表示和采用标签循环模式,使得标记样本与未标记样本建立联系,再回到相同标签的标记样本.这样同时考虑了样本的不确定性和代表性,并且算法对噪声标签具有鲁棒性.在提出的批抽样主动学习方法中,算法使用的子模块函数确保选择的样本集合具有多样性.此外,自适应参数的优化,使得主动学习算法可以自动平衡样本的不确定性和代表性.将提出的主动学习方法应用到半监督分类和半监督聚类中,实验结果表明,所提出的主动学习方法的性能优于现有的一些先进的方法.     

基于Tri-training算法的构造性学习方法

构造性机器学习(CML)算法在训练分类器时需要大量有标记样本,而获取这些有标记样本十分困难。为此,提出一种基于Tri-　training算法的构造性学习方法。根据已标记的样本,采用不同策略构造3个差异较大的初始覆盖分类网络,用于对未标记数据进行标记,再将已标记数据加入到训练样本中,调整各分类网络参数,反复进行上述过程,直至获得稳定的分类器。实验结果证明,与CML算法和基于NB分类器的半监督学习算法相比,该方法的分类准确率更高。     

基于主动深度学习的高光谱影像分类

针对当前高光谱遥感影像分类人工标注样本费时费力,大量未标注样本未得到有效利用以及主要利用光谱信息而忽视空间信息等问题,提出了一种空-谱信息与主动深度学习相结合的高光谱影像分类方法。首先利用主成分分析对原始影像进行降维,在此基础上提取像素的一正方形小邻域作为该像素的空间信息并结合其原始光谱信息得到空谱特征。然后,通过稀疏自编码器得到原始数据的稀疏特征表达,并通过逐层无监督学习稀疏自编码器构建深度神经网络,输出原始数据的深度特征,将其连接到softmax分类器,利用少量标记样本以监督学习的方式完成模型的精调。最后,利用主动学习算法选择最不确定性样本对其进行标注,并加入至训练样本以提高分类器的分类效果。分别对PaviaU影像和PaviaC影像进行分类实验的结果表明,该方法在少量标记样本情况下,相对于传统方法能有效地提高分类精度。     

基于半监督学习的动态神经网络结构设计

针对神经网络初始结构的设定依赖于工作者的经验、自适应能力较差等问题,提出一种基于半监督学习(SSL)算法的动态神经网络结构设计方法。该方法采用半监督学习方法利用已标记样例和无标记样例对神经网络进行训练,得到一个性能较为完善的初始网络结构,之后采用全局敏感度分析法(GSA)对网络隐层神经元输出权值进行分析,判断隐层神经元对网络输出的影响程度,即其敏感度值大小,适时地删减敏感度值很小的神经元或增加敏感度值较大的神经元,实现动态神经网络结构的优化设计,并给出了网络结构变化过程中收敛性的证明。理论分析和Matlab仿真实验表明,基于SSL算法的神经网络隐层神经元会随训练时间而改变,实现了网络结构动态设计。在液压厚度自动控制(AGC)系统应用中,大约在160 s时系统输出达到稳定,输出误差大约为0.03 mm,与监督学习(SL)方法和无监督学习(USL)方法相比,输出误差分别减小了0.03 mm和0.02 mm,这表明基于SSL算法的动态网络在实际应用中能有效提高系统输出的准确性。     

慢速权值更新的ART2神经网络研究

ART2是基于自适应谐振理论的一种自组织神经网络,通过竞争学习和自稳机制原理实现分类,可以在非平稳的、有干扰的环境中进行无监督的自学习,其学习过程能迅速识别已学习过的样本,并能迅速适应未学习过的新对象。提出了一种基于慢速权值更新的ART2神经网络算法,该算法在对输入模式进行识别分类时,会减慢学习速率,降低模式漂移的速度。新的网络学习规则在分类实验中取得了较好的效果,并在一定程度上解决了模式漂移问题。     

一种自组织特征映射网络的模糊学习方法

本文提出一种模糊熵准则以及基于模糊熵准则的复合学习准则,可以较好地指导自组织特征遇射网络的学习过程。     

Combined use of supervised and unsupervised learning for power system dynamic security mapping

This paper proposes a new methodology which combines supervised and unsupervised learning for evaluating power system dynamic security. Based on the concept of stability margin, pre-fault power system conditions are assigned to the output neurons on the two-dimensional grid with the growing hierarchical self-organizing map technique (GHSOM) via supervised artificial neural networks (ANNs) which perform an estimation of post-fault power system state. The technique estimates the dynamic stability index that corresponds to the most critical value of synchronizing and damping torques of multimachine power systems. ANN-based pattern recognition is carried out with the growing hierarchical self-organizing feature mapping in order to provide adaptive neural network architecture during its unsupervised training process. Numerical tests, carried out on a IEEE 9 bus power system are presented and discussed. The analysis using such method provides accurate results and improves the effectiveness of system security evaluation.     

A SVM controller for the stable walking of biped robots based on small sample sizes

Conventional machine learning methods such as neural network (NN) uses empirical risk minimization (ERM) based on infinite samples, which is disadvantageous to the gait learning control based on small sample sizes for biped robots walking in unstructured, uncertain and dynamic environments. Aiming at the stable walking control problem in the dynamic environments for biped robots, this paper puts forward a method of gait control based on support vector machines (SVM), which provides a solution for the learning control issue based on small sample sizes. The SVM is equipped with a mixed kernel function for the gait learning. Using ankle trajectory and hip trajectory as inputs, and the corresponding trunk trajectory as outputs, the SVM is trained based on small sample sizes to learn the dynamic kinematics relationships between the legs and the trunk of the biped robots. Robustness of the gait control is enhanced, which is propitious to realize the stable biped walking, and the proposed method shows superior performance when compared to SVM with radial basis function (RBF) kernels and polynomial kernels, respectively. Simulation results demonstrate the superiority of the proposed methods.     

基于样本自组织聚类的BP神经网络预测模型

根据实际应用中神经网络训练样本通常具有内在特征和规律性,提出一种基于样本自组织聚类的BP神经网络预测模型。通过自组织竞争网络的聚类特征,改善样本训练对BP网络性能的影响。BP神经网络采用收敛速度较快和误差精度较高的动量—自适应学习速率调整算法。并通过基于这种模型的空气质量预测实验,表明基于样本自组织聚类的BP神经网络预测模型首先会提高收敛速度,其次会减少陷入局部最小的可能,提高预测精度。     

基于自结构动态递归模糊神经网络的无人机姿态控制*

针对无人机非线性、强耦合等特点,提出了基于该自结构动态递归模糊神经网络的姿态控制系统,给出了基于Lyapunov函数的系统稳定性证明。对四层模糊神经网络进行了优化和改进,设计了自结构动态递归模糊神经网络,该网络可以根据系统状态在线更新权值、创建/删除节点、优化网络结构。仿真表明：该控制方法的突出优点是,在兼顾考虑了系统中的不确定性因素、非线性因素及外部干扰并存的情况下,保证系统的稳定性和跟踪性能;同时此网络结构比固定结构的模糊神经网络响应速度快,因此更具优越性。     

基于在线减法聚类的RBF神经网络结构设计

以设计最小径向基函数（RBF）神经网络结构为着眼点,提出一种在线RBF网络结构设计算法.该算法将在线减法聚类能实时跟踪工况的特性与RBF网络参数学习过程相结合,使得网络既能在线适应实时对象的变化又能维持紧凑的结构,有效地解决了RBF神经网络结构自组织问题.该算法只调整欧氏距离距实时工况最近的核函数,大大提高了网络的学习速度.通过对典型非线性函数逼近和混沌时间序列预测的仿真,表明所提出的算法具有良好的动态特性响应能力和逼近能力.