稀疏和标签约束半监督自动编码机的分类算法

自动编码机通过深度无监督学习能够表达数据的语义特征,但由于其隐含层节点个数难以有效确定,所处理的数据进一步用于分类时常会导致分类准确度低、稳定性弱等问题。针对这些问题,提出了一种稀疏和标签约束的半监督自动编码机（SLRAE）,以实现无监督学习与监督学习的有机结合,更准确地抽取样本的本质特征。稀疏约束项针对每个隐含节点的响应添加约束条件,从而在隐含神经元数量较多的情况下仍可发现数据中潜在的结构;同时引入标签约束项,以监督学习的方式比对实际标签与期望标签,针对性地调整网络参数,进一步提高分类准确率。为验证所提方法的有效性,实验中对多个数据集进行广泛地测试,其结果表明,相对传统自动编码机（AE）、稀疏自动机（SAE）以及极限学习机（ELM）,SLRAE所处理的数据应用于同一分类器,能明显提高分类准确率和稳定性。     

深度置信网络在极化SAR图像分类中的应用

目的 深度置信网络能够从数据中自动学习、提取特征,在特征学习方面具有突出优势。极化SAR图像分类中存在海量特征利用率低、特征选取主观性强的问题。为了解决这一问题,提出一种基于深度置信网络的极化SAR图像分类方法。方法 首先进行海量分类特征提取,获得极化类、辐射类、空间类和子孔径类四类特征构成的特征集;然后在特征集基础上选取样本并构建特征矢量,用以输入到深度置信网络模型之中;最后利用深度置信网络的方法对海量分类特征进行逐层学习抽象,获得有效的分类特征进行分类。结果 采用AIRSAR数据进行实验,分类结果精度达到91.06%。通过与经典Wishart监督分类、逻辑回归分类方法对比,表现了深度置信网络方法在特征学习方面的突出优势,验证了方法的适用性。结论 针对极化SAR图像海量特征的选取与利用,提出了一种新的分类方法,为极化SAR图像分类提供了一种新思路,为深度置信网络获得更广泛地应用进行有益的探索和尝试。     

基于CS理论的24脉波整流器开路故障诊断方法

针对24脉波整流器晶闸管开路故障待处理数据量大、诊断精度不高和诊断速度慢的缺点,提出一种基于压缩感知（CS）理论对开路故障电压信号的稀疏向量进行特征提取的分类识别方法。利用冗余字典和高斯测量矩阵对原始信号进行稀疏表示和测量,接着用正则化自适应匹配追踪算法对测量信号进行重构,得到稀疏向量;对稀疏向量进行6种特征参数的提取,将其作为BP神经网络的输入,实现对开路故障的诊断识别;选取典型的开路故障类型,进行仿真实验验证。仿真结果表明,传统方法要处理的数据长度为1000,而所提方法要处理的数据长度只有50,以很少的数据量保存了原有信号的特征信息,使得开路故障识别准确率显著提高,诊断速度加快。     

基于对抗域适应的心电信号深度学习分类算法

心血管疾病已成为威胁人类生命健康的主要疾病之一。心电图是临床上常见的诊断心律失常的重要方法并被广泛用于监测心脏病患者的健康状况。由于现有的医疗资源匮乏,使用人工智能的方法来分析和诊断从而克服这些局限性的需求愈加迫切,在临床中使用自动检测和分类方法,可以帮助医生对疾病做出准确、快速的诊断。本文对8种常见的心律失常类型进行分类,提出一种基于对抗域自适应的心电信号深度学习分类的方法,解决并改善训练样本标注不足和个体差异导致的数据分布差异现象等问题。该方法包括3个模块：多尺度特征提取A模块、域识别B模块和多分类器C模块。A模块由2组不同的并行卷积块组成,增加了特征提取的宽度。B模块由3个卷积块和1个全连接层组成,用于充分提取浅层特征。在C模块中,将时间特征和深度学习提取特征串联在全连接层上,增强特征多样性。实验结果表明,该方法在准确率、敏感性和阳性预测值上可达到98.8%、97.9%和98.1%,所提出的模型可以帮助医生在常规心电图中准确地检测不同类别的心律失常。     

基于主动深度学习的高光谱影像分类

针对当前高光谱遥感影像分类人工标注样本费时费力,大量未标注样本未得到有效利用以及主要利用光谱信息而忽视空间信息等问题,提出了一种空-谱信息与主动深度学习相结合的高光谱影像分类方法。首先利用主成分分析对原始影像进行降维,在此基础上提取像素的一正方形小邻域作为该像素的空间信息并结合其原始光谱信息得到空谱特征。然后,通过稀疏自编码器得到原始数据的稀疏特征表达,并通过逐层无监督学习稀疏自编码器构建深度神经网络,输出原始数据的深度特征,将其连接到softmax分类器,利用少量标记样本以监督学习的方式完成模型的精调。最后,利用主动学习算法选择最不确定性样本对其进行标注,并加入至训练样本以提高分类器的分类效果。分别对PaviaU影像和PaviaC影像进行分类实验的结果表明,该方法在少量标记样本情况下,相对于传统方法能有效地提高分类精度。     

Early detection of cardiovascular autonomic neuropathy: A multi-class classification model based on feature selection and deep learning feature fusion

The conventional diagnostic process and tools of cardiovascular autonomic neuropathy (CAN) can easily identify the two main categories of the condition: severe/definite CAN and normal/healthy without CAN. Conventional techniques encounter significant challenges when identifying CAN in its early or atypical stages due to the inherent imbalanced and incompleteness condition in the collected clinical multimodal data, including electrocardiogram (ECG) data from ECG sensors, blood chemistry, podiatry, and endocrinology features. Therefore, most detection tools and techniques are limited to binary CAN classification. However, early diagnosis of CAN or diagnosis of the atypical stages of CAN is more important than the diagnosis of severe CAN, which, in fact, is easily identifiable with a few diagnostic reports. In this paper, we propose a novel multi-class classification approach for timely CAN detection. The proposed classification algorithm develops a multistage fusion model by combining feature selection and multimodal feature fusion techniques. The proposed method develops a performance criterion-based feature selection technique to guarantee highly significant features. A multimodal feature fusion technique was developed using deep learning feature fusion and selected original features. The experimental results obtained from testing with a large CAN dataset indicate that the proposed algorithm significantly improved the diagnostic accuracy of CAN compared to conventional Ewing battery features. The algorithm also identified the early or atypical stages of CAN with an AUC score of 0.931 using leave-one-out cross-validation.     

基于深度学习的ECG信号分类

心电图(ECG)能够实时反映心脏状态,可用于心律失常和其它心血管疾病的准确诊断。针对ECG信号采集时的噪声干扰,重构Db6小波的4级分解量并使用巴特沃斯低通滤波实现双重去噪。将降噪后的ECG信号进行R波提取,并截取P-QRS-T波片段输入到一维改进GoogLeNet模型中进行训练。一维改进GoogLeNet是原始二维GoogLeNet的优化结构,可减少网络深度并在稀疏连接中添加最大池化层和扩张卷积加大感受野,降低计算量来提高训练性能。在MIT-BIH数据集中进行实验得到99.39%的分类准确率,比一维GoogLeNet和原始GoogLeNet分别提升了0.17个百分点和0.22个百分点,训练效率均有提升。与其他先进的技术相比,心电信号分类有了显著的改进。     

缺失标记下基于类属属性的多标记特征选择

多标记特征选择已在图像分类、疾病诊断等领域得到广泛应用;然而,现实中数据的标记空间往往存在部分标记缺失的问题,这破坏了标记间的结构性和关联性,使得学习算法难以准确地选择重要特征。针对此问题,提出一种缺失标记下基于类属属性的多标记特征选择（MFSLML）算法。首先,通过利用稀疏学习方法获取每个类标记的类属属性;同时基于线性回归模型构建类属属性与标记的映射关系,以用于恢复缺失标记;最后,选取7组数据集以及4个评价指标进行实验。实验结果表明：相比基于最大依赖度和最小冗余度的多标记特征选择算法（MDMR）和基于特征交互的多标记特征选择算法（MFML）等一些先进的多标记特征选择算法,MFSLML在平均查准率指标上能够提升4.61~5.5个百分点,由此可见MFSLML具有更优的分类性能。     

基于U-NET网络的心律失常信号识别算法研究

在心电信号心律失常自动识别系统中,针对心电信号形态复杂导致特征提取困难、自动分类模型准确度低、现实应用性差的问题,设计了一种基于U-NET全卷积神经网络的心电信号语义分割的识别分类方法。该方法通过全卷积神经网络的编码运算规则,将心电信号切片数据作为输入,标签地图作为输出,可划分出信号片段中的心拍位置与类别。仿真结果表明：该方法在正常窦性搏动、左束支传导阻滞、右束支传导阻滞、房性早搏和室性早搏五分类问题中取得较高准确率,实现了对心律失常信号的有效识别。     

卷积神经网络的短文本分类方法

短文本分类是自然语言处理的一个研究热点.为提高文本分类精度和解决文本表示稀疏问题,提出了一种全新的文本表示（N-of-DOC）方法.采用Word2Vec分布式表示一个短语,将其转换成的向量作为卷积神经网络模型的输入,经过卷积层和池化层提取高层特征,输出层接分类器得出分类结果.实验结果表明,与传统机器学习（K近邻,支持向量机,逻辑斯特回归,朴素贝叶斯）相比,提出的方法不仅能解决中文文本向量的维数灾难和稀疏问题,而且在分类精度上也比传统方法提高了4.23%.     

基于低秩堆栈式语义自编码器的零样本学习

在图像分类领域,现有的深度学习等方法在训练时需要大量有标注的数据样本,且无法识别在训练阶段未出现的类别。零样本学习能有效缓解此类问题。本研究基于堆栈式自编码器和低秩嵌入,提出了一种新的零样本学习方法,即基于低秩嵌入的堆栈语义自编码器（low-rank stacked semantic auto-encoder,LSSAE）。该模型基于编码-解码机制,编码器学习到一个具有低秩结构的投影函数,用于将图像的视觉特征空间、语义描述空间以及标签进行连接;解码阶段重建原始视觉特征。并通过低秩嵌入,使得学习到的模型在预见未见类别时能共享已见类的语义信息,从而更好地进行分类。本研究在五个常见的数据集上进行实验,结果表明LSSAE的性能优于已有的零样本学习方法,是一种有效的零样本学习方法。     

Incremental Learning with Respect to New Incoming Input Attributes

Neural networks are generally exposed to a dynamic environment where the training patterns or the input attributes (features) will likely be introduced into the current domain incrementally. This Letter considers the situation where a new set of input attributes must be considered and added into the existing neural network. The conventional method is to discard the existing network and redesign one from scratch. This approach wastes the old knowledge and the previous effort. In order to reduce computational time, improve generalization accuracy, and enhance intelligence of the learned models, we present ILIA algorithms (namely ILIA1, ILIA2, ILIA3, ILIA4 and ILIA5) capable of Incremental Learning in terms of Input Attributes. Using the ILIA algorithms, when new input attributes are introduced into the original problem, the existing neural network can be retained and a new sub-network is constructed and trained incrementally. The new sub-network and the old one are merged later to form a new network for the changed problem. In addition, ILIA algorithms have the ability to decide whether the new incoming input attributes are relevant to the output and consistent with the existing input attributes or not and suggest to accept or reject them. Experimental results show that the ILIA algorithms are efficient and effective both for the classification and regression problems.     

Feature selection via Boolean independent component analysis

We devise a feature selection method in terms of a follow-out utility of a special classification procedure. In turn, we root the latter on binary features which we extract from the input patterns with a wrapper method. The whole contrivance results in a procedure that is progressive in two respects. As for features, first we compute a very essential representation of them in terms of Boolean independent components in order to reduce their entropy. Then we reverse the representation mapping to discover the subset of the original features supporting a successful classification. As for the classification, we split it into two less hard tasks. With the former we look for a clustering of input patterns that satisfies loose consistency constraints and benefits from the conciseness of binary representation. With the latter we attribute labels to the clusters through the combined use of basically linear separators.We implement out the method through a relatively quick numerical procedure by assembling a set of connectionist and symbolic routines. These we toss on the benchmark of feature selection of DNA microarray data in cancer diagnosis and other ancillary datasets.     

WPCA-LDA:一种数据分类新方法

PCA（principal component analysis）是一种常用的特征提取方法,LDA（linear discriminant analysis）是一种常用的数据分类方法。然而,传统PCA投影数据没有区分数据的类标签,传统LDA投影数据没有消除数据间的相关性,分类效果都不理想。针对该问题进行研究,设计出了一种WPCA-LDA（weighted principal component analysis-linear discriminant analysis）分类方法。该方法首先对样本数据进行预处理,再运用数据中不同类别间的特征关系计算权值,对数据样本加权,之后用PCA进行特征提取,最后采用LDA方法对提取的特征分类。在Matlab仿真实验中,该方法能将六类样品清晰分开。实验结果表明：与传统的PCA、LDA和PCA-LDA分类方法相比,WPCA-LDA方法的数据分类效果更好。     

基于训练空间重构的多模块TSK模糊系统

利用重构训练样本空间的手段,提出一种多训练模块Takagi-Sugeno-Kang （TSK）模糊分类器H-TSK-FS.它具有良好的分类性能和较高的可解释性,可以解决现有层次模糊分类器中间层输出和模糊规则难以解释的难题.为了实现良好的分类性能,H-TSK-FS由多个优化零阶TSK模糊分类器组成.这些零阶TSK模糊分类器内部采用一种巧妙的训练方式.原始训练样本、上一层训练样本中的部分样本点以及所有已训练层中最逼近真实值的部分决策信息均被投影到当前层训练模块中,并构成其输入空间.通过这种训练方式,前层的训练结果对后层的训练起到引导和控制作用.这种随机选取样本点、在一定范围内随机选取训练特征的手段可以打开原始输入空间的流形结构,保证较好或相当的分类性能.另外,该研究主要针对少量样本点且训练特征数不是很大的数据集.在设计每个训练模块时采用极限学习机获取模糊规则后件参数.对于每个中间训练层,采用短规则表达知识.每条模糊规则则通过约束方式确定不固定的输入特征以及高斯隶属函数,目的是保证所选输入特征具有高可解释性.真实数据集和应用案例实验结果表明,H-TSK-FS具有良好的分类性能和高可解释性.     

Feature extraction for classification problems and its application to face recognition

This study investigates a new method of feature extraction for classification problems. The method is based on the independent component analysis (ICA). However, unlike the original ICA, one of the unsupervised learning methods, it is developed for classification problems by utilizing class information. The proposed method is an extension of our previous work on binary-class problems to multi-class problems. It treats the class labels as input features in order to produce two sets of new features: one that carries much information on the class labels and the other that is irrelevant to the class. The learning rule for this method is obtained using the stochastic gradient method to maximize the likelihood of the observed data. Among the new features, using only class-relevant ones, the dimension of the feature space can be greatly reduced in line with the principle of parsimony, resulting better generalization. This method was applied to recognize face identities and facial expressions using various databases such as the Yale, AT&T (former ORL), Color FERET face databases and so on. The performance of the proposed method was compared with those of conventional methods such as the principal component analysis (PCA), Fisher's linear discriminant (FLD), etc. The experimental results show that the proposed method performs well for face recognition problems.     

面向点云三维重建的空间感知对抗神经网络

为了解决由原始点云数据局部密度稀疏、不均匀或者法向量错误等制约因素引起的重建网格质量问题,利用对抗神经网络中权重共享的特性和对抗的训练过程,提出一种基于对抗网络的点云三维重建方法。首先,利用预测器对网格模型边的偏移量进行预测,从而得到每一个顶点的位移,并进行拓扑保持的顶点重定向,得到新的网格模型。然后,利用判别器中的点云分类器,提取原始点云数据和网格模型表面采样点集的高维特征,并基于高维特征进行空间感知的判别,用于区分原始点云与采样点集数据。最后,使用对抗的训练方式将预测器与判别器的输出数据关联起来,通过多次迭代优化网络模型,从而得到满足点云空间特征的三维网格模型。在不同的点云数据集上进行实验,并使用MeshLab软件进行效果展示,结果表明,该方法能够重建出满足点云空间信息的三维网格模型,同时能够解决粗劣的点云数据引起的网格质量问题。     

Kernel-based sparse representation for gesture recognition

In this paper, we propose a novel sparse representation based framework for classifying complicated human gestures captured as multi-variate time series (MTS). The novel feature extraction strategy, CovSVDK, can overcome the problem of inconsistent lengths among MTS data and is robust to the large variability within human gestures. Compared with PCA and LDA, the CovSVDK features are more effective in preserving discriminative information and are more efficient to compute over large-scale MTS datasets. In addition, we propose a new approach to kernelize sparse representation. Through kernelization, realized dictionary atoms are more separable for sparse coding algorithms and nonlinear relationships among data are conveniently transformed into linear relationships in the kernel space, which leads to more effective classification. Finally, the superiority of the proposed framework is demonstrated through extensive experiments.     

基于非负矩阵分解与稀疏表示的多标签分类算法

传统的多标签分类算法是以二值标签预测为基础的,而二值标签由于仅能指示数据是否具有相关类别,所含语义信息较少,无法充分表示标签语义信息。为充分挖掘标签空间的语义信息,提出了一种基于非负矩阵分解和稀疏表示的多标签分类算法（MLNS）。该算法结合非负矩阵分解与稀疏表示技术,将数据的二值标签转化为实值标签,从而丰富标签语义信息并提升分类效果。首先,对标签空间进行非负矩阵分解以获得标签潜在语义空间,并将标签潜在语义空间与原始特征空间结合以形成新的特征空间;然后,对此特征空间进行稀疏编码来获得样本间的全局相似关系;最后,利用该相似关系重构二值标签向量,从而实现二值标签与实值标签的转化。在5个标准多标签数据集和5个评价指标上将所提算法与MLBGM、ML²、LIFT和MLRWKNN等算法进行对比。实验结果表明,所提MLNS在多标签分类中优于对比的多标签分类算法,在50%的案例中排名第一,在76%的案例中排名前二,在全部的案例中排名前三。     

膜性肾病诊断的高光谱图像张量嵌入分析

目的 高光谱成像技术因其能够获取目标的详细空间和光谱信息,在医学领域引起了广泛关注。然而,对于识别任务来说,高光谱图像的高维特征通常会导致分类器性能不佳。因此,降维在高光谱图像分析过程中至关重要。为了在低维空间中保留医学高光谱图像的多流形结构信息并增强特征判别能力,本文提出了一种基于张量表示的拉普拉斯稀疏低秩图嵌入方法（tensor-based Laplacian regularized sparse and low-rank graph,T-LapSLRG）,用于医学高光谱图像的判别分析。方法 在T-LapSLRG中,基于有标签的张量样本,通过引入稀疏、低秩约束及流形正则项以构造监督张量图。张量表示用于捕获空间结构信息,稀疏和低秩约束用于保留局部和全局结构信息,流形正则项用于利用固有的几何信息并增强特征判别能力。通过引入张量图嵌入技术获取数据的低维特征并输入分类器以实现数据的分类及识别。结果 实验数据采用膜性肾病数据集,通过降维方法获取数据的低维特征,使用支持向量机（support vector machine,SVM）分类器对获取的低维特征进行分类。将T-LapSLRG获得的实验结果与相关的降维方法获得的实验结果进行性能比较,以证明T-LapSLRG算法的有效性。采用4个性能指标,即各个类别的准确性、总体准确性（overall accuracy,OA）、平均准确性（average accuracy,AA）和Kappa系数衡量分类性能。T-LapSLRG在膜性肾病数据集下的OA为97.14%,AA为97.05%,Kappa为0.942,各项性能指标均优于对比方法。其中,OA高出1.40%~34.75%,AA高出1.46%~36.89%,Kappa高出0.031~0.73。此外,通过T-LapSLRG算法获得的各个患者的分类准确率均达到90%以上。结论 T-LapSLRG算法在膜性肾病诊断中具有潜在临床价值。