基于Autoencoder网络的数据降维和重构

在机器学习,模式识别以及数据挖掘等诸多研究领域中,往往会面临着维数灾难问题。因此,特征数据的降维方法,即将高维的特征数据如何进行简化投射到低维空间中再进行处理,成为当前数据驱动的计算方法研究热点之一。该文引入一种特殊的非线性降维方法,称为自编码(Autoencoder)神经网络,该方法采用CRBM(Continuous Restricted Boltzmann Machine)的网络结构,通过训练具有多个中间层的双向深层神经网络将高维数据转换成低维嵌套并继而重构高维数据。特别地,自编码网络提供了高维数据空间和低维嵌套结构的双向映射,有效解决了大多数非线性降维方法所不具备的逆向映射问题。将Autoencoder用于人工数据和真实图像数据的实验表明,Autoencoder不仅能发现嵌入在高维数据中的非线性低维结构,也能有效地从低维结构中恢复原始高维数据。     

基于SDAE-DNN的网络异常检测方法

本文针对传统的异常检测方法在处理海量高维度数据时检效果不佳的问题,提出一种融合栈式去噪自编码器(SDAE)和深度神经网络(DNN)的网络异常检测方法。首先,利用栈式去噪自编码器对数据进行特征降维,实现从高维数据到低维数据的非线性转换;然后用深度神经网络对数据进行分类。采用NSL-KDD数据集的实验结果表明,与与其他异常检测方法相比,SDAE-DNN模型性能要优于其他方法,取得了更好的检测效果。     

神经网络的特征映射聚类算法研究

自组织特征映射作为一种神经网络方法,在数据挖掘、机器学习和模式分类中得到了广泛应用。他将高维输入空间的数据映射到一个低维、规则的栅格上,从而可以利用可视化技术探测数据的固有特性。说明自组织特征映射神经网络的工作原理和具体实现算法,并在对已有神经网络聚类分析方法概括和总结的基础上,结合一些实验数据、仿真数据对自组织特征映射算法进行研究,得出了一些有意义的结论。     

基于深度信念网络的K-means聚类算法研究

针对传统K-means聚类算法对高维非线性数据聚类效果不佳、聚类时间消耗大的问题,文中对高维数据的预处理进行研究,提出一种基于深度信念网络(DBN)的K-means聚类算法(DBNOK)。此算法首先使用多层受限玻尔兹曼机(RBM)对数据进行特征学习,并将学习到的隐含特征进行K-means相关参数和初始聚类中心进行交叉迭代优化。用DBNOK算法分别在低维数据集和高维数据集上进行实验,结果表明,DB-NOK算法聚类准确率优于标准的K-means算法和模糊均值聚类(FCM)算法。     

多分类器融合的快速高维特征聚类图像分割

提出一种多分类器融合的快速高维特征聚类图像分割方法,将图像高维特征数据的分类分解为基于灰度(颜色)特征的最佳模糊分类以及基于空域约束的统计分类等多个低维特征数据的分类.通过多分类器融合的方法将不同分类器得到的分类结果进行优化整合,得到最后的分类结果.实验证明:与其它图像分类算法相比,该方法拥有更好的分割性能并大大提高了计算速度,最大限度地保证了分割算法计算的简单有效性.     

线性判别分析和支持向量机的音乐分类方法

提出了一种新的音乐分类方法,该方法使用线性判别分析(LDA)和支持向量机(SVMs)对音乐数据进行分类。在实现音乐分类中,先使用傅里叶变换等方法从每一段音乐中提取音频特征,包括Mel倒谱系数及基音频率等,并将它们按比例组成一个高维向量;再使用LDA对这些高维向量进行降维,使得各类音乐的类间离散度与类内离散度的比值最大;最后使用SVM等4种分类器对降维后的特征进行分类。实验证明LDA及SVM使得音乐分类的精确度有了较大的提高。     

原空间中的核SOM分类器

自组织特征映射(SOM)是Kohonen提出的一种人工神经网络模型,其整个学习过程是在输入样本空间内进行,并以欧氏距离为度量.这将导致当输入样本分布结构呈高度非线性时,其分类能力下降.核方法通过核函数实现了一个从低维输入空间到高维特征空间的映射,从而使输入空间中复杂的样本结构在特征空间中变得简单.Donald等人通过核映射将低维输入空间中的非线性问题变换至高维特征空间中,从而使SOM聚类形成于映射后的高维特征空间中.但其缺点是失去了对原输入空间聚类中心及结果的直观刻画;本文采用核方法的目的是为原输入空间诱导出一类异于欧氏距离的新的距离度量,并使原SOM成为特例.而核的多样性进一步可诱导出原空间中不同的度量,导致各种对应SOM分类器的生成.最后,本文侧重通过几种经典的核函数在Benchmark上的试验,对该分类器的性能及可靠性进行了验证.     

基于KPCA和RBF网络的文本分类研究

基于词空间的分类方法很难处理文本的高维特性和复杂相关性,为此文中提出了基于核的主成分分析和径向基神经网络的文本分类算法.首先利用核主成分分析选择合适的核函数从高维特征空间中提取文本向量的主成分,实现了文本输入空间的降维和语义特征空间的抽取,然后在语义特征空间中训练径向基神经网络分类器,并利用训练得到的分类器进行文本分类工作.实验结果表明:核主成分分析不仅实现了降维,而且能在大幅减减少径向基神经网络训练时间的基础上显著提高其分类精度.     

异构并行计算下高维混合型数据聚类算法研究

高维数据维度增加,数据空间的体积呈指数增长,容易陷入“维数灾难”,导致聚类算法执行效率低,为此,提出异构并行计算下高维混合型数据聚类算法。构建高维混合型数据相异度矩阵,提取高维混合型数据的统计序列特征值,利用时间窗口进行特征优化。采用K-Prototypes聚类算法提取高维混合型数据的统计序列特征,评估数据与类中心的相异性,计算数据与类中心的欧氏距离,实现高维混合型数据聚类。采用异构并行计算技术进行高维混合型数据K-Prototypes聚类的并行化处理,合理分配CPU与GPU工作,达到CPU与GPU的工作负载平衡,提高K-Prototypes的聚类效率。实验结果表明,此算法对于高维混合型数据的聚类效果好、运行时间短、性能稳定。     

基于记忆抗体克隆聚类算法的心音分类研究

为快速、准确地判断心音的正常与否,提出了一种记忆抗体克隆聚类算法。该方法将克隆选择算法和监督Gath—Geva算法相结合对心音信号进行识别与分类,并运用Sammon映射算法将高维心音特征数据映射成二维实现分类效果的可视化。试验中,首先对临床采集的主动脉听诊区的心音数据110组（60组正常,50组异常）和二尖瓣听诊区的心音数据100组（60组正常,40组异常）进行预处理和特征提取,然后采用提出的记忆抗体克隆聚类算法对提取的心音特征数据进行识别与分类,平均分类准确率分别达到98．1％和96．2％。     

Network traffic classification method basing on CNN

Since the feature selection process will directly affect the accuracy of the traffic classification based on the traditional machine learning method,a traffic classification algorithm based on convolution neural network was tailored.First,the min-max normalization method was utilized to process the traffic data and map them into gray images,which would be used as the input data of convolution neural network to realize the independent feature learning.Then,an improved structure of the classical convolution neural network was proposed,and the parameters of the feature map and the full connection layer were designed to select the optimal classification model to realize the traffic classification.The tailored method can improve the classification accuracy without the complex operation of the network traffic.A series of simulation test results with the public data sets and real data sets show that compared with the traditional classification methods,the tailored convolution neural network traffic classification method can improve the accuracy and reduce the time of classification.     

Application of Multiscale Learning Neural Network Based on CNN in Bearing Fault Diagnosis

With the application of intelligent manufacturing becoming more and more widely, the losses caused by mechanical faults of equipment increase. Identifying and troubleshooting faults in an early stage are important. The process of traditional data-driven fault diagnosis method includes data acquisition, fault classification, and feature extraction, in which classification accuracy is directly affected by the result of feature extraction. As a common deep learning method in image recognition, the convolutional neural network (CNN) demonstrates good performance in fault diagnosis. CNN can adaptively extract features from original signals and eliminate the effect of conventional handcrafted features. In this study, a multiscale learning neural network that contains one-dimension (1D) and two-dimension (2D) convolution channels is proposed. The network can learn the local correlation of adjacent and nonadjacent intervals in periodic signals, such as vibration data. The Paderborn data set is came into use to demonstrate the classification accuracy of the method which is brought forward, which includes three conditions of healthy, outer ring (OR) damage and inner ring (IR) damage. The classification accuracy of the method which is put forward is up to 98.58%. The same dataset was applied to test the classification accuracy of support vector machine (SVM) for comparison. And the proposed multiscale learning neural network demonstrates considerable improvements.

     

面向癫痫脑电图信号识别的径向基最小最大概率分类树

脑电图(EEG)信号检测和识别是癫痫病的重要诊断手段。径向基函数神经网络具有出色的逼近能力和泛化性能,能直接识别出不同状态的脑电信号,但其透明性和可解释性差,忽视了不同类别数据间可分性的不同。对此,该文提出一种基于径向基函数神经网络和最小最大概率决策技术的分类树,采用一对一策略和排除法,更多考虑了类间可分性的不同。针对脑电信号识别的实验表明,所提方法结构清晰,分类能力强,可解释性更好。     

全连接神经网络对原始特征空间剖分过程的可视化和编码

神经网络虽然在众多模式识别任务中取得了巨大的成功,但是由于其多层的非线性变换结构,使得人们难以直观理解和高效准确地使用这类模型,该问题在当前广泛使用的深度神经网络中表现得尤为突出。可视化技术以其简洁直观的特点成为我们理解复杂模型工作机制的重要手段,这使得神经网络可视化技术成为深度学习中一个学术研究热点。本文着眼于全连接神经网络对原始特征空间的剖分过程,从特征变换、剖分、编码三个角度分析了全连接神经网络在分类过程中的作用。对网络最小的分类单元——胞腔的形成和分解过程进行了分析和可视化。借助本文提出的激活编码的方式,使得我们对于无法直观可视化的高维空间的剖分情况能够进行一定程度的了解,并能够成为定义与讨论"压缩"与"自正则"两种现象的一种工具。通过分析相同训练数据下不同网络结构的表现以及相同网络结构在不同训练数据上的表现,揭示了自正则、胞腔数量以及网络学习能力之间的联系。     

Signal classification through multifractal analysis and complex domain neural networks

This paper describes a system capable of classifying stochastic self-affine nonstationary signals produced by nonlinear systems. The classification and the analysis of these signals are important because these are generated by many real-world processes. The first stage of the signal classification process entails the transformation of the signal into the multifractal dimension domain, through the computation of the variance fractal dimension trajectory (VFDT). Features can then be extracted from the VFDT using a Kohonen self-organizing feature map. The second stage involves the use of a complex domain neural network and a probabilistic neural network to determine the class of a signal based on these extracted features. The results of this paper show that these techniques can be successful in creating a classification system which can obtain correct classification rates of about 87% when performing classification of such signals without knowing the number of classes.     

基于二值神经网络的大场景点云分类

近年随着3维数据采集技术不断发展,大场景 点云数据的获取越来越方便。目前深 度学习网络框架在2维图像处理领 域越来越成熟,而大场景点云是一种3维无规则化的数据,3维卷积神经网络直接处理大场 景3维数据会存在分类精度低和计 算复杂等问题。因此为了有效解决基于深度学习的点云分类任务中存在的计算时间长和分类 精度低的问题,本文提出基于二值 神经网络的大场景点云分类方法,针对不规则的3维点云数据设计特征值计算方法,基于IR -Net二值神经网络处理输入的点云 特征图像,进一步采用Dynamic ReLU激活函数,提高神经网络的计算效率,最后得出点云分 类结果。实验结果表明,所提出 的方法在Oakland数据集上分类精度达到97.6%,在GML数据集中取得 了92.3%和97.2%的分类精度,实验结果证明Dy -ResNet 能够有效提升了点云分类的精度,减少计算的复杂度,并提高了训练效率。     

基于特征重要性的高光谱图像分类

为了减少高光谱图像中的冗余以及进一步挖掘潜在的分类信息,本文提出了一种基于特征重要性的卷积神经网络（convolutional neural networks,CNN）分类模型。首先,利用贝叶斯优化训练得到的随机森林模型（random forest,RF）对高光谱遥感图像进行特征重要性评估;其次,依据评估结果选择合适数目的高光谱图像波段,以作为新的训练样本;最后,利用三维卷积神经网络对所得样本进行特征提取并分类。基于两个实测的高光谱遥感图像数据,实验结果均表明:相比原始光谱信息直接采用支持向量机（support vector machine,SVM）和卷积神经网络的分类效果,本文所提基于特征重要性的高光谱分类模型能够在降维的同时有效提高高光谱图像的分类精度。     

一种基于残差网络的改进网络流量分类算法

基于卷积神经网络的网络流量分类算法中,为了提高分类准确度,其结构设计日趋复杂,容易出现梯度下滑甚至梯度消失,导致预测准确度不升反降.文章提出了一种基于残差网络的改进流量分类算法,引入残差网络层代替传统卷积神经网络中的卷积层和池化层,不仅缓解了传统卷积网络因层次太深导致难以训练的问题,同时与传统卷积运算相比,所提出的残差...     

A log-linearized Gaussian mixture network and its application toEEG pattern classification

Proposes a new probabilistic neural network (NN) that can estimate the a-posteriori probability for a pattern classification problem. The structure of the proposed network is based on a statistical model composed by a mixture of log-linearized Gaussian components. However, the forward calculation and the backward learning rule can be defined in the same manner as the error backpropagation NN. In this paper, the proposed network is applied to the electroencephalogram (EEG) pattern classification problem. In the experiments described, two types of a photic stimulation, which are caused by eye opening/closing and artificial light, are used to collect the data to be classified. It is shown that the EEG signals can be classified successfully and that the classification rates change depending on the amount of training data and the dimension of the feature vectors     

Mixed-band wavelet-chaos-neural network methodology for epilepsy and epileptic seizure detection

A novel wavelet-chaos-neural network methodology is presented for classification of electroencephalograms (EEGs) into healthy, ictal, and interictal EEGs. Wavelet analysis is used to decompose the EEG into delta, theta, alpha, beta, and gamma sub-bands. Three parameters are employed for EEG representation: standard deviation (quantifying the signal variance), correlation dimension, and largest Lyapunov exponent (quantifying the non-linear chaotic dynamics of the signal). The classification accuracies of the following techniques are compared: (1) unsupervised k-means clustering; (2) linear and quadratic discriminant analysis; (3) radial basis function neural network; (4) Levenberg-Marquardt backpropagation neural network (LMBPNN). To reduce the computing time and output analysis, the research was performed in two phases: band-specific analysis and mixed-band analysis. In phase two, over 500 different combinations of mixed-band feature spaces consisting of promising parameters from phase one of the research were investigated. It is concluded that all three key components of the wavelet-chaos-neural network methodology are important for improving the EEG classification accuracy. Judicious combinations of parameters and classifiers are needed to accurately discriminate between the three types of EEGs. It was discovered that a particular mixed-band feature space consisting of nine parameters and LMBPNN result in the highest classification accuracy, a high value of 96.7%.