基于欠采样和对抗自编码器的入侵检测算法

针对入侵检测数据高维且不均衡的问题,提出基于欠采样和对抗自编码器的入侵检测算法。首先,采用改进的EasyEnsemble欠采样方法将多数类样本多次采样分成多个子样本,训练多个子分类器,最终得到强分类器来处理数据不均衡问题,然后利用对抗自编码器对处理后的数据进行降维,最后用随机森林算法对处理后的新数据进行分类,来检测出高维且不平衡数据中的恶意攻击。实验结果表明,该算法相对于传统算法表现出较优的性能,能够有效地提高入侵检测的准确性,降低误报率。     

高光谱图像基于像素结构的改进PCA算法

主成分分析法(PCA)作为一种常用的降维算法,被广泛的应用到如高光谱图像处理等需要进行大量数据处理的应用中。PCA的主要目的是利用正交变换,将具有相关性的高维数据的分量转换为线性不相关的新的成分变量,但当矩阵维数超过百万时候会造成严重的计算困难问题。本文针对PCA运算中协方差矩阵计算过程中内存调度的问题,提出了一种基于像素结构的改进的协方差矩阵计算方法,可以在确保与常规PCA具有相同性能的同时有效地降低计算所需的存储器规模。实验中分别采用传统PCA算法和改进算法对高光谱图像数据进行特征提取后利用支持向量机(SVM)进行分类,对比结果验证了改进算法的有效性和可靠性。     

基于核函数的非线性口袋算法

应用满足Mercer条件的核函数设计非线性算法已经成为机器学习领域一项新的非线性技术.核感知器算法利用核思想非线性地推广了线性感知器算法,使其可以处理原始输入空间中的非线性分类问题和高维特征空间中的线性问题.线性口袋算法改进了线性感知器算法,能够直接处理线性不可分问题.为了进一步改进线性口袋算法和核感知器算法,本文提出基于核函数的非线性口袋算法,即核口袋算法,其目标是找到一个使错分样本数最小的非线性判别函数,并证明了其收敛性.核口袋算法的特点是用简单的迭代过程和核函数来实现非线性分类器的设计.基准数据集的实验结果证明核口袋算法的性能优于线性口袋算法和核感知器算法.     

多分类器融合的快速高维特征聚类图像分割

提出一种多分类器融合的快速高维特征聚类图像分割方法,将图像高维特征数据的分类分解为基于灰度(颜色)特征的最佳模糊分类以及基于空域约束的统计分类等多个低维特征数据的分类.通过多分类器融合的方法将不同分类器得到的分类结果进行优化整合,得到最后的分类结果.实验证明:与其它图像分类算法相比,该方法拥有更好的分割性能并大大提高了计算速度,最大限度地保证了分割算法计算的简单有效性.     

一种基于高维粒子群算法的神经网络结构优化研究

为克服传统BP神经网络在运算过程的不足,提出一种基于高维粒子群算法的神经网络优化方法。通过在高维PSO算法中引入随机变化的加速常数来获得最优权值,对BP神经网络进行优化和训练,再将优化好的高维BP神经网络运用到交通事件自动检测中,通过检测训练算法,并对训练后的数据进行分类测试,把分类测试的结果与传统BP神经网络和经典事件检测算法比较。结果显示,经过优化后的高维粒子群BP神经网络的检测率、算法性能均优于BP神经网络算法和经典算法,其中97,50个测试样本中仅有2个测试样本与应该达到的数值不一致,其他样本都满足测试要求,并且平均优化测试时间是传统BP神经网络检测时间的一半,因此,优化后的BP神经网络算法的性能十分优越。     

基于高斯函数的改进KNN分类算法研究

KNN算法在数据处理,文本分类等方面都有着广泛的应用;本文提出了一种基于高斯函数权重分配的改进KNN算法(G-KNN)分类模型,并对该模型进行了理论推导和数学分析.分析了权重参数c和k值对分类性能的影响以及最优值的选取,并分别采用地中海数据和一组UCI公开数据对该算法进行了仿真验证.结果表明,改进算法的性能优于传统KN...     

基于深度信念网络的烟叶部位近红外光谱分类方法研究

近红外检测作为一种快速无损的检测方法得到广泛关注。但光谱中存在大量噪声以及光谱数据的高维度和非线性等特点影响了分类模型的准确率。将深信网络（DBN）的理论改进并引入光谱特征学习中,解决高维特征间非线性关系的学习问题,采用逐层训练策略和随机梯度上升法分别进行网络预训练和微调获得网络权值;并结合支持向量机（SVM）建立近红外光谱多分类模型DBN-SVM。与基于主成分分析的分类模型PCA-SVM和基于线性判别分析的LDA-SVM分类模型进行应用比较。结果表明:DBN-SVM算法能有效地学习高维数据中的内在结构和非线性关系,由该算法构建的模型具有良好的特征学习能力和分类识别能力,而且在稳健性、各类别的灵敏度和特效度也更优。     

距离保持投影非线性降维技术的可视化与分类

 本文对高维数据距离保持投影方法进行了改进和扩展,采用测地线距离代替欧氏距离,能够正确地展开数据所在的流形,同时又准确地保留了每个数据点到其最近邻点和部分近邻点之间的距离.为了减少邻域大小难以选取问题,采取了对邻域大小不甚敏感的P-ISOMAP算法.与原方法和ISOMAP等高维数据降维方法相比,本文方法能更好地对数据进行降维和可视化.并且,为了进行分类,本文扩展了新的分类技术.实验表明本文方法在可视化、降维和分类方面效果不错.     

基于中值PCA和加权PCA数据分类的研究

在分析了传统主成分分析（PCA）方法的原理和实现方法上,提出了基于中值的主成分分析新方法（MPCA）.另外,针对多类高维数据分类问题,较深入地研究了权函数对分类问题的影响,对传统PCA模型进行加权处理得到加权主成分分析（WPCA）.实验结果表明,MPCA比传统PCA具有较好的分类效果,不同权函数对数据的分类结果影响较大,且WPCA比传统PCA在分类效果上有明显的优势.     

一种基于蚁群算法与粗糙集的混合BP神经网络

为了解决BP神经网络对高维冗余样本分类时收敛速度慢、易陷入局部极小值问题,提出基于蚁群算法与粗糙集的混合BP神经网络分类模型.该混合BP神经网络用粗糙集对样本进行约简和降维,输入层神经元个数得到减少,降低了训练神经网络的计算复杂度,用蚁群算法解决了选取神经网络权值和阈值的随机性,避免了因其而导致的易陷入局部极小值的不足.对UCI数据库中数据集的测试结果说明,提出的混合BP神经网络对高维冗余复杂样本进行分类是可行的,性能远远比传统BP神经网络和蚁群神经网络优越.     

基于小波包-FastICA在阿尔茨海默症中的应用及其生物学分析

阿尔茨海默症(Alzheimer’s disease,AD)基因表达谱数据具有高维性、高噪声、高冗余性等特点,使得AD特异性基因的搜索空间巨大,搜索算法时间长,降低了算法的挖掘性能及其生物学分析。因此对其基因表达谱数据进行去噪和降维预处理是十分必要的。文中首先利用小波包变换-SAM方法对数据进行降维去噪,实验结果证明了小波包方法能较好地提取基因表达谱有用信息;然后应用快速独立成分分析(FastICA)算法对预处理后的数据进行矩阵分解分析,并根据独立分量选取特异性基因。在此基础上的样本分类实验表明,FastICA提取的特异性基因具有较高的显著性,能够提高样本的分类结果。同时,通过所提取特异性基因的富集性分析,文中给出了这些基因在阿尔茨海默症数据集中聚类情况及其基因表达情况,为AD的生物学及医学病理分析提供有利的依据。     

Unsupervised Linear Feature-Extraction Methods and Their Effects in the Classification of High-Dimensional Data

This paper presents an analysis and a comparison of different linear unsupervised feature-extraction methods applied to hyperdimensional data and their impact on classification. The dimensionality reduction methods studied are under the category of unsupervised linear transformations: principal component analysis, projection pursuit (PP), and band subset selection. Special attention is paid to an optimized version of the PP introduced in this paper: optimized information divergence PP, which is the maximization of the information divergence between the probability density function of the projected data and the Gaussian distribution. This paper is particularly relevant with current and the next generation of hyperspectral sensors that acquire more information in a higher number of spectral channels or bands when compared to multispectral data. The process to uncover these high-dimensional data patterns is not a simple one. Challenges such as the Hughes phenomenon and the curse of dimensionality have an impact in high-dimensional data analysis. Unsupervised feature extraction, implemented as a linear projection from a higher dimensional space to a lower dimensional subspace, is a relevant process necessary for hyperspectral data analysis due to its capacity to overcome some difficulties of high-dimensional data. An objective of unsupervised feature extraction in hyperspectral data analysis is to reduce the dimensionality of the data maintaining its capability to discriminate data patterns of interest from unknown cluttered background that may be present in the data set. This paper presents a study of the impact these mechanisms have in the classification process. The impact is studied for supervised classification even on the conditions of a small number of training samples and unsupervised classification where unknown structures are to be uncovered and detected     

基于受限玻尔兹曼机的专家乘积系统的一种改进算法

深度学习在高维特征向量的信息提取和分类中具有很强的能力,但深度学习训练时间也比较长,超参数搜索空间大,从而导致超参数寻优较困难。针对此问题,该文提出一种基于受限玻尔兹曼机(RBM)专家乘积系统的改进方法。先将专家乘积系统原理与RBM算法相结合,采用全是真实概率值的参数更新方式会引起模型识别效果不理想和带来密度问题,为此将其更新方式进行改进;为加快网络收敛和提高模型识别能力,采取在RBM预训练阶段和微调阶段引入不同组合方式动量项的一种改进算法。通过对MNIST数据库中的0~9的手写数字体的识别和CMU-PIE数据库的人脸识别实验,提出的算法减少了学习时间,提高了超参数寻优的效率,进而构建的深层网络能获得较好的分类效果。试验结果表明,提出的改进算法在处理高维大量的数据时,计算效率有较大提高,其算法有效。     

Bayesian Classification of Cork Stoppers Using Class-Conditional Independent Component Analysis

In this paper, a real-time application for visual inspection and classification of cork stoppers is presented. The process of cork inspection and quality grading is based on analyzing a large set of characteristics corresponding to visual features that are related to cork porosity. We have applied a set of nonparametric and parametric classification methods for comparing and evaluating their performance in this real problem. The best results have been achieved using Bayesian classification through probabilistic modeling in a high-dimensional space. In this context, it is well known that high dimensionality represents a serious problem for density estimation. We propose a class-conditional independent component analysis representation of the data that allows an accurate estimation of the data probability density function by factorizing it. The method has achieved a success of 98% of correct classification     

基于网格服务的分布式BP分类算法研究

在分析传统集中式BP算法对海量高维数据分类不足的基础上,结合网格服务和粗糙集约简的思想,提出了基于网格服务的分布式BP分类算法（Distributed BP Classification algorithm based upon Grid Service,DBPC-GS）。仿真实验表明,粗糙集约简使得BP网络处理高维数据的复杂度大大降低;同时与传统集中式BP分类算法相比,DBPC—GS算法的平均耗时明显下降,CPU的负载也下降了约40％;且GBPC—GS算法仍然保持较高的分类精度。     

基于PLS的加权朴素贝叶斯分类测试算法

朴素贝叶斯算法是一种简单而高效的分类算法,但是它的条件独立性假设影响了其分类性能。通过放松朴素贝叶斯假设,可以增强其分类效果,但通常会导致计算代价大幅提高。文章提出了一种基于偏最小二乘的加权朴素贝叶斯分类算法,通过建立条件属性和决策属性之间偏最小二乘回归方程,把回归系数赋给对应的条件属性,作为相应的权重,从而在保持简单性的基础上有效地提高了朴素贝叶斯算法的分类性能。最后,通过在UCI数据集上的仿真实验,验证了该算法的有效性。     

Image classification using correlation tensor analysis

Images, as high-dimensional data, usually embody large variabilities. To classify images for versatile applications, an effective algorithm is necessarily designed by systematically considering the data structure, similarity metric, discriminant subspace, and classifier. In this paper, we provide evidence that, besides the Fisher criterion, graph embedding, and tensorization used in many existing methods, the correlation-based similarity metric embodied in supervised multilinear discriminant subspace learning can additionally improve the classification performance. In particular, a novel discriminant subspace learning algorithm, called correlation tensor analysis (CTA), is designed to incorporate both graph-embedded correlational mapping and discriminant analysis in a Fisher type of learning manner. The correlation metric can estimate intrinsic angles and distances for the locally isometric embedding, which can deal with the case when Euclidean metric is incapable of capturing the intrinsic similarities between data points. CTA learns multiple interrelated subspaces to obtain a low-dimensional data representation reflecting both class label information and intrinsic geometric structure of the data distribution. Extensive comparisons with most popular subspace learning methods on face recognition evaluation demonstrate the effectiveness and superiority of CTA. Parameter analysis also reveals its robustness.     

基于SVM分类的红外舰船目标识别

针对海天背景下红外舰船目标识别提出了一种基于机器学习的分类算法。该算法首先利用分割算法提取红外图像中的连通区域,并对原图相应的位置进行标记和归一化处理,然后利用HOG特征提取标记区域的高维特征向量,用线下样本库训练得到的SVM分类器对所提取的HOG特征进行高维特征空间的分类,识别目标和干扰。仿真实验表明,该算法具有良好的性能,在复杂海天干扰背景下能够有效地识别红外舰船目标。     

基于张量分解的卫星遥测缺失数据预测算法

卫星健康状况监测是卫星安全保障的重要基础,而卫星遥测数据又是卫星健康状况分析的唯一数据来源。因此,卫星遥测缺失数据的准确预测是卫星健康分析的重要前瞻性手段。针对极轨卫星多组成系统、多仪器载荷以及多监测指标形成的高维数据特点,该文提出一种基于张量分解的卫星遥测缺失数据预测算法(TFP),以解决当前数据预测方法大多面向低维数据或只能针对特定维度的不足。所提算法将遥测数据中的系统、载荷、指标以及时间等多维因素作为统一的整体进行张量建模,以完整、准确地表达数据的高维特征;其次,通过张量分解计算数据模型的成分特征,通过成分特征可对张量模型进行准确重构,并在重构过程中对缺失数据进行准确预测;最后,提出一种高效的优化算法实现相关的张量计算,并对算法中最优参数设置进行严格的理论推导。实验结果表明,所提算法的预测准确度优于当前大部分预测算法。     

基于中心对齐多核学习的稀疏多元逻辑回归算法

稀疏多元逻辑回归(SMLR)作为一种广义的线性模型被广泛地应用于各种多分类任务场景中。SMLR通过将拉普拉斯先验引入多元逻辑回归(MLR)中使其解具有稀疏性,这使得该分类器可以在进行分类的过程中嵌入特征选择。为了使分类器能够解决非线性数据分类的问题,该文通过核技巧对SMLR进行核化扩充后得到了核稀疏多元逻辑回归(KSMLR)。KSMLR能够将非线性特征数据通过核函数映射到高维甚至无穷维的特征空间中,使其特征能够充分地表达并最终能进行有效的分类。此外,该文还利用了基于中心对齐的多核学习算法,通过不同的核函数对数据进行不同维度的映射,并用中心对齐相似度来灵活地选取多核学习权重系数,使得分类器具有更好的泛化能力。实验结果表明,该文提出的基于中心对齐多核学习的稀疏多元逻辑回归算法在分类的准确率指标上都优于目前常规的分类算法。