正则化最小二乘线性判别分析算法

线性判别分析（Linear Discriminant Analysis,LDA）是用于降维和分类的方法,然而在遇到小样本问题时,由于全局散布矩阵是奇异的．所以传统的LDA方法是不适用的。为了解决LDA的这种缺点,提出了基于最小二乘线性判别分析（LeastSquares Linear Discriminant Analysis．LS—LDA）的正则化算法,在LS—LDA中分别加入关于加权矩阵的L1范数、L2范数和弹性网络的惩罚项、来解决小样本问题,使模型具有鲁棒性和稀疏性。在对回归分析、正则化方法和LS—LDA相关技术进行深入分析的基础上,构建正则化最小二乘线性判别分析框架算法,实现数据降维。结合标准文本数据集进行实验,采用KNN（K-Nearest-Neighbor）分类器进行文本分类。实验结果表明,正则化的LS—LDA具有很好的分类性能,其中以加入了弹性网络惩罚项的Ls—LDA最优.     

半监督系数选择法的人脸识别

针对人脸识别过程中图像数据维数过高以及需要大量类别标记的问题,提出一种半监督离散余弦变换系数选择法,用以实现数据降维并提高识别率.该算法首先将图像数据进行离散余弦变换,根据频率特征通过预掩模选取有用信息;然后进行半监督约束聚类,利用少量有标记样本的约束集,对训练图像进行聚类;根据类别搜索较高的判别系数值,获得系数选择掩模以及训练图像的投影阵.将测试图像离散余弦变换阵在此掩模上投影,计算其与训练图像投影阵距离,利用分类器进行分类.在ORL与Yale人脸数据库上的实验结果表明:所提方法的性能优于传统方法,并与主成分分析与线性判别分析进行组合,获得了90％以上的识别率.     

融合2DUDT与2DLDA的人脸识别研究

提出了一种融合二维非相关判别转换和二维线性鉴别分析分别提取人脸图像矩阵行方向的非相关鉴别信息和列方向的线性鉴别信息的人脸识别方法。该融合方法将线性鉴别向量提取方法与非相关鉴别向量提取方法相结合。首先计算进行人脸图像矩阵列压缩时的类间散射矩阵和类内散射矩阵,用二维线性鉴别分析计算特征值和所对应的特征向量,用特征向量集对人脸图像矩阵进行列压缩。其次,计算人脸图像矩阵行压缩时的类间散射矩阵、类内散射矩阵和总体散射矩阵,用二维非相关判别转换求出最优投影矩阵并用最优投影矩阵的转置矩阵对人脸图像矩阵行压缩。最后用最近邻分类器对压缩的ORL人脸图像测试样本进行分类处理,可实现人脸图像的准确识别。     

面向工业大数据的多层增量特征提取方法

针对工业大数据中高维小样本情况导致增量线性判别分析失效问题,提出了一种面向工业大数据的多层增量特征提取方法,对高维小样本数据进行有效降维,并最大限度保留样本的变异信息和判别信息．首先,利用滑动窗口增量实时更新数据流,检测和过滤离群点,基于增量主成分分析对数据进行初步特征提取,利用Fisher准则函数量化各主元所包含的分类信息;然后,采用熵值法确定各主元贡献率和识别能力的权重,对主元进行筛选,由筛选出的主元构成新的特征空间;最后,将当前窗口的高维数据通过增量线性判别分析投影,完成二次特征提取的同时确定样本类别．实验结果表明,该方法可有效提取实时数据特征,同时很好地保留其判别能力．     

基于改进三重训练算法的高光谱图像半监督分类

高光谱数据维数高,有标签的样本数量少,给高光谱图像分类带来困难。本文针对传统三重训练(tri-training)算法在初始有标签样本数量较少的情况下分类器间差异性不足的问题提出了一种基于改进三重训练算法的半监督分类框架。该方法首先通过边缘采样策略(margin Sampling,MS)选取最富含信息量的无标签样本,然后在训练每个分类器之前通过差分进化算法(differential evolution,DE)利用所选取的无标签样本产生新的样本。这些新产生的样本将被标记并且加入训练样本集来帮助初始化分类器。实验结果表明,该方法不仅能够有效地利用无标签样本,而且在有标签数据很少的情况下能够有效地提高分类精度。     

基于边界样本的训练样本选择方法

以入侵检测系统中的分类器设计为例，研究分类器训练样本选择问题。提出了一种大规模数据集的训练样本选择方法，首先通过聚类将训练数据划分成不同的子集缩小搜索范围；然后根据聚类内离散度和样本的覆盖区域选择样本，保留每个聚类的边界样本，删除内部样本。 即保留了典型样本，减少了训练样本数量，从而保证分类器的性能并且训练效率较高。     

一种适于高维小样本数据的线性判别分析方法

针对高维小样本数据的类（模式）内离散度矩阵常为奇异,提出了一种改进的线性判别分析方法ModLDA。它通过嵌入偏最小二乘算法,完成投影方向矢量的稳健估计,进而提取出若干个特征变量。而后基于特征变量张成的低维空间,构造样本类别的线性判别函数。在实证中,将ModLDA应用于药物光谱数据的化学模式识别,结果显示ModLDA方法判别能力明显优于其他方法。     

基于DNA微阵列数据的特征子空间集成分类

针对DNA微阵列数据应用于临床诊断时分类准确率过低的问题,结合其高维小样本的特点提出了一种特征子空间集成分类方法。该方法首先通过层次聚类与信噪比特征选择策略将原始训练数据集映射到一个非冗余的特征基因空间,然后随机抽取一些特征子空间构成训练子集并应用支持向量机训练基分类器,最后采用多数投票的方式决定测试样本的类属。最后在4个标准的微阵列数据集上与其他方法进行了对比实验,结果证明了本文方法的有效性。     

利用旋转森林变换的异构多分类器集成算法

为了增强集成系统中各分类器之间的差异性,提出了一种使用旋转森林策略集成两种不同模型分类器的方法,即异构多分类器集成学习算法．首先采用旋转森林对原始样本集进行变换划分,获得新的样本集;然后通过特定比例选择分类精度高的支撑矢量机或分类速度较快的核匹配追踪作为基本的集成个体分类器,并对新样本集进行分类,获得其预测标记;最后结合两种模型下的预测标记．该算法通过结合两种不同分类器模型,实现了精度和速度互补,将二者混合集成后改善了集成系统泛化误差,相比单个模型集成提高了系统分类性能．对UCI数据集和遥感图像数据集的仿真实验结果表明,文中算法相比单一分类器集成缩短了运行时间,同时提高了系统的分类准确率．     

改进双向二维局部保持投影的人脸识别算法

为更好地处理图像小样本问题,且克服二维局部保持投影（2DLPP）算法只能保持数据局部性质的缺陷,通过结合二维主成分分析（2DPCA）和二维线性鉴别分析（2DLDA）的算法特性,提出了一种改进的双向二维局部保持投影的人脸识别算法。首先,引入样本类别信息改进权重矩阵,增强2DLPP算法对样本变化的鲁棒性;其次,提出改进2DLPP+2DPCA、2DLPP+2DLDA两种融合算法并分别用于输入样本图像数据的行、列方向特征提取。在特征选择后得到行、列方向上的最优投影;最后,通过对样本数据进行行、列方向投影,利用最近邻分类器对样本数据进行分类并获得在给定数据集上的识别结果。在人脸数据集ORL、YALE和AR上的实验结果表明,该算法在人脸识别性能上总体优于2DPCA、2DLDA、2DLPP、（2D）2PCA、（2D）2LDA、（2D）2PCALDA和（2D）2LPP-PCA等算法。     

改进的球结构SVM多分类增量学习算法

针对球结构支持向量机(support vector machine,SVM)增量学习算法在训练时间和分类精度上的不足,提出了一种改进的球结构SVM多分类增量学习算法.该算法首先构造一个完全二叉树用于多类分类;分析新增样本的加入对原支持向量集的影响,将新增样本集中部分样本和原始训练集中的支持向量以及分布在球体一定范围内的样本合并做为新的训练集,完成分类器的重构.实现通过减少训练样本缩短训练时间和完善分类器提高分类精度的目的.通过UCI标准数据集实验,结果表明,该算法在所需训练的样本数、训练时间以及准确率3方面都优于球结构SVM增量学习算法,尤其当样本分布不平衡时,该算法有更高的分类准确率.     

基于粗糙集的网页训练样本集的分类属性的选择

选择合适的网页训练样本集的分类属性是网页分类时很多技术的基础 ,比如 :决策树、K邻近算法、线性分类、支持向量机等。基于粗糙集的属性选择方法可以有效地减少训练的时间复杂度 ,同时也最大限度地保持了分类规则的正确生成     

Improved Approach Based on SVM for License Plate Character Recognition

An improved approach based on support vector machine （SVM） called the center distance ratio method is presented for license plate character recognition. First the support vectors are pre-extraeted. A minimal set called the margin vector set, which contains all support vectors, is extracted. These margin vectors compose new training data and construct the classifier by using the general SVM optimized. The experimental resuhs show that the improved SVM method does well at correct rate and training speed.     

一种适于高维时间序列的特征提取方法

为了获得更多的信息，越来越多的数据利用多路传感器进行采集，由此产生了大量的超高维时间序列。特征的提取在处理和传输这些数据中起到至关重要的作用。为此，提出一种最优鉴别平面（ODP）技术以消除数据冗余。该平面由两个在Fisher准则基础上建立起来的相互垂直的矢量组成，将模式样本投影到ODP上可得到二维特征矢量。为了衡量特征的有效性，分别用二次判别函数分类器和阈值矢量分类器对特征进行分类测试。同时，以心电信号为例对ODP方法进行测试，结果表明，该方法应用于超高维数据的特征提取是行之有效的。     

一种具有统计不相关性的最优边界鉴别向量集

为了解决现有维数约简算法受样本分布影响较大、不支持小样本学习等问题,在分析线性鉴别分析(LDA)中最优鉴别向量与支持向量机(SVM)中分类超平面法向量之间关系的基础上,基于统计不相关最优鉴别向量集优于正交最优鉴别向量集的事实,提出了通过对改进的SVM的二次优化问题进行递归求解来获取具有统计不相关性的最优边界鉴别向量集的算法,并使用核方法将其推广到可以解决非线性特征抽取问题.结果表明:在采用相同参数并使用k-最近邻分类器进行训练和测试的情况下,提出的算法对实际数据集Waveform,Heart,Diabetis的分类精度均高于SVM和RSVM,不会出现当抽取超过最优维数时随着抽取维数的增加分类精度反而降低的现象,体现了本算法在抽取不相关特征向量方面的有效性.     

基于对信号功率谱拟合特征提取的信号识别方法

针对通信信号业务种类识别问题,提出利用机器学习领域的线性回归算法和多项式拟合模型提取信号功率谱的多项式拟合因子作为信号的统一特征来构建训练集,并在深度学习平台keras上构建了全连接的神经网络分类器模型.相比传统的方法,新方法具有对无线电信号统一表征而无需对业务逐个提取个性化特征的优点.选取实际无线电监测数据中的码分多址（CDMA）上行、CDMA下行、增强型全球移动通信系统（EGSM）上行、EGSM下行、无线局域网（WLAN）以及长期演进（LTE）6种信号的功率谱数据作为数据集,通过验证得到了97%的分类准确率,并证明了该方法的可行性.     

一种可减少训练时间的分层并行支持向量机方法

基于支持向量的本质和并行计算方法,提出了一种新的分层并行的机器学习方法以加速支持向量机的训练过程．该方法首先按照分而治之的思想将原分类问题分成若干子问题．然后将支持向量机的训练过程分解成级联的两个层次,在每层采用并行的方法训练各个子支持向量机．各层训练集中的非支持向量被逐步筛选掉,交叉合并的规则保证问题的一致性．仿真结果表明该方法在保证分类器推广能力的同时,缩短了训练支持向量机的时间．     

贝叶斯分类器的集成学习方法及其在图像标注中的应用

针对贝叶斯（Naive Bayes,NB）分类器的集成学习方法,研究如何提高分类器集成中各成员分类器之间的多样性,同时提高分类器系统准确率。实现方法是把训练集的所有属性特征划分特征子集,并处理所划分的属性特征子集,最后为每个成员分类器构造出不同的完整特征属性训练集。研究结果表明采用的NB集成方法（Ensemble of Naive Bayes,ENB）提高了分类性能,把ENB机器学习方法应用到自动图像标注中也获得了很好的效果。     

一种基于信息熵建立决策树的算法

信息论给出了信息的数学本质,提出了用热力学中的熵来度量信息量的大小。分类是一个重要的数据挖掘问题,在训练数据集上建立分类树的关键是如何选择决策树每一个内部结点的测试属性。传统的决策树建立算法利用信息论中熵的概念选择属性,具有偏向于取值较多属性的缺点。本文分析了信息论中有关熵的一些基本概念和含义,讨论了它们在挖掘分类树中的应用,利用互信息设计了一个建立分类树的算法,克服了传统算法的缺点。