基于流形学习的基因微阵列数据分类方法

提出了一种结合流形学习方法与分类算法的基因微阵列数据分类模型,先用流形学习算法对基因微阵列数据进行降维处理,然后再对降维后的数据进行分类.在实验中将流形学习算法LLE、ISO-MAP、LE和LTSA与三种分类算法相结合,并与直接用高维数据进行分类的结果进行了比较,实验结果表明所提出的模型极大地提高了分类精度,同时也提高了分类算法的执行效率.     

一种新的高维数据聚类自适应算法的研究

聚类有效性是用来评估在不同输入条件下的聚类算法性能的处理过程.高维数据空间的稀疏性和"维灾"问题使得传统有效性指标失去作用.提出新的可用于高维数据集的有效性指标,并结合启发式递减算法,提出一种高维数据的自适应聚类算法,用于确定高维数据集的最佳聚类数目.实验结果表明:提出的聚类算法有较好的性能.     

基于信息熵的高维分类型数据子空间聚类算法

由于分类型数据相异度度量的局限性以及分类型数据在高维空间中的稀疏性,使得传统的相异度度量在高维分类型数据聚类中失效,针对上述问题,本研究提出了一个基于信息熵的理论高维分类型数据聚类算法。该算法综合考虑对应子空间和噪声空间的维度信息熵设计了一个高效、无监督的子空间搜索对高维数据进行有效降维,同时提出了基于整体数据的平均信息熵的全局优化方法对聚类结果进行迭代寻优。通过用人工数据和Votes、Mushroom和Soybean 3个典型的真实分类数据集试验,与其他分类型聚类算法相比,新算法在聚类准确性、熵值、CU（category utility）以及类个数等指标上有明显提高。     

基于非线性流形学习和k-NN的文本分类算法

为解决文本分类中存在的维数灾难、数据集噪声等问题,本研究提出一种利用非线性维数约简算法结合k-最邻近结点算法(k-nearest neighbor algorithm, k-NN)的文本分类算法。该算法首先对数据集进行去噪处理,再采用非线性流形学习中的局部线性嵌入算法恢复高维数据中的中低维流形结构,以实现数据约简,利用经过上述处理的文本数据学习k-NN分类器。实验结果表明,该算法能够有效提高文本分类精度。     

基于LDA模型的在线网络信息内容安全事件分类

针对在线网络信息内容安全事件的分类问题,利用网络用户通信信息中含有的时间、关系和内容特征均可基于文本描述的特点,引入LDA模型,提出了一种实时多维信息联合（RMIA-LDA）的在线信息内容安全事件分类模型及算法。以网络通信中的时间特征为轴,对由此划分出的各个时间片段中的通信关系、通信内容特征采用LDA模型进行建模分类,对分类结果的相似性进行度量后,再与增量更新数据部分的分类结果归纳合并,从而得到当前实时在线数据中的事件分类。仿真实验结果表明,该模型和算法可以有效实现网络中信息内容安全事件的在线分类,较现有算法具有优越的性能。     

一种非负稀疏近邻表示的多标签学习算法

针对训练数据中的非线性流形结构以及基于稀疏表示的多标签分类中判别信息丢失严重的问题,该文提出一种非负稀疏近邻表示的多标签学习算法。首先找到待测试样本每个标签类上的k-近邻,然后基于LASSO稀疏最小化方法,对待测试样本进行非负稀疏线性重构,得到稀疏的非负重构系数。再根据重构误差计算待测试样本对每个类别的隶属度,最后实现多标签数据分类。实验结果表明所提出的方法比经典的多标签k近邻分类(ML-KNN)和稀疏表示的多标记学习算法(ML-SRC)方法性能更优。     

基于核的k最近邻算法

将核学习的方法应用到k最近邻算法中,提出了1种基于核的k最近邻算法.该算法通过引入核函数,将原空间中的样本映射到1个高维核空间中,突出了不同类别样本之间的特征差异,使样本变得线性可分,从而提高分类性能.并利用UCI数据库中的数据分别验证了k最近邻分类和核k最近邻分类算法的有效性.     

基于PCA降维协同过滤算法的改进

随着电子商务网站用户与商品数目的增加,使用户一项目评分矩阵成为高维稀疏矩阵,使协同过滤算法的质量降低。为此,采用主成分分析法对用户一项目评分矩阵进行降维处理,改善输入数据的稀疏性。实验结果表明,与几种典型的协同过滤算法比较,改进后的算法推荐质量有明显提高。     

一种基于局部线性嵌入的SVM增量学习方法

由于SVM对高维数据分类的耗时较长,计算复杂度较高,而PCA-SVM对高维数据分类的准确率相对较低,提出了利用LLE-ISVM方法对高维数据降维后采用SVM方法进行分类,利用LLE降维对新增样本进行约减后,淘汰新增样本中的非支持向量用于简化运算,实现了基于局部线性嵌入(LLE)的SVM增量学习过程(LLE-ISVM)。并将该算法用于MNIST数据库和瓷片表面缺陷检测分类过程。实验结果表明:该算法对高维数据的运算速度与精度都有所提高,能实现完整增量学习过程,较为准确快速地实现磁片表面的缺陷检测分类过程。     

基于深度学习编码模型的图像分类方法

针对矢量量化编码的量化误差严重,而稀疏编码只是一种浅层学习模型,容易导致视觉词典对图像特征缺乏选择性的问题,提出了一种基于深度学习特征编码模型的图像分类方法。首先,采用深度学习网络无监督的受限玻尔兹曼机（RBM）代替传统的K-Means聚类及稀疏编码等方法对SIFT特征库进行编码学习,生成视觉词典;其次,对RBM编码添加正则化项分解组合每个特征的稀疏表示,使得生成的视觉单词兼具稀疏性和选择性;然后,利用训练数据的类别标签信息有监督地自上而下对得到的初始视觉词典进行微调,得到图像深度学习表示向量,以此训练SVM分类器并完成图像分类。实验结果表明,本文方法能有效克服传统矢量量化编码及稀疏编码等方法的缺点,有效地提升图像分类性能。     

结合自适应字典学习的稀疏贝叶斯重构

贝叶斯压缩感知是一种基于统计分析的压缩感知算法,具有很好的鲁棒性,能够充分利用信息间的相关性,它的重构依赖于图像的稀疏性表达.针对贝叶斯压缩感知的深层次稀疏化问题,笔者结合自适应字典学习思想,提出一种冗余自适应字典表示的稀疏贝叶斯学习算法.该算法对图像进行局部分块,从待重建图像的迭代中间图像分块中学习字典,并以该字典作为图像的稀疏变换基,通过稀疏贝叶斯学习算法获得稀疏解.实验结果表明,基于自适应字典的贝叶斯学习算法能提高稀疏化,明显改善图像的重构质量.     

投影残差分类器

针对声音、图像等高维数据的分类问题,提出了一种快速算法。首先通过非线性特征映射,将各个类别的训练样本集转换到特征空间中,构造相应的特征子空间,然后提取它们的主要特征。特征映射能够降低特征子空间的维数,并增强它们之间的两两正交性,提高了分类的准确性。在进行分类时,该方法将测试样本向各个特征子空间投影,并计算投影残差,测试样本即为投影残差最小的特征子空间的样本。与传统的分类方法不同,快速算法能一次区分多个类别,并具有与支持向量机相同的准确率。又使用了流形学习理论对快速算法进行改进,在保持准确率的前提下,极大地降低了特征子空间的维数,验证了流形学习理论的应用价值。     

一种鲁棒网络流量分类及新类型发现算法

提出了一种鲁棒网络流量分类及新类型的发现算法.网络流量一般为高维数据,且在网络流量收集过程中易受到网络波动或网络攻击的影响,为此,在堆栈自编码器的基础上,基于互相关熵理论提出了一种新的网络模型进行数据的特征提取,通过基于阈值的主动学习分类算法进行分类,达到识别新应用类型的目的.对比实验结果表明,所提算法中分类算法的准确度可达到91.08%,对新应用类型的识别度可达到98.8%.     

一种多标签统一域嵌入的推荐模型

协同过滤是一种简单的运用关联知识的推荐方法,但在数据稀疏度高的情况下效果不尽人意.因子分解机解决了数据稀疏情况下的特征组合问题,再结合深度神经网络对高阶特征的提取,一系列深度学习预估模型被提出并取得较好效果.但这类模型主要受益于大量知识标签组合以及高阶特征理解,当数据标签类别稀少时其性能严重退化.为解决稀疏数据且稀少标签类别情境下的推荐问题,本文提出一种多标签统一域嵌入方法,并进一步设计实现了统一域嵌入的推荐模型.特征标签首先以领域划分并通过嵌入层转化为特征向量,然后基于特征空间表达的映射层将特征向量由当前域嵌入到统一域,最后对统一域向量进行空间关联运算并预测评分.采用近年来优异的深度学习预估模型作为对比模型,在多个主流开放数据集上进行了预测.实验结果表明,多标签统一域嵌入模型在推荐精度及性能上优于其它模型,它能够克服神经网络训练中的瓶颈,为数据标签稀缺情境下的推荐系统提供可行的解决方案.     

基于合群度-隶属度噪声检测及动态特征选择的改进AdaBoost算法

为了提高AdaBoost集成学习算法的数据分类性能,提出基于合群度-隶属度噪声检测及动态特征选择的改进AdaBoost算法. 综合考虑待检测样本与邻居样本的相似度及与不同类别样本集的隶属关系,引入合群度和隶属度的概念,提出新的噪声检测方法. 在此基础上,为了更好地选择那些能够有效区分错分样本的特征,在传统过滤器特征选择方法的基础上提出通用的结合样本权重的动态特征选择方法,以提高AdaBoost算法针对错分样本的分类能力. 以支持向量机作为弱分类器,在8个典型数据集上分别从噪声检测、特征选择及现有方法比较3个方面进行实验. 结果表明,所提算法充分考虑了噪声样本和样本权重对AdaBoost分类结果的影响,相对于传统算法在分类性能上获得显著提升.     

自适应控制深度学习和知识挖掘图像分类

针对传统分类方法的局限性,提出了一种深度学习结合知识挖掘的零样本图像自适应控制图像分类算法.利用对图像属性的深度学习来实现图像深层次特征及属性的学习和预测,基于图像的属性-类别映射使分类器性能有较大差异,通过稀疏表示模型挖掘图像类别和属性之间的关系并设计自适应控制的属性分类器实现对图像的分类操作.结果表明,与DBN和SVM算法相比,在监督模式和零样本模式下,该算法具有较高的属性预测准确度.在零样本情况下对Shoes数据集进行分类时,该算法具有最高的准确分类识别率,比其他算法的分类识别率提高了15%.     

基于相关熵和流形学习的多标签特征选择算法

从相关熵的角度出发,提出一种基于相关熵和特征流形学习的稀疏正则化方法,用于解决多标签特征选择问题。在相关熵定义的基础上给出多标签特征选择的回归模型;结合?_{2, 1}范数的性质和特征流形学习的定义建立基于相关熵和特征流形学习的稀疏正则化多标签特征选择模型及算法;证明该算法的收敛性并且通过试验验证所给算法的有效性。     

基于字典学习与稀疏表示的非结构化道路分割方法

针对野外环境自主车视觉导航问题,提出了一种新颖的基于字典学习与稀疏表示的道路分割算法。该算法以局部图像小片为处理单元,通过选取典型道路图像学习得到路面图像小片的一组字典,并利用车辆前方的一小块区域作为监督,通过在线字典学习对字典进行实时更新,使路面图像小片可在该字典上精确稀疏表示,而非路面图像小片则不能。因此建立了基于字典学习与稀疏表示的分类框架,利用局部图像小片在字典上的稀疏重构误差进行分类。大量实验结果表明,该算法能够适应多变的非结构化道路环境,且对光照、阴影及水坑等具有较好的鲁棒性。     

基于ReLU稀疏性的MAXOUT卷积神经网络的数据分类算法

卷积神经网络作为一种具有深度学习能力的人工学习网络,由于其具有权值数量少、网络模型复杂度低以及算法效率高等优点在很多领域被广泛应用,但是其表现在很大程度上依赖于激活函数的选取,而激活函数的选取又比较复杂,大都是依靠经验或者实验来选择,所以这个过程中会出现无先验知识可借鉴或者参数类型繁琐难以较快确定的情况。MAXOUT卷积神经网络的出现解决了激活函数难以选择的问题,在研究M AXOUT网络构架的基础上,针对其不稀疏的特性引入Re LU稀疏单元,提出了一种基于Re LU函数稀疏性的MAXOUT卷积神经网络,并在MINST和CIFAR 10两个数据集上分别进行了数据分类实验。实验结果表明,具有稀疏性的MAXOUT卷积神经网络的分类效果更加理想。