基于改进卷积神经网络的多标记分类算法

良好的特征表达是提高模型性能的关键，然而当前在多标记学习领域，特征表达依然采用人工设计的方式，所提取的特征抽象程度不高，包含的可区分性信息不足。针对此问题，提出了基于卷积神经网络的多标记分类模型ML_DCCNN，该模型利用卷积神经网络强大的特征提取能力，自动学习能刻画数据本质的特征。为了解决深度卷积神经网络预测精度高，但训练时间复杂度不低的问题，ML_DCCNN利用迁移学习方法缩减模型的训练时间，同时改进卷积神经网络的全连接层，提出双通道神经元，减少全连接层的参数量。实验表明，与传统的多标记分类算法以及已有的基于深度学习的多标记分类模型相比，ML_DCCNN保持了较高的分类精度并有效地提高了分类效率，具有一定的理论与实际价值。     

改进的基于深度学习的遥感图像分类算法

针对传统的基于深度学习的遥感图像分类算法未能有效融合多种深度学习特征，且分类器性能欠佳的问题，提出一种改进的基于深度学习的高分辨率遥感图像分类算法。首先，设计并搭建一个七层卷积神经网络；其次，将高分辨率遥感图像样本输入到该网络中进行网络训练，得到最后两个全连接层输出作为遥感图像两种不同的高层特征；再次，针对该网络第五层池化层输出，采用主成分分析（PCA）进行降维，作为遥感图像的第三种高层特征；然后，将上述三种高层特征通过串联的形式进行融合，得到一种有效的基于深度学习的遥感图像特征；最后，设计了一种基于逻辑回归的遥感图像分类器，可以对遥感图像进行有效分类。与传统基于深度学习的遥感图像分类算法相比，所提算法分类准确率有较高提升。实验结果表明，该算法在分类准确率、误分类率和Kappa系数上表现优异，能实现良好的分类效果。     

深度学习对不同分辨率影像冬小麦识别的适用性研究

定量分析遥感影像尺度与分类精度之间的关系是进行土地覆盖分类的基础。深度学习具有从底层到高层特征非监督学习的能力，解决了传统分类模型中需要人工选择特征的问题。这种新型的分类方法的分类精度是否受到不同分辨率尺度影响，有待研究。利用深度卷积神经网络（Deep Convolutional Neural Network, DCNN）——金字塔场景分析网络（Pyramid Scene Parsing Network, PSPNet）进行4种分辨率（8、3.2、2和0.8 m）的米级、亚米级影像冬小麦分类。实验结果表明: PSPNet能够有效地进行大样本的学习训练，非监督提取出空间特征信息，实现“端—端”的冬小麦自动化分类。不同于传统分类器分类精度与分类尺度之间的关系，随着影像分辨率的逐步增高，地物表达特征越来越清晰，PSPNet识别的冬小麦精度会逐步增高，识别地块结果也越来越规整，不受分辨率尺度的影响。这对于选择甚高亚米级影像提高作物分类精度提供了实验基础。     

基于有监督Bayesian网络的垃圾邮件过滤

对影响邮件特性的邮件报文格式作了仔细的分析并对垃圾邮件的特征进行了分类归纳，在此基础上构建了一个有监督的Bayesian邮件分类网络。通过对该网络作Bayesian参数估计，实现了判定邮件类别的不确定推理。对不同邮件测试集的在线学习试验结果表明，有监督Bayesian邮件分类网络能够有效地实现垃圾邮件的相对完备特征学习，改善邮件过滤的准确率。     

基于OAI-PMH架构的元数据分类研究

提出了一种基于规则和学习相结合的元数据分类存储的方法，该方法通过统计分析，提取对元数据分类影响较大的通用特征规则，对无法用规则分类的元数据，采用文本学习方法，将元数据记录看成由多个属性字段组成的文本，通过构造分类器实现分类。实验结果表明，采用元数据分类存储方法具有良好的检索性能。     

基于粗糙集理论的模式分类样本特征选择方法研究

本文提出了一种基于粗糙集理论的模式分类本特征选择方法，该方法应用粗糙集理论和方法，对给定的学习样本进行特征选择，根据这些特征构造神经网络模型进行训练，并在网络的工作阶段，根据这些特征对待识样本进行分类，在模式分类中，该方法能够减少网络的训练时间并改善网络的泛化能力。     

具有特征选择的多源自适应分类框架

对于现有的多源自适应学习方案无法有效区分多个源域中的有用信息并迁移至目标域的问题，提出一种具有特征选择的多源自适应分类框架（MACFFS），并将特征选择和共享特征子空间学习整合到统一框架中进行联合特征学习。具体来说，MACFFS将来自多个源域的特征数据投影至不同的潜在空间中来学习得到多个源域分类模型，实现目标域的分类。然后，将得到的多个分类结果进行整合用于目标域分类模型的学习。此外，框架还利用L_2，1范数稀疏回归代替传统的基于L₂范数的最小二乘回归来提高鲁棒性。最后，把多种现有方法在两项任务中与MACFFS进行实验比较分析。实验结果表明，与现有方法中表现最好的DSM相比，MACFFS节省了接近1/4的计算时间，并且提升了大约2%的识别率。总的来说，MACFFS结合了机器学习、统计学习等相关知识，为多源自适应方法提供了一个新的思路，且该方法在现实场景下的识别应用中比现有方法具有更好的性能。     

基于受限玻尔兹曼机的疲劳脑电特性分析

为了准确提取和分类视觉疲劳所引起的脑电特征，以此提醒过度用眼的工作人员及时休息，提出了多通道受限玻尔兹曼机算法和卷积神经网络(CNN)算法结合的深度学习混合模型，利用该模型对枕叶区10个通道的脑电信号进行自动提取内在特征和分类。在基于SSVEP的视觉疲劳脑电数据集上进行评估，深度学习混合模型的平均准确率达到88.63%,比传统的特征提取和分类方法高10%。实验结果证明了深度学习混合模型取得的分类效果较好，并且克服了传统手动提取特征方法不全面的不足，对疲劳脑电的研究具有现实的意义。     

基于稀疏贝叶斯学习的个人信用评估

针对传统信用评估方法分类精度低、特征可解释性差等问题，提出了一种使用稀疏贝叶斯学习方法来进行个人信用评估的模型(SBLCredit)。SBLCredit充分利用稀疏贝叶斯学习的优势，在添加的特征权重的先验知识的情况下进行求解，使得特征权重尽量稀疏，以此实现个人信用评估和特征选择。在德国和澳大利亚真实信用数据集上，SBLCredit方法的分类精度比传统的K近邻、朴素贝叶斯、决策树和支持向量机平均提高了4.52%，6.40%，6.26%和2.27%。实验结果表明，SBLCredit分类精度高，选择的特征少，是一种有效的个人信用评估方法。     

一种基于SVM和领域综合特征的Email自动分类方法

Email自动分类已成为半结构化文本信息自动处理的研究热点。本文在时已有Email自动分类方法深入研究的基础上，提出了一种基于SVM和领域综合特征的Email自动分类方法。主要包括：一是将SVM引入到Email自动分类研究中，并对SVM学习算法中的核函数和参数选择进行了探讨；二是鉴于词频的特征表示方法难以准确表示Email主要内容，因此将领域知识引入Email特征表示中，并在此基础上提出了一种综合领域知识和词频的特征表示方法，用于Email分类。该方法是在词频特征的基础上加入人工总结出的领域特征，从而更能准确地表示Email的主要内容，以提高Email分类的平均F-score。通过实验，验证了基于SVM和领域综合特征的Email自动分类方法能有效地提高Email自动分类处理的准确性。     

一种基于最大边缘相关的特征选择方法

文本分类的特点是高维的特征空间和高度的特征冗余.针对这两个特点,采用χ2统计量处理高维的特征空间,利用信息新颖度的思想处理高度的特征冗余,根据最大边缘相关的定义,将二者有机结合,提出一种基于最大边缘相关的特征选择方法.该方法可以在特征选择过程中减少大量的冗余特征.最后,在Reuters-21578Top10和OHSCAL两个文本数据集上进行实验.实验结果表明,基于最大边缘相关的特征选择方法比χ2统计量和信息增益两种特征选择方法更高效,并且能够提高nave Bayes,Rocchio和kNN 3种不同分类器的性能.     

基于领域词典的文本特征表示

为提高文本分类性能，提出一种结合机器学习和领域词典的文本特征表示方法．基于领域词典的文本特征表示方法可以增强文本特征表示能力。并降低文本特征空间维数，但是领域词典存在覆盖度不足的问题．为此，提出一种学习模型——自划分模型——来解决这个覆盖度不足的问题．实验结果表明，采用基于自划分模型的领域特征属性作为文本特征。可以提高文本分类性能，特别是特征数目少的情况下，该方法表现出很好的分类效果．相对于传统词文本特征方法。在特征数为500时分类的F1值提高6．58％．     

A New Text Categorization Technique Using Distributional Clustering and Learning Logic

Text categorization is continuing to be one of the most researched NLP problems due to the ever-increasing amounts of electronic documents and digital libraries. In this paper, we present a new text categorization method that combines the distributional clustering of words and a learning logic technique, called Lsquare, for constructing text classifiers. The high dimensionality of text in a document has not been fruitful for the task of categorization, for which reason, feature clustering has been proven to be an ideal alternative to feature selection for reducing the dimensionality. We, therefore, use distributional clustering method (IB) to generate an efficient representation of documents and apply Lsquare for training text classifiers. The method was extensively tested and evaluated. The proposed method achieves higher or comparable classification accuracy and {rm F}_1 results compared with SVM on exact experimental settings with a small number of training documents on three benchmark data sets WebKB, 20Newsgroup, and Reuters-21578. The results prove that the method is a good choice for applications with a limited amount of labeled training data. We also demonstrate the effect of changing training size on the classification performance of the learners.     

统计模式识别中的维数削减与低损降维

较为全面地回顾了统计模式识别中常用的一些特征选择、特征提取等主流特征降维方法,介绍了它们各自的特点及其适用范围,在此基础上,提出了一种新的基于最优分类器——贝叶斯分类器的可用于自动文本分类及其它大样本模式分类的特征选择方法——低损降维.在标准数据集Reuters-21578上进行的仿真实验结果表明,与互信息、χ^2统计量以及文档频率这三种主流文本特征选择方法相比,低损降维的降维效果与互信息、χ^2统计量相当,而优于文档频率.     

A NEW SUPERVISED FEATURE SELECTION METHOD FOR PATTERN CLASSIFICATION

With the rapid development of information techniques, the dimensionality of data in many application domains, such as text categorization and bioinformatics, is getting higher and higher. The high‐dimensionality data may bring many adverse situations, such as overfitting, poor performance, and low efficiency, to traditional learning algorithms in pattern classification. Feature selection aims at reducing the dimensionality of data and providing discriminative features for pattern learning algorithms. Due to its effectiveness, feature selection is now gaining increasing attentions from a variety of disciplines and currently many efforts have been attempted in this field. In this paper, we propose a new supervised feature selection method to pick important features by using information criteria. Unlike other selection methods, the main characteristic of our method is that it not only takes both maximal relevance to the class labels and minimal redundancy to the selected features into account, but also works like feature clustering in an agglomerative way. To measure the relevance and redundancy of feature exactly, two different information criteria, i.e., mutual information and coefficient of relevance, have been adopted in our method. The performance evaluations on 12 benchmark data sets show that the proposed method can achieve better performance than other popular feature selection methods in most cases.     

一种改进的KNN文本分类

在文本分类中,文本特征空间维数巨大以及训练样本分布不均衡等问题影响分类性能。针对这个问题,提出一种改进的KNN分类方法。利用隐含语义分析方法对特征样本空间进行降维处理;利用基于样本密度的改进的KNN分类器进行分类。实验结果表明提出的方法能够收到较好的分类效果。     

基于机器学习的维吾尔文文本分类研究

随着Internet上维吾尔文信息的迅速发展,维吾尔文文本分类成为处理和组织这些大量文本数据的关键技术。研究维吾尔文文本分类相关技术和方法,针对维吾尔文文本在向量空间模型(VSM)表示下的高维性,采用词干提取和IG相结合的方法对表示空间进行降维。采用基于机器学习的分类算法(kNN和Nave Bayes)对维吾尔文文本语料进行了分类实验并分析了实验结果。     

基于句类向量空间模型的自动文本分类研究

向量空间模型是自动文本分类中成熟的文本表示模型，通常以词语或短语作为特征项，但这些特征项通常只能提供较少的局部语义信息。为实现基于内容的文本分类，该文用HNC理论中的句类作为特征项，通过混合句类分解等技术对句类向量空间降维，使用tfc算法对特征项进行权重计算，用KNN算法进行分类。该分类器的平均准确率和召回率都是可接受的，对类别的抽象程度无要求，即抽象度较高和较低的类别可以同时分类。通过使用更好的机器学习算法和其他的HNC语言理解技术，性能可以进一步提高。     

自动文本分类特征选择方法研究

文本分类是指根据文本的内容将大量的文本归到一个或多个类别的过程，文本表示技术是文本分类的核心技术之一，而特征选择又是文本表示技术的关键技术之一，对分类效果至关重要。文本特征选择是最大程度地识别和去除冗余信息，提高训练数据集质量的过程。对文本分类的特征选择方法，包括信息增益、互信息、X^2统计量、文档频率、低损降维和频率差法等做了详细介绍、分析、比较研究。     

一种基于词聚类的文本特征描述方法

针对文本挖掘中存在的特征空间高维性问题,提出了一种基于词聚类的文本特征描述方法,旨在通过机器学习的方法挖掘词汇之间的语义关联,动态构造特定领域的概念词典,借助构造的概念来描述文本的特征,该方法不借助主题词典,先从训练语料中对词的共现情况进行分析,用词聚类(word clustering)生成由种子词(seedwords...