基于QBC的主动学习研究及其应用

结合委员会成员投票熵和相对熵,改进了基于委员会选择算法(QBC)的主动学习,并应用基于该算法的主动贝叶斯网络对电信客户信用风险分类进行建模。实验结果表明,提出的基于改进的QBC主动贝叶斯网络分类器所建模型比原有算法有更好的分类精度,并且使用了少量的训练数据。     

基于深度贝叶斯主动学习的高光谱图像分类

针对高光谱图像分类中标记样本获取费时费力,无标记数据难以得到有效利用以及主动学习与深度学习结合难等问题,结合贝叶斯深度学习与主动学习的最新进展,提出一种基于深度贝叶斯的主动学习高光谱图像分类算法。利用少量标记样本训练一个卷积神经网络模型,根据与贝叶斯方法结合的主动学习采样策略从无标记样本中选择模型分类最不确定性的样本,选取的样本经人工标记后加入到训练集重新训练模型,减小模型不确定性,提高模型分类精度。通过PaviaU高光谱图像分类的实验结果表明,在少量的标记样本下,提出的方法比传统的方法分类效果更好。     

图像多分类主动学习方法

以决策速度快的决策导向非循环图支持向量机（Decision Directed Acyclic Graph Support Vector Machine）为基准分类器,结合主动学习的思想,提出了一种图像多分类主动学习方法。这种方法是一种半自动的图像语义分类方法,可以将图像分成多个语义类别。该方法在最近边界主动选择方法的基础上,提出一种基于质疑度的主动选择策略。这种策略将SVMactive中提出的最近邻SVM分类面选择的反馈样例策略延伸到多分类中,通过区别对待奇异样例和容易错分样例,减少了噪声数据对分类器的干扰,提高了分类的精度。     

不完备数据下的免疫分类算法

人工免疫识别系统（AIRS）是受生物免疫系统的启示而研发的一种比较有效的分类器,但也存在记忆细胞数目过于庞大,分类精度不高,特别是在数据不完备的情况下,分类精度低等缺陷。为了解决这个问题,提出了一种不完备数据下的免疫分类算法（ICAU）,算法引入半监督学习机制和分类器融合投票决策的思想,利用多个AIRS分类器互相帮助学习训练,来提高AIRS在不完备数据下的分类精度。在UCI数据集上进行了实验,结果验证了ICAU算法的有效性。     

结合主动学习与置信度投票的集成自训练方法

基于集成学习的自训练算法是一种半监督算法,不少学者通过集成分类器类别投票或平均置信度的方法选择可靠样本。基于置信度的投票策略倾向选择置信度高的样本或置信度低但投票却一致的样本进行标记,后者这种情形可能会误标记靠近决策边界的样本,而采用异构集成分类器也可能会导致各基分类器对高置信度样本的类别标记不同,从而无法将其有效加入到有标记样本集。提出了结合主动学习与置信度投票策略的集成自训练算法用来解决上述问题。该算法合理调整了投票策略,选择置信度高且投票一致的无标记样本加以标注,同时利用主动学习对投票不一致而置信度较低的样本进行人工标注,以弥补集成自训练学习只关注置信度高的样本,而忽略了置信度低的样本的有用信息的缺陷。在UCI数据集上的对比实验验证了该算法的有效性。     

基于上下文感知和超像素后处理的多光谱图像分类

高质量的地物类别提取是大量地学应用的基础。现有的基于像素的分类方法没有充分挖掘多光谱遥感图像中的上下文关联信息,且分类后的标签图像容易产生破碎。为了提升高分辨率遥感图像的分类精度,本文提出一种基于上下文感知网络和超像素后处理的多光谱图像分类方法。该方法利用新设计的卷积神经网络模型来更好地学习多光谱图像中的空间上下文信息。超像素后处理使用小区域分割和投票的策略来合并结构上关联的区域,以避免破碎标签的产生。本文方法在高分一号卫星数据上进行测试,并与6个分类算法进行比较。实验结果表明本文方法在精度和视觉效果上都优于比对算法。另外,对基于新模型分类后的结果进行超像素后处理,不仅减少了分类结果的破碎度,也进一步提升了图像的分类精度。     

一种基于投票机制的代表点选择算法

代表点选择是面向数据挖掘与模式识别的数据预处理的重要内容之一,是提高分类器分类正确率和执行效率的重要途径。提出了一种基于投票机制的代表点选择算法,该算法能使所得到的代表点尽可能分布在类别边界上,且投票选择机制易于排除异常点,减少数据量,从而有利于提高最近邻分类器的分类精度和效率。通过与多个经典的代表点选择算法的实验比较分析,表明所提出的基于投票机制的代表点选择算法在提高最近邻分类器分类精度和数据降低率上都具有一定的优势。     

主动学习的多标签图像在线分类

目的在多标签有监督学习框架中,构建具有较强泛化性能的分类器需要大量已标注训练样本,而实际应用中已标注样本少且获取代价十分昂贵。针对多标签图像分类中已标注样本数量不足和分类器再学习效率低的问题,提出一种结合主动学习的多标签图像在线分类算法。方法基于min-max理论,采用查询最具代表性和最具信息量的样本挑选策略主动地选择待标注样本,且基于KKT(Karush-Kuhn-Tucker)条件在线地更新多标签图像分类器。结果在4个公开的数据集上,采用4种多标签分类评价指标对本文算法进行评估。实验结果表明,本文采用的样本挑选方法比随机挑选样本方法和基于间隔的采样方法均占据明显优势;当分类器达到相同或相近的分类准确度时,利用本文的样本挑选策略选择的待标注样本数目要明显少于采用随机挑选样本方法和基于间隔的采样方法所需查询的样本数。结论本文算法一方面可以减少获取已标注样本所需的人工标注代价;另一方面也避免了传统的分类器重新训练时利用所有数据所产生的学习效率低下的问题,达到了当新数据到来时可实时更新分类器的目的。     

大样本多源域与小目标域的跨领域快速分类学习

传统的跨领域分类学习一般考虑均衡的单一源域到单一目标域的学习,但在现实世界中数据往往是不平衡的.当用于解决不平衡分类问题时,由于分类器的偏向性,其分类精度、抗噪性能往往有不同程度的下降.为了克服域间不平衡性,提出了一种不平衡多源跨领域分类算法(imbalance multisource classfication on cross-domain learning,IMCCL),该算法依据被众多实验证明有效的"逻辑回归模型"与"后验概率最大法则"构建多个训练域分类器并综合指导目标域的数据分类.为了充分高效利用大样本的源域数据,满足大样本的快速运算,在结合CDdual算法的基础上,提出了IMCCL的快速算法(IMCCL-CDdual).将其应用到文本数据分类与图像识别分类的实验结果表明:该算法具有较高的识别率、快速的识别速度和抗干扰性和领域自适应性.     

多视图主动学习的多样性样本选择方法研究

为了去除高光谱图像多视图主动学习分类中的所选样本的冗余,降低人工标记成本,本文提出了两种用于多视图主动学习分类中的多样性样本选择方法。将高光谱图像进行超像素分割,将所选样本中属于不同的超像素的样本加入训练集,其余样本加入候选集;比较各视图对样本的预测标签,将所选样本中预测标签不完全相同的样本加入训练集,其余样本加入候选集。本文分别用这两种方法对传统多视图主动学习的样本选择方法进行改进,并用两组高光谱图像数据进行实验。实验结果表明:使用这两种方法改进后,所得分类精度不变,使用的训练样本数量大幅减少。     

基于自适应特征选择和SVM的图像分类的研究

提出多特征结合的图像分类方法,分别提取颜色特征和LBP纹理特征,同时提出Adaboost算法对特征进行选择,选择最能表示图像的特征,这样既降低了特征的维数,又提高了分类的精度。最后对基于SVM的多类图像分类方法进行了研究,提出在二类支持向量机的基础上构造多类分类器的方法,实验结果表明,提出的方法能够很好地用于图像分类。     

基于多分类AdaBoost改进算法的TEE标准切面分类

针对超声图像样本冗余、不同标准切面因疾病导致的高度相似性、感兴趣区域定位不准确问题,提出一种结合特征袋（BOF）特征、主动学习方法和多分类AdaBoost改进算法的经食管超声心动图（TEE）标准切面分类方法。首先采用BOF方法对超声图像进行描述;然后采用主动学习方法选择对分类器最有价值的样本作为训练集;最后,在AdaBoost算法对弱分类器的迭代训练中,根据临时强分类器的分类情况调整样本更新规则,实现对多分类AdaBoost算法的改进和TEE标准切面的分类。在TEE数据集和三个UCI数据集上的实验表明,相比AdaBoost.SAMME算法、多分类支持向量机（SVM）算法、BP神经网络和AdaBoost.M2算法,所提算法在各个数据集上的G-mean指标、整体分类准确率和大多数类别分类准确率都有不同程度的提升,且比较难分的类别分类准确率提升最为显著。实验结果表明,在包含类间相似样本的数据集上,分类器的性能有显著提升。     

鉴别分析方法的最优化问题研究

提出了一种核Fisher鉴别分析方法优化方案,并分别给出了解决两类分类和解决多于两类的分类问题的算法,该方案具有明显的分类效率上的优势。在这种方案的实现中,首先从总体训练样本中选择出“显著”训练样本,对测试样本的分类只依赖于测试样本与“显著”训练样本之间的核函数。还设计出了一种选择“显著”训练样本的递归算法,以降低算法的计算复杂度。将该算法应用于人脸图象数据库与“基准”数据集,得到了很好的实验效果。     

基于未标签信息主动学习算法的高光谱影像分类

针对高光谱遥感影像分类中,传统的主动学习算法仅利用已标签数据训练样本,大量未标签数据被忽视的问题,提出一种结合未标签信息的主动学习算法。首先,通过K近邻一致性原则、前后预测一致性原则和主动学习算法信息量评估3重筛选得到预测标签可信度高并具备一定信息量的未标签样本;然后,将其预测标签当作真实标签加入到标签样本集中;最后,训练得到更优质的分类模型。实验结果表明,与被动学习算法和传统的主动学习算法相比,所提算法能够在同等标记的代价下获得更高的分类精度,同时具有更好的参数敏感性。     

基于Gabor直方图特征和MVBoost的人脸表情识别

提出采用Gabor变换与分级直方图统计相结合的方法来提取表情特征,以分层次反映局部区域内纹理变化的信息.这比仅用一维的Gabor系数具有更强的特征表示能力.借助直方图特征,还设计了向量输入、多类连续输出的弱分类器,并嵌入到多类连续AdaBoost的算法框架中,得到了向量输入、多类输出的MVBoost方法.该方法直接对特征进行多类的判决以满足多类时分类的需求,而不必训练多个二分类的AdaBoost分类器,从而使训练过程和分类过程都得到简化.     

多分类问题代价敏感AdaBoost算法

针对目前多分类代价敏感分类问题在转换成二分类代价敏感分类问题存在的代价合并问题, 研究并构造出了可直接应用于多分类问题的代价敏感AdaBoost算法.算法具有与连续AdaBoost算法 类似的流程和误差估计. 当代价完全相等时, 该算法就变成了一种新的多分类的连续AdaBoost算法, 算法能够确保训练错误率随着训练的分类器的个数增加而降低, 但不直接要求各个分类器相互独立条件, 或者说独立性条件可以通过算法规则来保证, 但现有多分类连续AdaBoost算法的推导必须要求各个分类器相互独立. 实验数据表明, 算法可以真正实现分类结果偏向错分代价较小的类, 特别当每一类被错分成其他类的代价不平衡但平均代价相等时, 目前已有的多分类代价敏感学习算法会失效, 但新方法仍然能 实现最小的错分代价. 研究方法为进一步研究集成学习算法提供了一种新的思路, 得到了一种易操作并近似满足分类错误率最小的多标签分类问题的AdaBoost算法.     

A multi-class SVM classification system based on learning methods from indistinguishable chinese official documents

Support Vector Machines (SVM) has been developed for Chinese official document classification in One-against-All (OAA) multi-class scheme. Several data retrieving techniques including sentence segmentation, term weighting, and feature extraction are used in preprocess. We observe that most documents of which contents are indistinguishable make poor classification results. The traditional solution is to add misclassified documents to the training set in order to adjust classification rules. In this paper, indistinguishable documents are observed to be informative for strengthening prediction performance since their labels are predicted by the current model in low confidence. A general approach is proposed to utilize decision values in SVM to identify indistinguishable documents. Based on verified classification results and distinguishability of documents, four learning strategies that select certain documents to training sets are proposed to improve classification performance. Experiments report that indistinguishable documents are able to be identified in a high probability and are informative for learning strategies. Furthermore, LMID that adds both of misclassified documents and indistinguishable documents to training sets is the most effective learning strategy in SVM classification for large set of Chinese official documents in terms of computing efficiency and classification accuracy.     

基于主动学习不平衡多分类AdaBoost算法的心脏病分类

针对不平衡分类中小类样本识别率低问题,提出一种基于主动学习不平衡多分类AdaBoost改进算法。首先,利用主动学习方法通过多次迭代抽样,选取少量的、对分类器最有价值的样本作为训练集;然后,基于不确定性动态间隔的样本选择策略,降低训练集的不平衡性;最后,利用代价敏感方法对多分类AdaBoost算法进行改进,对不同的类别给予不同的错分代价,调整样本权重更新速度,强迫弱分类器"关注"小类样本。在临床经胸超声心动图（TTE）测量数据集上的实验分析表明：与多分类支持向量机（SVM）相比,心脏病总体识别率提升了5.9%,G-mean指标提升了18.2%,瓣膜病（VHD）识别率提升了0.8%,感染性心内膜炎（IE）（小类）识别率提升了12.7%,冠心病（CAD）（小类）识别率提升了79.73%;与SMOTE-Boost相比,总体识别率提升了6.11%,G-mean指标提升了0.64%,VHD识别率提升了11.07%,先心病（CHD）识别率提升了3.69%。在TTE数据集和4个UCI数据集上的实验结果表明,该算法在不平稳多分类时能有效提高小类样本识别率,并且保证其他类别识别率不会大幅度降低,综合提升分类器性能。     

一种基于混合二叉树结构的多类支持向量机分类算法

为提高多类支持向量机的分类效率,提出了一种基于混合二叉树结构的多类支持向量机分类算法。该混合二叉树中的每个内部结点对应一个分割超平面,该超平面通过计算两个距离最远的类的质心而获得,即该超平面为连接两质心线段的垂直平分线。每个终端结点(即决策结点)对应一个支持向量机,它的训练集不再是质心而是两类(组)样本集。该分类模型通常是超平面和支持向量机的混合结构,其中超平面实现训练早期的近似划分,以提升分类速度;而支持向量机完成最终的精确分类,以保证分类精度。实验结果表明,相比于经典的多类支持向量机方法,该算法在保证分类精度的前提下,能够有效缩短计算时间,提升分类效率。