基于CURE聚类算法改进的原型选择算法

针对传统K近邻分类器在大规模数据集中存在时间和空间复杂度过高的问题,可采取原型选择的方法进行处理,即从原始数据集中挑选出代表原型（样例）进行K近邻分类而不降低其分类准确率.本文在CURE聚类算法的基础上,针对CURE的噪声点不易确定及代表点分散性差的特点,利用共享邻居密度度量给出了一种去噪方法和使用最大最小距离选取代表点进行改进,从而提出了一种新的原型选择算法PSCURE （improved prototype selection algorithm based on CURE algorithm）.基于UCI数据集进行实验,结果表明：提出的PSCURE原型选择算法与相关原型算法相比,不仅能筛选出较少的原型,而且可获得较高的分类准确率.     

基于支持度和增比率的改进关联分类算法

关联分类是一项重要的分类技术,目前普遍采用基于支持度和置信度的关联分类模式。但是,用支持度度量项集的分类能力过于简单,且置信度不能度量项集与类的相关性,所以利用支持度和置信度容易产生质量不好的规则。提出改进的关联分类算法—ACSER。ACSER不仅考虑项集到本类的支持度,也考虑项集到补类的支持度。首先,提取频繁增比模式作为分类候选规则集;其次,利用置信度和增比率度量规则的强度,按照其强度进行排序和剪枝;最后,选择k条最优的规则进行预测。在16个UCI数据集上的实验结果表明,改进的分类算法ACSER与传统的分类算法相比有更高的分类准确率。     

应用遗传算法优化子空间的SVM分类算法

提出了一种应用遗传算法优化子空间的SVM分类算法GS-SVM。该算法首先改进样本选择策略,采用基于置信度和凸包的样本选择方法,考虑类间距离和样本分布等因素,选择典型代表样本作为SVM的新训练集;然后采用矩阵式混合编码方式,利用遗传算法一并优化代表样本的特征子空间和SVM分类参数,并根据特征优化后的代表样本,构建SVM分类模型。在UCI的11个数据集上进行的仿真实验结果表明,该算法在大部分数据集上均可获得较小的样本规模和特征维数,以及较高的分类精度。     

结合ReliefF与支持向量机的特征选择方法研究

利用ReliefF作为特征选择方法,采用基于支持向量机的分类准确率作为特征子集的评估准则,进而决定删除的特征数目.用UCL数据集中Segmenatation数据集进行测试,通过实验研究证明,采用结合ReliefF与支持向量机的方法进行特征选择,能够有效地提高分类准确率.     

基于Na(i)ve Bayes分类的网络安全审计数据分析研究

研究了非监督学习Na(i)ve Bayes分类的原理和方法,并将其应用到文本数据--网络安全审计数据的分析中.为了提高分类准确率,根据分类的效果对数据的属性集进行选择,使用能提高分类准确性的属性作为分类的依据.对KDD CUP99数据集进行了基于不同属性集的实验,发现了与分类结果相关的属性,分类效果良好.     

WPD-CSP脑电特征提取方法的时间优化

基于小波包分解和共空域模式的方法(WPD-CSP)弥补了CSP方法的频率缺陷,但是非常耗时.针对此问题,提出基于通道选择的WPD-CSP改进方法.使用Fisher判别准则(FDC)选择被试特异的最优通道,对选择的通道进行WPD分解,选择与运动想象任务相关的频率子带进行CSP特征提取,采用Fisher线性判别分析(FLDA)进行分类.使用公开的脑机接口(BCI)竞赛数据集和自采集数据集进行实验,所提方法分别取得了83.11％ 和71.49％ 的最高平均分类准确率.与现有方法相比,该方法具有较好的分类准确率,减少了特征提取的时间.     

必要规则对分类影响的研究

基于规则分类方法的主要计算依据是形如"A→C"的规则(称为充分规则)及其置信度.其中:"A"代表数据集中决策属性取值的集合,"C"代表某个类标号.那么,形如"C→A"的规则(称为必要规则)是否可以在分类算法中起到积极的作用呢?依据规则分类方法原理设计了简单的实验,实验只考虑单个决策属性的不同取值与类之间的关联.根据实验目标,分类测试采用了两种方法:方法1只考虑充分置信的影响;方法2考虑充分置信和必要置信的影响.通过在几个典型的分类集上测试,结果表明:在分类计算时适当利用必要规则置信度可以提高分类精度.     

一种基于近邻边界的粒度支持向量机学习策略

针对粒度支持向量机进行粒划分后提取代表点时丢失部分重要分类信息从而影响分类准确率的情况,提出了一种基于近邻边界的粒度支持向量机(Neighboring-boundary Granular Support Vector Machine,NGSVM)的学习策略。首先采用kmeans方法进行粒划分,对不同的粒依据不同的规则提取粒内代表点,并按照要求分别将代表点放入精简集或修正集中,再用这两个集合中的数据对支持向量机进行训练;形成分类器后,根据核空间距离提取靠近分类面的近邻边界数据以对分类面进行修正。仿真实验结果表明,通过提取靠近分类面的近邻边界数据进行重新训练,能够修正分类面,进一步提高粒度支持向量机的分类准确率。     

SVM-KNN分类算法研究

SVM-KNN分类算法是一种将支持向量机（SVM）分类和最近邻（NN）分类相结合的新分类方法。针对传统SVM分类器中存在的问题,该算法通过支持向量机的序列最小优化（SMO）训练算法对数据集进行训练,将距离差小于给定阈值的样本代入以每类所有的支持向量作为代表点的K近邻分类器中进行分类。在UCI数据集上的实验结果表明,该分类器的分类准确率比单纯使用SVM分类器要高,它在一定程度上不受核函数参数选择的影响,具有较好的稳健性。     

基于集成分类器的凋谢蛋白亚细胞定位预测方法

凋谢蛋白亚细胞定位预测是研究凋谢蛋白生物功能的 1 种重要的方法,也是生物信息学研究的重要领域之一.提高凋谢蛋白亚细胞定位预测模型准确性和实用性是该研究的重点.在本研究中,提出了以模糊 K 近邻分类算法作为基础分类器的集成分类算法.以蛋白质序列内不同间隔的二肽组成表示基本的蛋白质序列的特征集合,采用二进制粒子群算法作为特征选择方法提取能够有效的蛋白质序列特征.这些经过特征选择后的蛋白质序列特征作为集成分类算法中每一个基础分类器的输入向量.经过在2个常用的数据集上使用 Jackknife 测试,本文算法在 C1317 数据集上取得了 91.5% 的预测准确率,在ZW225数据集上取得了88.0%的准确率.与前人报道的算法预测结果比较,本文方法取得了较好的准确率.与使用相同数据集的已经报道凋谢蛋白亚细胞定位预测算法相比,本研究方法取得了预测准确率.     

基于原型抽象和分类价值量的决策树算法*

为了克服现有决策树分类算法在大数据集上的有效性和可伸缩性的局限,提出一种新的基于粗糙集理论的决策树算法。首先提出基于代表性实例的原型抽象方法,该方法从原始数据集中抽取代表性实例组成抽象原型,可缩减实例数目和无关属性,从而使算法可以处理大数据集;然后提出属性分类价值量概念,并作为选择属性的启发式测度,该测度描述了属性对分类的贡献价值量的多少,侧重考虑了属性之间以及实例与分类之间的关系。实验表明,新算法比其他算法生成的决策树规模要小,准确率也有显著提高,在大数据集上尤为明显。     

一种基于投票机制的代表点选择算法

代表点选择是面向数据挖掘与模式识别的数据预处理的重要内容之一,是提高分类器分类正确率和执行效率的重要途径。提出了一种基于投票机制的代表点选择算法,该算法能使所得到的代表点尽可能分布在类别边界上,且投票选择机制易于排除异常点,减少数据量,从而有利于提高最近邻分类器的分类精度和效率。通过与多个经典的代表点选择算法的实验比较分析,表明所提出的基于投票机制的代表点选择算法在提高最近邻分类器分类精度和数据降低率上都具有一定的优势。     

基于自然邻居和最小生成树的原型选择算法

K最近邻居是最流行的有监督分类算法之一。然而,传统的K最近邻居有两个主要的问题:参数K的选择以及在大规模数据集下过高的时间和空间复杂度需求。为了解决这些问题,提出了一种新的原型选择算法,它保留了一些对分类贡献很大的关键原型点,同时移除噪声点和大多数对分类贡献较小的点。不同于其他原型选择算法,该算法使用了自然邻居这个新的邻居概念来做数据预处理,然后基于设定的终止条件构建若干个最小生成树。基于最小生成树,保留边界原型,同时生成一些具有代表性的内部原型。基于UCI基准数据集进行实验,结果表明提出的算法有效地约简了原型的数量,同时保持了与传统KNN相同水平的分类准确率;而且,该算法在分类准确率和原型保留率上优于其他原型选择算法。     

Active learning through density clustering

Active learning is used for classification when labeling data are costly, while the main challenge is to identify the critical instances that should be labeled. Clustering-based approaches take advantage of the structure of the data to select representative instances. In this paper, we developed the active learning through density peak clustering (ALEC) algorithm with three new features. First, a master tree was built to express the relationships among the nodes and assist the growth of the cluster tree. Second, a deterministic instance selection strategy was designed using a new importance measure. Third, tri-partitioning was employed to determine the action to be taken on each instance during iterative clustering, labeling, and classifying. Experiments were performed with 14 datasets to compare against state-of-the-art active learning algorithms. Results demonstrated that the new algorithm had higher classification accuracy using the same number of labeled data.     

基于少量类标签的概念漂移检测算法

传统的概念漂移数据流分类算法通常利用测试数据的真实类标来检测数据流是否发生概念漂移,并根据需要调整分类模型。然而,真实类标的标记需要耗费大量的人力、物力,而持续不断到来的高速数据流使得这种解决方案在现实中难以实现。针对上述问题,提出一种基于少量类标签的概念漂移检测算法。它根据快速KNNModel算法利用模型簇分类的特点,在未知分类数据类标的情况下,根据当前数据块不被任一模型簇覆盖的实例数目较之前数据块在一定的显著水平下是否发生显著增大,来判断是否发生概念漂移。在概念漂移发生的情况下,让领域专家针对那些少量的不被模型簇覆盖的数据进行标记,并利用这些数据自我修正模型,较好地解决了概念漂移的检测和模型自我更新问题。实验结果表明,该方法能够在自适应处理数据流概念漂移的前提下对数据流进行快速的分类,并得到和传统数据流分类算法近似或更高的分类精度。     

概念漂移数据流分类中的多源在线迁移学习算法

现有概念漂移处理算法在检测到概念漂移发生后,通常需要在新到概念上重新训练分类器,同时“遗忘”以往训练的分类器。在概念漂移发生初期,由于能够获取到的属于新到概念的样本较少,导致新建的分类器在短时间内无法得到充分训练,分类性能通常较差。进一步,现有的基于在线迁移学习的数据流分类算法仅能使用单个分类器的知识辅助新到概念进行学习,在历史概念与新到概念相似性较差时,分类模型的分类准确率不理想。针对以上问题,文中提出一种能够利用多个历史分类器知识的数据流分类算法——CMOL。CMOL算法采取分类器权重动态调节机制,根据分类器的权重对分类器池进行更新,使得分类器池能够尽可能地包含更多的概念。实验表明,相较于其他相关算法,CMOL算法能够在概念漂移发生时更快地适应新到概念,显示出更高的分类准确率。     

Flexible decision tree for data stream classification in the presence of concept change, noise and missing values

In recent years, classification learning for data streams has become an important and active research topic. A major challenge posed by data streams is that their underlying concepts can change over time, which requires current classifiers to be revised accordingly and timely. To detect concept change, a common methodology is to observe the online classification accuracy. If accuracy drops below some threshold value, a concept change is deemed to have taken place. An implicit assumption behind this methodology is that any drop in classification accuracy can be interpreted as a symptom of concept change. Unfortunately however, this assumption is often violated in the real world where data streams carry noise that can also introduce a significant reduction in classification accuracy. To compound this problem, traditional noise cleansing methods are incompetent for data streams. Those methods normally need to scan data multiple times whereas learning for data streams can only afford one-pass scan because of data’s high speed and huge volume. Another open problem in data stream classification is how to deal with missing values. When new instances containing missing values arrive, how a learning model classifies them and how the learning model updates itself according to them is an issue whose solution is far from being explored. To solve these problems, this paper proposes a novel classification algorithm, flexible decision tree (FlexDT), which extends fuzzy logic to data stream classification. The advantages are three-fold. First, FlexDT offers a flexible structure to effectively and efficiently handle concept change. Second, FlexDT is robust to noise. Hence it can prevent noise from interfering with classification accuracy, and accuracy drop can be safely attributed to concept change. Third, it deals with missing values in an elegant way. Extensive evaluations are conducted to compare FlexDT with representative existing data stream classification algorithms using a large suite of data streams and various statistical tests. Experimental results suggest that FlexDT offers a significant benefit to data stream classification in real-world scenarios where concept change, noise and missing values coexist.     

Improved classification with allocation method and multiple classifiers

Classification is the most used supervized machine learning method. As each of the many existing classification algorithms can perform poorly on some data, different attempts have arisen to improve the original algorithms by combining them. Some of the best know results are produced by ensemble methods, like bagging or boosting. We developed a new ensemble method called allocation. Allocation method uses the allocator, an algorithm that separates the data instances based on anomaly detection and allocates them to one of the micro classifiers, built with the existing classification algorithms on a subset of training data. The outputs of micro classifiers are then fused together into one final classification. Our goal was to improve the results of original classifiers with this new allocation method and to compare the classification results with existing ensemble methods. The allocation method was tested on 30 benchmark datasets and was used with six well known basic classification algorithms (J48, NaiveBayes, IBk, SMO, OneR and NBTree). The obtained results were compared to those of the basic classifiers as well as other ensemble methods (bagging, MultiBoost and AdaBoost). Results show that our allocation method is superior to basic classifiers and also to tested ensembles in classification accuracy and f-score. The conducted statistical analysis, when all of the used classification algorithms are considered, confirmed that our allocation method performs significantly better both in classification accuracy and f-score. Although the differences are not significant for each of the used basic classifier alone, the allocation method achieved the biggest improvements on all six basic classification algorithms. In this manner, allocation method proved to be a competitive ensemble method for classification that can be used with various classification algorithms and can possibly outperform other ensembles on different types of data.