不完备弱标记数据的粗糙协同学习模型

针对不完备弱标记数据的学习问题,提出基于粗糙集理论的半监督协同学习模型.首先定义不完备弱标记数据的半监督差别矩阵,提出充分、具有差异性的约简子空间获取算法.然后在有标记数据集上利用各约简子空间训练两个基分类器.在无标记数据上,各分类器基于协同学习的思想标注信度较大的无标记样本给另一分类器学习,迭代更新直至无可利用的无标记数据.UCI数据集实验对比分析表明,文中模型可以获得更好的不完备弱标记数据的分类学习性能,具有有效性.     

邻域粗糙协同分类模型

Pawlak粗糙集理论是一种有监督学习模型,只适合处理离散型数据.但在一些现实问题中存在着大量的连续型数据,并且有标记数据很有限,更多的是无标记数据.结合邻域粗糙集和协同学习理论,提出了适合处理连续型数据并可有效利用无标记数据提升分类性能的邻域粗糙协同分类模型.该模型首先构建了邻域粗糙半监督约简算法,并利用该算法提取两个差异性较大的约简构造基分类器,然后迭代地在无标记数据上交互协同学习.UCI数据集实验对比分析表明,与其他同类模型相比,该模型有较好的性能.     

一种处理部分标记数据的粗糙集属性约简算法

属性约简是粗糙集理论中重要的研究内容之一,是数据挖掘中知识获取的关键步骤。Pawlak粗糙集约简的对象一般是有标记的决策表或者是无标记的信息表。而在很多现实问题中有标记数据很有限,更多的是无标记数据,即半监督数据。为此,结合半监督协同学习理论,提出了处理半监督数据的属性约简算法。该算法首先在有标记数据上构造两个差异性较大的约简来构造基分类器;然后在无标记数据上交互协同学习,扩大有标记数据集,获得质量更好的约简,构造性能更好的分类器,该过程迭代进行,从而实现利用无标记数据提高有标记数据的约简质量,最终获得质量较好的属性约简。UCI数据集上的实验分析表明,该算法是有效且可行的。     

一种基于粗糙集属性约简的多分类器集成方法

为提高多分类器系统的分类精度,提出了一种基于粗糙集属性约简的分类器集成方法 MCS_ARS。该方法利用粗糙集属性约简和数据子集划分方法获得若干个特征约简子集和数据子集,并据此训练基分类器;然后利用分类结果相似性得到验证集的若干个预测类别;最后利用多数投票法得到验证集的最终类别。利用UCI标准数据集对方法 MCS_ARS的性能进行测试。实验结果表明,相较于经典的集成方法,方法 MCS_ARS可以获得更高的分类准确率和稳定性。     

基于梯形网络和改进三训练法的半监督分类

为了提高半监督深层生成模型的分类性能, 提出一种基于梯形网络和改进三训练法的半监督分类模型. 该模型在梯形网络框架有噪编码器的最高层添加3个分类器, 结合改进的三训练法提高图像分类性能. 首先, 用基于类别抽样的方法将有标记数据分为3份, 模型以有标记数据的标签误差和未标记数据的重构误差相结合的方式调整参数, 训练得到3个Large-margin Softmax分类器; 接着, 用改进的三训练法对未标记数据添加伪标签, 并对新的标记数据分配不同权重, 扩充训练集; 最后, 利用扩充的训练集更新模型. 训练完成后, 对分类器进行加权投票, 得到分类结果. 模型得到的梯形网络的特征有更好的低维流形表示, 可以有效地避免因为样本数据分布不均而导致的分类误差, 增强泛化能力. 模型分别在MNIST数据库, SVHN数据库和CIFAR10数据库上进行实验, 并且与其他半监督深层生成模型进行了比较, 结果表明本文所提出的模型得到了更高的分类精度.     

一种半监督网络入侵检测系统SSIDS-CV

为了提高网络入侵检测的性能,提出一种基于半监督学习的网络入侵检测系统SSIDS-CV.系统由网络嗅探器、训练集生成器和半监督分类器三部分组成.通过对无标记入侵数据进行伪标记,将伪标记后的样本加入到有标记数据集中,参与交叉验证,选取能使分类器误差最小的标记作为最终的标记,扩充有标记数据数目,训练入侵检测分类器.使用KDD Cup 99数据集模拟半监督入侵检测过程,实验结果表明SSIDS-CV能有效地挖掘未标记入侵数据信息,具有较高的入侵检测率.     

基于粗糙集理论的协同训练算法

为了提升风险决策环境下协同训练的效果, 提出了一种基于粗糙子空间的协同决策算法。首先利用粗糙集属性约简的概念, 将部分标记数据属性空间分解为两差异性较大的粗糙子空间; 在各子空间上训练分类器, 并依据各分类器决策风险代价及隶属度将无标记数据划分为可信、噪声和待定样本。综合两分类器的分类结果, 标注少量可信无标记样本后重复协同训练。从理论上分析了算法性能提升的区间界, 并在UCI数据集上进行实验, 验证了模型的有效性及效率。     

基于属性约简与半监督协同训练的入侵检测算法

入侵检测数据具有信息冗余量大、标记数据难以获得等特点。传统入侵检测方法难以消除冗余信息并且需要大量已标记样本做训练集,导致检测效率降低,实用性下降。为了解决上述问题,提出一种结合属性约简与半监督协同训练的算法。该算法充分发挥了大量未标记样本的监督作用。首先将入侵数据进行属性约简,利用约简结果建立一个支持向量机(SVM)基分类器,然后将其与另外两个SVM辅助分类器做协同训练。如此,分类器界面得到反复修正,分类器的性能逐步得到改善,最终分类精度得到明显提高。在入侵检测数据集KDDCUP99上的仿真实验结果表明,该算法不仅可以提高检测精度,同时还具有良好的可行性、稳定性。     

基于三支标签传播的半监督属性约简

属性约简是粗糙集理论的重要应用之一.为了对部分标记的数据进行属性约简,一些基于粗糙集的半监督属性约简方法相继被提出,但这些方法在数据信息利用、运行代价、约简质量等方面仍然存在挑战.本文针对混合型分类数据,提出了一种新的基于三支标签传播的半监督属性约简(3WLPME)方法.该方法包括两个过程:三支标签传播(3WLP)和基于混合熵的启发式属性约简(MEHAR).其中,3WLP在经典标签传播算法的基础上,结合三支决策和主动学习思想,对无标签数据进行标注,并更新有标签集和无标签集.迭代执行上述过程直至收敛,可以提升最终的伪标签准确率.在MEHAR中,属性重要度由混合熵度量.基于依赖度和条件熵定义的混合熵,融合了粗糙集的代数表示和信息表示,能更深刻地反映属性的分类能力.本文对3WLP算法和MEHAR算法的有效性进行了理论分析.在UCI数据集上进行了以下仿真实验:3WLP与随机标签传播在伪标签准确率上的对比;不同属性约简算法在约简质量上的对比;3WLPME与其他基于粗糙集的半监督属性约简方法,在约简质量上的对比.实验结果验证了3WLP能获得较高的伪标签准确率;MEHAR在不降低分类准确率的前提下,能获得较小的约简;3WLPME在半监督约简过程中具有更高的效率和稳定性,说明本文所提方法是有效的.     

基于分类不确定性最小化的半监督集成学习算法

半监督集成是将半监督学习与集成学习相结合的一种学习范式，它一方面通过无标记样本来提高集成学习的多样性，同时解决集成学习样本量不足的问题，另一方面集成多个分类器能够进一步提升半监督学习模型的性能。现有的研究从理论和实践两个角度证明了半监督学习与集成学习之间的互益性。针对当前半监督集成学习算法对无标记样本信息利用不完全的缺陷，文中提出了一种新的基于分类不确定性最小化的半监督集成学习(Classification Uncertainty Minimization-Based Semi-Supervised Ensemble Learning, CUM-SSEL)算法，它引入信息熵作为对无标记样本进行打标的置信度评判标准，通过最小化无标记样本打标过程中的不确定性迭代地训练分类器，实现对无标记样本的高效利用，以增强分类器的泛化性能。在标准的实验数据集上对CUM-SSEL算法的可行性、合理性和有效性进行了验证，实验表明：随着基分类器的增加，CUM-SSEL算法的训练呈现收敛的趋势，同时它能够获得优于Self-Training, Co-Training, Tri-Training, Semi-Boo...