基于序贯三支决策的代价敏感文本情感分析方法

为了解决文本情感分析的代价不平衡及静态决策中分类代价偏高的问题,文中考虑动态决策过程中产生的误分类代价和学习代价,构建基于序贯三支决策的代价敏感文本情感分析方法.首先,为了构建多粒度动态决策环境,提出针对文本数据的粒化模型.然后,引入序贯三支决策模型,构建动态文本分析框架.最后,利用真实文本评论数据集验证文中方法的有效性.实验表明文中方法在提高分类质量的同时,明显降低整体的决策代价.     

基于时空多粒度的序贯三支情感分析

大数据时代下传统静态的情感分析方法已无法适应当前动态数据的量级和复杂度.为了改善传统的二支静态决策的不足,文中基于序贯三支决策思想提出基于时空多粒度的序贯三支情感分析方法.利用随时间增加的数据和拟合度较高的特征空间,构造具有时空特性的多层粒结构,平衡误分类代价和训练代价.使用3种基准分类器实际测试方法效率,在2个数据集上的实验表明,文中方法在维持分类质量的前提下,大幅减少分类代价.     

代价敏感的序贯三支决策方法

在现实决策中,代价敏感问题是影响人类决策的重要因素之一,许多研究者致力于降低决策的代价。现阶段,在粗糙集领域中,研究者多基于DTRS模型且仅考虑某一种代价,不够全面。针对以上问题,利用序贯三支决策模型对两种代价的敏感性,通过多层次粒结构可以有效降低决策总代价,且能够更好地模拟人类动态渐进的决策过程。在序贯三支决策模型的基础上,构造了多层次粒结构;将各个属性的测试代价与其分类能力相关联,从信息熵的角度为其设置测试代价;与此同时,将属性约简与序贯三支决策相结合,利用基于代价最小准则的属性约简去除冗余属性及不相关属性对代价的影响。在7个UCI数据集上的实验结果显示,在保证较高准确度的同时,决策的总代价平均下降了26%左右,充分验证了该方法的有效性。     

代价敏感分类的软件缺陷预测方法

软件缺陷预测是提高软件测试效率,保证软件可靠性的重要途径。考虑到软件缺陷预测模型对软件模块错误分类代价的不同,提出了代价敏感分类的软件缺陷预测模型构建方法。针对代码属性度量数据,采用Bagging方式有放回地多次随机抽取训练样本来构建代价敏感分类的决策树基分类器,然后通过投票的方式集成后进行软件模块的缺陷预测,并给出模型构建过程中代价因子最优值的判定选择方法。使用公开的NASA软件缺陷预测数据集进行仿真实验,结果表明该方法在保证缺陷预测率的前提下,误报率明显降低,综合评价指标AUC和F值均优于现有方法。     

基于最远总距离采样的代价敏感主动学习

主动学习旨在通过人机交互减少专家标注,代价敏感主动学习则致力于平衡标注与误分类代价。基于三支决策（3WD）和标签均匀分布（LUD）模型,提出一种基于最远总距离采样的代价敏感主动学习算法（CAFS）。首先,设计了最远总距离采样策略,以查询代表性样本的标签;其次,利用了LUD模型和代价函数,计算期望采样数目;最后,使用了k-Means聚类技术分裂已获得不同标签的块。CAFS算法利用三支决策思想迭代地进行标签查询、实例预测和块分裂,直至处理完所有实例。学习过程在代价最小化目标的控制下进行。在9个公开数据上比较,CAFS比11个主流的算法具有更低的平均代价。     

面向混合数据的代价敏感三支决策边界域分类方法

针对现有三支决策模型的研究对象多为单一性数据的决策系统,对于混合数据边界域样本处理的研究相对较少,本文面向混合数据提出了基于核属性的代价敏感三支决策边界域分类方法。该方法基于正域约简计算混合邻域决策系统的核属性集,在此基础上计算混合邻域类,并利用三支决策规则分别将对象划分到各决策类的正域、边界域和负域;提出了一种基于代价敏感学习的三支决策边界域分类方法,并构造了误分类代价的计算方法,以此划分边界域中的对象。通过对UCI上的10个数据集进行实验对比与分析,进一步验证了本文方法,为处理边界域样本提供了一种可行有效的方法。     

决策粗糙集与代价敏感分类

将决策粗糙集与代价敏感学习相结合,提出了一种基于决策粗糙集的代价敏感分类方法。依据决策粗糙集理论和属性约简方法,对待预测样本分别计算最优测试属性集,使得样本在最优测试属性集上计算的分类结果具有最小误分类代价和测试代价,依此给出样本的最小总代价分类结果。针对全局最优测试属性集求解过程中计算复杂度高的问题,提出了局部最优测试属性集的启发式搜索算法。该算法以单个属性对降低总分类代价的贡献率为启发函数,搜索各样本的局部最优测试属性集,并输出在局部最优测试属性集上样本的代价敏感分类结果。在UCI数据上的实验分析显示,所提算法有效地降低了分类结果的总代价和测试属性个数,使得样本分类结果同时具有较小的误分类代价和较小的测试代价。     

三支决策代价目标函数的关系及推理研究

三支决策是不确定问题求解的重要理论。经典的决策粗糙集模型通过计算三支区域总体决策最小化风险,给出了一种有效的三支决策阈值求解方案。然而 对于决策粗糙集理论中代价目标函数之间的逻辑关系及其三支决策阈值间的推理 ,目前尚未有研究进行深入讨论。首先,提出了一种基于三支决策代价目标函数间逻辑关系的新型阈值计算方法。其次,根据不同损失函数取值分布情况下的三支决策阈值推导,分别给出了不同阈值的三支分类语义解释。最后,通过一组典型的实例证明了提出的基于三支决策代价目标函数的阈值计算方法及三支决策分类的推理是有效的。     

基于三支决策的序列数据代价敏感分类算法

代价敏感分类区别于一般分类方法,更关注高代价类别的分类准确性而容忍全局分类的准确性。三支决策作为一种代价敏感分类问题的解决思路,缺乏对序列数据的支持。结合LSTM模型处理序列数据的能力,提出一种使用三支决策（3WD）改进的序列数据分类方法。方法经过LSTM网络对原数据进行粗分类;对分类结果进行整体代价评估;最终,对高风险分类进行延迟或拒绝处理。方法在4个数据集上进行了测试,并进行了2组对比实验。实验结果表明:本文方法在不改变LSTM模型的情况下,对LSTM模型的分类结果进行了代价区分。     

分段延迟代价敏感三支决策

决策粗糙集理论中,三支决策代价目标函数是典型的单调线性函数.然而,在实践经验中经常发现延迟决策的代价与决策概率之间的函数关系往往呈现非单调特性,决策粗糙集理论的经典代价敏感三支决策模型无法对上述非单调现象进行直接的建模和推理,导致决策粗糙集理论的应用受到了限制.为了求解这种具有非单调延迟代价的代价敏感三支决策问题,提出一种新型分段延迟代价敏感三支决策模型.该模型定义了具有单调递增和单调递减特性的两组延迟决策损失函数,并结合经典正负域决策损失函数构造了分段延迟三支决策代价目标函数体系、度量指标和分段决策策略;然后,基于条件概率、损失函数及基础度量指标之间关系的4种分段延迟代价敏感三支决策分类模式被提了出来,并且对相应的三支分类阈值进行了推理;最后,通过一组典型实例,验证了分段延迟代价敏感三支决策模型及其三支分类是可行的.     

Multiple kernel ensemble learning for software defect prediction

Software defect prediction aims to predict the defect proneness of new software modules with the historical defect data so as to improve the quality of a software system. Software historical defect data has a complicated structure and a marked characteristic of class-imbalance; how to fully analyze and utilize the existing historical defect data and build more precise and effective classifiers has attracted considerable researchers’ interest from both academia and industry. Multiple kernel learning and ensemble learning are effective techniques in the field of machine learning. Multiple kernel learning can map the historical defect data to a higher-dimensional feature space and make them express better, and ensemble learning can use a series of weak classifiers to reduce the bias generated by the majority class and obtain better predictive performance. In this paper, we propose to use the multiple kernel learning to predict software defect. By using the characteristics of the metrics mined from the open source software, we get a multiple kernel classifier through ensemble learning method, which has the advantages of both multiple kernel learning and ensemble learning. We thus propose a multiple kernel ensemble learning (MKEL) approach for software defect classification and prediction. Considering the cost of risk in software defect prediction, we design a new sample weight vector updating strategy to reduce the cost of risk caused by misclassifying defective modules as non-defective ones. We employ the widely used NASA MDP datasets as test data to evaluate the performance of all compared methods; experimental results show that MKEL outperforms several representative state-of-the-art defect prediction methods.     

基于半监督集成学习的软件缺陷预测*

在软件缺陷预测中,标记样本不足与类不平衡问题会影响预测结果.为了解决这些问题,文中提出基于半监督集成学习的软件缺陷预测方法.该方法利用大量存在的未标记样本进行学习,得到较好的分类器,同时能集成一系列弱分类器,减少多数类数据对预测产生的偏倚.考虑到预测风险成本问题,文中还采用训练样本集权重向量更新策略,降低有缺陷模块预测为无缺陷模块的风险.在NASA MDP数据集上的对比实验表明,文中方法具有较好的预测效果.     

Non‐negative sparse‐based SemiBoost for software defect prediction

Software defect prediction is an important decision support activity in software quality assurance. The limitation of the labelled modules usually makes the prediction difficult, and the class‐imbalance characteristic of software defect data leads to negative influence on decision of classifiers. Semi‐supervised learning can build high‐performance classifiers by using large amount of unlabelled modules together with the labelled modules. Ensemble learning achieves a better prediction capability for class‐imbalance data by using a series of weak classifiers to reduce the bias generated by the majority class. In this paper, we propose a new semi‐supervised software defect prediction approach, non‐negative sparse‐based SemiBoost learning. The approach is capable of exploiting both labelled and unlabelled data and is formulated in a boosting framework. In order to enhance the prediction ability, we design a flexible non‐negative sparse similarity matrix, which can fully exploit the similarity of historical data by incorporating the non‐negativity constraint into sparse learning for better learning the latent clustering relationship among software modules. The widely used datasets from NASA projects are employed as test data to evaluate the performance of all compared methods. Experimental results show that non‐negative sparse‐based SemiBoost learning outperforms several representative state‐of‐the‐art semi‐supervised software defect prediction methods. Copyright © 2016 John Wiley & Sons, Ltd.     

基于代价敏感支持向量机的软件缺陷预测研究

软件缺陷预测是典型的非平衡学习问题。基于CS SVM和聚类算法改进代价敏感支持向量机（SVM）算法,提出了CCS SVM软件缺陷预测模型。在CCS SVM预测模型中,将SVM与类别误分代价结合起来,以非平衡数据评价指标作为目标函数,优化错分代价因子,提升少数类样本的识别率。通过聚类找到每类样本的中心点,根据样本到其中心点的距离定义每个样本的类别置信度,给每个样本分配不同的误分代价系数,并把样本的置信度引入到代价敏感SVM优化问题中,提高算法鲁棒性,提升SVM分类性能。此外,为了提高模型的泛化能力,使用遗传算法优化特征选择和模型参数。通过美国航空航天局NASA MDP数据集实验表明,本文方法的G mean和F measure模型评价值有明显的提升。     

Value-cognitive boosting with a support vector machine for cross-project defect prediction

It is well-known that software defect prediction is one of the most important tasks for software quality improvement. The use of defect predictors allows test engineers to focus on defective modules. Thereby testing resources can be allocated effectively and the quality assurance costs can be reduced. For within-project defect prediction (WPDP), there should be sufficient data within a company to train any prediction model. Without such local data, cross-project defect prediction (CPDP) is feasible since it uses data collected from similar projects in other companies. Software defect datasets have the class imbalance problem increasing the difficulty for the learner to predict defects. In addition, the impact of imbalanced data on the real performance of models can be hidden by the performance measures chosen. We investigate if the class imbalance learning can be beneficial for CPDP. In our approach, the asymmetric misclassification cost and the similarity weights obtained from distributional characteristics are closely associated to guide the appropriate resampling mechanism. We performed the effect size A-statistics test to evaluate the magnitude of the improvement. For the statistical significant test, we used Wilcoxon rank-sum test. The experimental results show that our approach can provide higher prediction performance than both the existing CPDP technique and the existing class imbalance technique.     

深度置信网络的代价敏感多粒度三支决策模型研究

最优粒度选择是自编码网络构造多粒度特征的关键环节。针对自编码网络粒度选择方法不合理导致特征提取效果差以及错误分类成本和测试成本高的问题,提出一种基于小批量梯度下降(mini-batch gradient descent, MBGD)的粒度层选取策略。该方法通过改变粒度选择方式重新构建多粒度空间,设计一个新的基于深度置信网络(deep belief network, DBN)的代价敏感多粒度三支决策模型。更优的粒度选择方法提升网络的特征提取能力,促使多粒度空间的构造朝着最快到达最细粒度空间的方向发展,降低图像重构误差以达到更小的错误分类代价和测试代价。实验结果表明,提供合理的粒度选取策略提高了代价敏感多粒度三支决策模型的决策准确性,并在给定代价情况下更快地获得总代价最小的最优粒层。     

应用直线集合分割的软件缺陷预测模型

缺陷预测能够有效地提升软件测试的效率。基于朴素贝叶斯理论,提出了一个利用平面中点与直线几何关系进行分类的软件缺陷预测模型LGD-NB。LGD-NB有两种工作模式,当其基于最小风险进行决策时,比传统的朴素贝叶斯具有对代价更为精确的描述;在定义了几何上的高风险决策区域后,LGD-NB可作为元分类器,提供一个可集成其他分类模型进行二次分类的集成框架。实验结果显示：基于最小风险LGD-NB模型的预测性能优于传统的朴素贝叶斯;而集成了SVM算法后的LGD-NB,其预测能力也有较为明显的提升。     

Sample-based software defect prediction with active and semi-supervised learning

Software defect prediction can help us better understand and control software quality. Current defect prediction techniques are mainly based on a sufficient amount of historical project data. However, historical data is often not available for new projects and for many organizations. In this case, effective defect prediction is difficult to achieve. To address this problem, we propose sample-based methods for software defect prediction. For a large software system, we can select and test a small percentage of modules, and then build a defect prediction model to predict defect-proneness of the rest of the modules. In this paper, we describe three methods for selecting a sample: random sampling with conventional machine learners, random sampling with a semi-supervised learner and active sampling with active semi-supervised learner. To facilitate the active sampling, we propose a novel active semi-supervised learning method ACoForest which is able to sample the modules that are most helpful for learning a good prediction model. Our experiments on PROMISE datasets show that the proposed methods are effective and have potential to be applied to industrial practice.     

基于改进的代价敏感决策树的网络贷款分类

在网络贷款用户数据集中，贷款成功和贷款失败的用户数量存在着严重的不平衡，传统的机器学习算法在解决该类问题时注重整体分类正确率，导致贷款成功用户的预测精度较低。针对此问题，在代价敏感决策树敏感函数的计算中加入类分布，以减弱正负样本数量对误分类代价的影响，构建改进的代价敏感决策树；以该决策树作为基分类器并以分类准确度作为衡量标准选择表现较好的基分类器，将它们与最后阶段生成的分类器集成得到最终的分类器。实验结果表明，与已有的常用于解决此类问题的算法（如MetaCost算法、代价敏感决策树、AdaCost算法等）相比，改进的代价敏感决策树对网络贷款用户分类可以降低总体的误分类错误率，具有更强的泛化能力。     

基于Markov决策过程用交叉熵方法优化软件测试

研究了待测软件某些参数已知的条件下,以最小化平均测试费用为目标的软件测试优化问题.将软件测试过程处理成马尔可夫(Markov)决策过程,给出了软件测试的马尔可夫决策模型,运用交叉熵方法,通过一种学习策略获得软件测试的最优测试剖面,用于优化软件测试.模拟结果表明,学习策略给出的测试剖面要优于随机测试策略,检测和排除相同数目的软件缺陷,学习策略比随机测试能够显著地减少测试用例数,降低测试成本,提高缺陷检测效率.