基于信息熵的不完备数据特征选择算法

在分析已有不完备信息熵的基础上,提出一种基于相似关系的不完备信息熵,并证明该信息熵的若干性质.给出一个不完备数据特征选择算法,算法以改进的不完备信息熵作为特征选择准则,直接对不完备数据的特征进行熵值分析,并采用顺序前向浮动选择方法解决特征间的相关性问题.最后在UCI实测数据集上的实验表明,文中算法具有更高的准确率和更快的特征选择速度.     

缺失数据的维数增量式特征选择

现如今生活当中的数据大多都是动态变化的，并且在数据动态增加的过程中，许多特征中包含有缺失数据。如何处理动态变化的含有缺失数据的数据集的特征选择成为一个亟需解决的问题。为此，基于粗糙集理论，通过更新互补信息熵在含有缺失数据的数据集维数增加时的更新机制，进而提出一种缺失数据维数增量式特征选择算法，并通过实验进一步验证了算法的可行性与高效性。     

基于数据相容填补的极大相容块构造算法

极大相容块技术在不完备信息处理方面具有一定优势,但极大相容块获取本身是个耗时的过程。通过分析不完备信息系统中极大相容块的性质特点,给出极大相容块中不完备数据的相容填补方法;在不完备信息系统中使用相容填补方法,得到一种新的极大相容块构造算法;基于构造算法的特点,引入决策树存储结构对算法进行优化。使用标准的数据集验证了构造算法的有效性。实验结果表明,构造算法在较大规模的数据集上有较好的性能。     

动态量化非对称相似关系的不完备知识约简算法

量化非对称相似关系是处理不完备信息系统的重要工具之一.本文针对非对称关系中明显相似的对象分类不合理的问题,定义了动态量化非对称相似关系,提出带有自动阈值调节的动态量化非对称相似关系模型,根据实际数据自动确定其阈值,使之更加灵活和合理.并采用快速排序提高知识约筒过程中相容类的计算效率.通过实例验证了该算法处理不完备知识约简的有效性.最后,应用该模型解决了地下空间信息化施工的不完备知识约简问题.     

基于邻域量化容差条件熵增量式更新的网络入侵检测方法

网络入侵检测系统是网络信息安全防护的重要防御工具,而复杂的、冗长的网络入侵行为特征严重影响了网络入侵检测的效果。针对网络入侵检测中信息量增长迅速、数据不完备的现实问题,提出一种基于邻域量化容差条件熵增量式更新的特征选择算法。首先,在邻域量化容差粒计算的基础上,结合条件熵在刻画特征不确定性、对特征之间的相关或依赖程度方面的显著特性,研究了邻域量化容差条件熵的增量式更新机制;然后,基于该更新机制提出动态数据库增量式更新的特征选择算法;最后,通过数据实验分析验证了所提出的算法能有效提高不完备信息系统特征选择的计算效率。新提出的算法在网络入侵检测实例应用中体现的计算复杂度及虚警率低的优势,表明其可为网络信息安全防护提供有效可行的具体方法。     

多标记不完备数据的特征选择算法

多标记数据的特征选择是机器学习和数据挖掘领域的重要研究内容,当前对于多标记数据的特征选择研究大多是针对完备性数据,但在许多应用领域中,连续型数值数据较多,且由于诊测成本和隐私保护等因素导致数据往往呈现出不完备性。为解决上述问题,提出了一种面向多标记不完备数据的特征选择算法。该算法将邻域粗糙集模型应用于多标记不完备数据的特征选择,根据邻域阈值求解多标记不完备数据的邻域粒度,并基于邻域粒度给出了度量多标记不完备数据的特征重要性准则,以此设计了面向多标记不完备数据的特征选择算法。最后,通过在Mulan数据集上的实验结果验证了算法的有效性和可行性。     

带标记的不完备双论域模糊概率粗糙集中近似集动态更新方法

当不完备双论域模糊概率粗糙集获取缺省值时,传统的静态算法更新近似集的时间效率较低,为了解决这个问题,对带标记不完备双论域模糊概率粗糙集的近似集动态更新方法进行了研究。首先,给出了带标记的不完备双论域信息系统的相关定义,运用矩阵提出了带标记的不完备双论域模糊概率粗糙集的模型,证明了其相关定理,给出了一种带标记的不完备双论域模糊概率粗糙集的近似集计算方法,并对其进行了讨论分析。其次,当不完备双论域模糊概率粗糙集获取缺省值时,给出了动态更新其近似集的相关定理,并进行了证明,进而设计了一种带标记的不完备双论域模糊概率粗糙集中近似集动态更新算法,并分析讨论了其算法复杂度。最后,在6个UCI数据集和3个人工数据集上进行仿真实验,实验结果表明,该动态更新算法提高了更新近似集的时间效率,并结合实例证明了该动态算法更新近似集时不影响结果的正确性,验证了该动态更新算法的有效性。     

缺失数据数据集的组增量式特征选择

实际应用中获取到的数据集通常是动态增加的,且随着数据获取工具的迅速发展,新数据通常会一组一组地增加。为此,针对含有缺失数据的动态数据集,基于粗糙集理论,提出了一种组增量式的粗糙特征选择算法。首先分析、证明了信息熵的组增量计算公式,并以信息熵作为特征重要度的度量,在此基础上设计了基于信息熵的可有效处理含有缺失数据的动态数据集的组增量式特征选择算法。实验结果进一步证明了新算法的可行性和高效性。     

基于信息熵理论的动态规划特征选取算法

为了解决小样本多特征数据进行分析和处理的复杂性问题,改善数据挖掘和分析的复杂度,提高挖掘算法处理速度,提出了一种基于信息熵理论的动态规划特征提取算法.该方法利用动态规划算法,并通过基于信息熵概念的可分性判据函数来衡量所选特征空间的性能,从而进行特征提取和选择,对特征空间进行降维处理.最后采用UCI标准数据库中部分数据对算法进行检验并与其它算法进行比较,比较结果表明,对于小样本多特征的数据采用该算法进行降维处理可以有效降低维度,并且与其它全局最优解的搜索算法相比较能节省计算的开销.     

不完备信息系统属性约简的矩阵算法

通过分析不完备信息系统中基于相容矩阵的属性约简算法,定义一个在单个条件属性下的新二进制相容矩阵,给出新矩阵间的吸收运算规则,利用该规则得到不完备信息系统条件属性集的二进制相容矩阵.通过判断新二进制相容矩阵间运算后得到的矩阵是否与条件属性集下的矩阵等价,找出不完备信息系统的属性约简.证明该属性约简与不完备信息系统中基于正...     

弱标记不完备决策系统的增量式属性约简算法

在许多现实应用领域中,由于数据标注代价昂贵,且数据往往呈现动态变化,因此存在大量弱标记的不完备数据。针对上述复杂应用场景,本文以粒计算理论为基础,从区分性视角给出不完备数据的区分对概念,同时给出属性相对重要度的度量方法,并设计面向弱标记不完备决策系统的属性约简算法。该算法能在迭代过程中不断缩减搜索空间,提高属性约简效率;并根据实例的动态变化情况,分析属性约简的动态更新机制;在此基础上,设计了半监督条件下的增量式属性约简算法。最后,通过实验验证了算法的可行性和有效性。     

Incremental feature selection based on rough set in dynamic incomplete data

Feature selection plays a vital role in many areas of pattern recognition and data mining. The effective computation of feature selection is important for improving the classification performance. In rough set theory, many feature selection algorithms have been proposed to process static incomplete data. However, feature values in an incomplete data set may vary dynamically in real-world applications. For such dynamic incomplete data, a classic (non-incremental) approach of feature selection is usually computationally time-consuming. To overcome this disadvantage, we propose an incremental approach for feature selection, which can accelerate the feature selection process in dynamic incomplete data. We firstly employ an incremental manner to compute the new positive region when feature values with respect to an object set vary dynamically. Based on the calculated positive region, two efficient incremental feature selection algorithms are developed respectively for single object and multiple objects with varying feature values. Then we conduct a series of experiments with 12 UCI real data sets to evaluate the efficiency and effectiveness of our proposed algorithms. The experimental results show that the proposed algorithms compare favorably with that of applying the existing non-incremental methods.     

不完备系统中一种增量式属性约简算法

实际应用中，信息系统的数据常常是动态变化的，当对象增加时，原始的属性约简集不一定有效。针对不完备决策系统对象增加的情况，提出基于条件熵的增量式属性约简算法。首先定义不完备决策系统中的条件熵，然后分析对象增加时条件熵的变化机制以及对约简集的影响，提出增量式属性约简算法，当对象增加时，该算法能够更高效地进行属性约简。最后，实验验证本文算法的有效性和高效性。     

基于粒化单调的不完备混合型数据增量式属性约简算法

增量式属性约简是一种针对动态数据集的新型属性约简方法。然而目前的增量式属性约简很少有对不完备混合型的信息系统进行研究。针对这类问题提出一种属性增加时的增量式属性约简算法。在不完备混合型信息系统下引入邻域容差关系。基于邻域容差关系的粒化单调性,提出信息系统属性增加时邻域容差条件熵的增量式更新方法,并提出了不完备混合型信息系统下的邻域容差条件熵增量式属性约简算法。实验分析表明了该算法的有效性。     

代价敏感数据的多标记特征选择算法

在多标记学习中,特征选择是提升多标记学习分类性能的有效手段。针对多标记特征选择算法计算复杂度较大且未考虑到现实应用中数据的获取往往需要花费代价,本文提出了一种面向代价敏感数据的多标记特征选择算法。该算法利用信息熵分析特征与标记之间的相关性,重新定义了一种基于测试代价的特征重要度准则,并根据服从正态分布的特征重要度和特征代价的标准差,给出一种合理的阈值选择方法,同时通过阈值剔除冗余和不相关特征,得到低总代价的特征子集。通过在多标记数据的实验对比和分析,表明该方法的有效性和可行性。     

基于邻域量化容差关系粗糙集模型的特征选择算法*

数值型不完备信息系统的特征选择方法大多是以容差关系为基础,但是这种处理方式存在数据相似性刻画过于宽松的缺陷.文中提出邻域量化容差关系的粗糙集模型,在该模型的基础上定义邻域量化容差条件熵,分析相关性质,根据邻域量化容差条件熵的单调性构造相应的特征选择算法.实验表明,文中算法在特征选择结果、运行时间和分类精度方面具有优越性.     

基于信息熵的核属性增量式高效更新算法

针对基于信息熵求核算法效率不理想的情况,给出信息观下的二进制差别矩阵定义,理论上证明基于信息熵的核属性与基于二进制差别矩阵的核属性等价;并将决策表划分为相容的对象集和不相容的对象集,缩小求核算法的搜索空间;然后针对动态的决策表,研究核属性的增量更新机制,由此构造一种基于信息熵的核属性增量式高效更新算法。实例分析与实验结果验证文中算法优于同类求解算法。     

An efficient fuzzy classifier with feature selection based on fuzzyentropy

This paper presents an efficient fuzzy classifier with the ability of feature selection based on a fuzzy entropy measure. Fuzzy entropy is employed to evaluate the information of pattern distribution in the pattern space. With this information, we can partition the pattern space into nonoverlapping decision regions for pattern classification. Since the decision regions do not overlap, both the complexity and computational load of the classifier are reduced and thus the training time and classification time are extremely short. Although the decision regions are partitioned into nonoverlapping subspaces, we can achieve good classification performance since the decision regions can be correctly determined via our proposed fuzzy entropy measure. In addition, we also investigate the use of fuzzy entropy to select relevant features. The feature selection procedure not only reduces the dimensionality of a problem but also discards noise-corrupted, redundant and unimportant features. Finally, we apply the proposed classifier to the Iris database and Wisconsin breast cancer database to evaluate the classification performance. Both of the results show that the proposed classifier can work well for the pattern classification application.     

满意特征选择及其应用

实际应用中的特征选择是一个满意优化问题.针对已有特征选择方法较少考虑特征获取代价和特征集维数的自动确定问题,提出一种满意特征选择方法(SFSM),将样本分类性能、特征集维数和特征提取复杂性等多种因素综合考虑.给出特征满意度和特征集满意度定义,设计出满意度函数,导出满意特征集评价准则,详细描述了特征选择算法.雷达辐射源信号特征选择与识别的实验结果显示,SFSM在计算效率和选出特征的质量方面明显优于顺序前进法、新特征选择法和多目标遗传算法.证实了SFSM的有效性和实用性.     

结合分辨矩阵与蚁群优化算法改进的特征选择方法

目前已有蚁群算法优化的特征选择方法,大多采用的是以属性依赖度和信息熵属性重要度作为路径上启发搜索因子,但这类搜索方法在某些决策表中存在算法早熟或搜索到的特征子集包含了冗余特征,从而导致选择精度显著下降。针对此类问题,根据条件属性在分辨矩阵中的占比提出了一种属性重要度的度量方法,以分辨矩阵重要度作为路径上启发因子,设计了一种基于分辨矩阵与蚁群算法优化的特征子集搜索方法。该算法从特征核出发,蚁群依次选择概率大的特征加入特征核集,直至找到最小特征子集算法终止。通过实例验证和UCI数据集实验结果表明,与基于属性依赖度和信息熵属性重要度的特征选择方法相比,在通常情况下,该算法能较小代价找到最小特征子集,并且可以有效减少计算工作量。