实例加权类依赖Relief

Relief算法是一个过滤式特征选择算法,通过一种贪心的方式最大化最近邻居分类器中的实例边距,结合局部权重方法有作者提出了为每个类别分别训练一个特征权重的类依赖Relief算法（Class Dependent RELIEF algorithm：CDRELIEF）.该方法更能反映特征相关性,但是其训练出的特征权重仅仅对于衡量特征对于某一个类的相关性很有效,在实际分类中分类精度不够高.为了将CDRELIEF算法应用于分类过程,本文改变权重更新过程,并给训练集中的每个实例赋予一个实例权重值,通过将实例权重值结合到权重更新公式中从而排除远离分类边界的数据点和离群点对权重更新的影响,进而提高分类准确率.本文提出的实例加权类依赖RELIEF （IWCDRELIEF）在多个UCI二类数据集上,与CDRELIEF进行测试比较.实验结果表明本文提出的算法相比CDRELIEF算法有明显的提高.     

极大熵Relief特征加权

Relief特征加权的最新研究进展表明其可近似地表述为一个间距最大化优化问题.尽管该类算法广为应用,但仍然存在一些缺陷.为了提高Relief特征加权的适应性和鲁棒性,融合间距最大化和极大熵理论,并由此探讨了新的鲁棒的具有更好适应性的Relief特征加新方法.首先,构造了一个结合极大熵原理的间距最大化目标函数.对于该目标函数,运用优化理论得到一些重要的理论结果.在此基础上,对于两类数据、多类数据和在线数据,提出了一组鲁棒的Relief特征加权算法.利用UCI基准数据集和基因数据集进行了实验验证,结果表明提出的新Relief特征加权算法对噪音和例外点显示出了更好的适应性和鲁棒性.     

基于信息熵加权的局部离群点检测算法

离群点检测是数据挖掘领域的重要研究方向之一,可以从大量数据中发现少量与多数数据有明显区别的数据对象。在诸如网络入侵、无线传感器网络异常事件等检测应用中,离群点检测是一项具有很高应用价值的技术。为了提高离群点检测准确度,文中在局部离群测度（SLOM）算法的基础上,作了一些改进,提出了一种基于密度的局部离群点检测算法ESLOM。引入信息熵确定数据对象的离群属性,并对对象距离采用加权距离,以提高离群点检测准确度。理论分析和实验表明该算法是可行有效的。     

基于Relief的特征加权壳近邻分类算法

壳近邻分类算法克服了k近邻分类在近邻选择上可能存在偏好的问题,使得在大数据集上的分类效果优于k近邻分类,为了进一步提高壳近邻算法的分类性能,提出了基于Relief特征加权的壳近邻分类算法.该算法在Relief算法的基础上求解训练集的特征权值,并利用特征权值来改进算法的距离度量方法和投票机制.实验结果表明,该算法在小数据和大数据上的分类性能都优于k近邻和壳近邻分类算法.     

基于局部密度信息熵均值的密度峰值聚类算法

针对密度峰值聚类算法（The density peak clustering algorithm,DPC）聚类结果受距离阈值dc参数影响较大的问题,提出一种局部密度捕获范围以及利用局部密度信息熵均值进行加权优化的方法（简称为LDDPC）,在DPC算法选取到错误的距离阈值dc时,通过对最大密度邻近点的相对距离进行加权,重新获得正确的分类数量和聚类中心。经典数据集的实验结果表明,基于局部密度信息熵均值加权优化能避免 DPC 算法中距离阈值dc对聚类结果的影响,提高分类的正确率。     

不平衡数据集上的Relief特征选择算法

Relief算法为系列特征选择方法,包括最早提出的Relief算法和后来拓展的ReliefF算法,核心思想是对分类贡献大的特征赋予较大的权值;特点是算法简单,运行效率高,因此有着广泛的应用。但直接将Relief算法应用于有干扰的数据集或不平衡数据集,效果并不理想。基于Relief算法,提出一种干扰数据特征选择算法,称为阈值-Relief算法,有效消除了干扰数据对分类结果的影响。结合K-means算法,提出两种不平衡数据集特征选择算法,分别称为K-means-ReliefF算法和 K-means-Relief抽样算法,有效弥补了Relief算法在不平衡数据集上表现出的不足。实验证明了本文算法的有效性。     

加权信息熵与增强局部二值模式结合的人脸识别

针对人脸识别因光照、姿态、表情、遮挡及噪声等多种因素的影响而导致的识别率不高的问题，提出一种加权信息熵（IEw）与自适应阈值环形局部二值模式（ATRLBP）算子相结合的人脸识别方法（IE （w） ATR-LBP）。首先，从原始人脸图像分块提取信息熵，得到每个子块的IEw；然后，利用ATRLBP算子分别对每个人脸子块提取特征从而得到概率直方图；最后，将各个块的IEw与概率直方图相乘，再串联成为原始人脸图像最后的特征直方图，并利用支持向量机（SVM）对人脸进行识别。在AR人脸库的表情、光照、遮挡A和遮挡B四个数据集上，IE （w） ATR-LBP方法分别取得了98.37%、94.17%、98.20%和99.34%的识别率。在ORL人脸库上，IE （w） ATR-LBP方法的最大识别率为99.85%；而且在ORL人脸库5次不同训练样本的实验中，与无噪声时相比，加入高斯和椒盐噪声后的平均识别率分别下降了14.04和2.95个百分点。实验结果表明，IE （w） ATR-LBP方法能够有效提高人脸在受光照、姿态、遮挡等影响时的识别率，尤其是存在表情变化及脉冲类噪声干扰时的识别率。     

基于均值-方差模型的Relief特征选择优化算法

Relief是公认的效果较好的filter式特征评估方法,但存在特征权值随样本波动的问题,导致识别准确率的下降。提出了一种基于均值-方差模型的特征权值优化算法,采用样本区分能力的平均贡献值的期望和组合贡献值的波动作为特征评估的依据,使得特征选择的结果更加稳定与准确。基于实地采集的地面运动目标的震动信号进行特征选择与分类学习实验,结果表明,该算法得到的特征子集比Relief具有更好的目标区分能力。     

特征加权的模糊C聚类算法

参照文献[5]中将K-means聚类算法与特征权重优化相结合的方法,推导出FCM聚类算法与特征权重优化相结合的优化迭代公式,形成加权FCM算法.将加权FCM算法中计算聚类均值项的公式代入到计算隶属度的更新公式和特征权重的更新公式中,得到加权FCM扩展算法.由于这个扩展算法消去了均值项,它对于有序属性和无序类别属性的隶属度和特征权重的更新公式具有统一的形式,因此可以很方便地应用到混合属性数据集的加权聚类分析中来.该算法的收敛性分析与FCM类似,算法迭代结束后能给出一组优化的特征权重值.仿真实验结果与WKMeans算法的结果基本一致,说明该方法在优化混合属性数据集的特征权重时是有效的.     

一种基于网格与加权信息熵的OPTICS改进算法

针对现有OPTICS算法时间复杂度高且不适用于数据密集型环境的问题,提出一种基于网格与加权信息熵的改进算法。将数据集合划分为一定数量的网格单元,引入加权信息熵,自适应计算每个网格单元的最小密度阈值。对满足最小密度阈值的网格单元定义密集格的概念,利用质心点代替网格数据点集的方法对数据点进行压缩。采用Geolife Trajectories数据集对算法性能进行测试,从理论分析和实验结果两方面证明了改进算法的有效性。     

基于TFIDF文本特征加权方法的改进研究

针对传统TFIDF方法将文档集作为整体来处理,并没有考虑到特征项在类间和类内的分布情况的不足,提出一种结合信息熵的TFIDF改进方法。该方法采用结合特征项在类间和类内信息分布熵来调整TFIDF特征项的权重计算,避免了那些对分类没有贡献的特征项被赋予较大权值的缺陷,能更有效计算文本特征项的权重。实验结果表明该方法提高了文本分类的精确度和召回率,是一种比较有效的文本特征加权方法。     

相关信息加权的自适应多标签分类算法

在文本分类中,传统单标签分类问题的解决方法无法简单地应用于多标签文本分类,现有的方法通常会通过单标签问题转化思想或者多标签自身算法改进实现对多标签的文本分类。提出一种相关信息加权的自适应多标签分类算法,该算法具有相关信息加权、自适应阈值调整、权重投票相结合的特点。实验结果表明,该算法的某些性能指标优于现有一些常用的多标签分类方法。     

基于图像熵的抗剪切局部数字水印算法

针对基于特征的数字水印算法中常用的Harris检测器进行改进,提出一种根据图像熵自适应调节Harris算法极值检测窗口大小,并结合局部图像特点自适应嵌入的数字水印算法.实验结果表明该算法提取的特征点分布均匀稳定,可以有效抵抗剪切攻击.     

基于位置信息熵的局部敏感哈希聚类方法

在分析海量生物序列时,现有的聚类算法存在着时间效率不高、准确率较低,以及聚类结果的生物意义不足等问题。针对这些问题,提出一种基于位置信息熵的局部敏感哈希聚类方法。通过对生物序列使用K词计算其标准熵,将标准熵作为局部敏感哈希函数簇的特征向量,计算特征矩阵并应用于生物序列聚类。实验结果表明,该算法能够有效地提高时间效率和聚类的准确率。随着数据集的增大,也同样取得很好的效果,实验结果更具有生物解释性和实际意义。     

基于局部近邻图的特征描述与特征匹配算法研究

特征描述和特征匹配是计算机视觉领域的重要组成部分。近年来,为了实现图像匹配上的可靠性和鲁棒性,许多特征描述算法被提出来,例如SIFT、SURF、DAISY和BRIEF等。然而,当图像发生平移、旋转、缩放等大视角变化时,这些描述符通常会失效。为了解决这个问题,在局部近邻图模型的基础上,提出一种新颖的特征描述和相似性度量方法(LNFM算法)。所提出的描述符和相似度可以很好地应用于各种流行的图像匹配算法。实验结果表明:在特征匹配过程中,该算法可以检测到可靠的匹配关系,性能较为优越。     

一个高效的基于局部操作的特征生成算法

本文给出了一个高的基于局部操作的特征生成算法，该算法与基于布尔运算的特征生成算法相比，个有运算速度快、可预见性好、可同时保存特征的隐式表示与显式表示等多方面的优点，该算法已应用于特征造型系统ＺＤ－ＭＣＡＤⅡ中，取得了满意的结果。     

一种新的基于细胞局部图特征和运动特征的细胞跟踪算法

在跟踪显微序列图像中的细胞时,由于存在细胞分裂、粘连运动不均匀等问题,影响细胞分割和跟踪的准确性。为了提高细胞跟踪的准确率,提出一种新的跟踪算法,用于分析显微序列图像中细胞的形态变化和动态变化。该算法对移动距离不大的细胞采用由细胞位移、面积和形变构成的细胞区域特征来实现该类细胞的跟踪,然后再利用已成功实现跟踪的细胞,构造由细胞之间拓扑关系组成的局部图,最终使用基于局部图特征和细胞区域特征构成的混合跟踪算法实现活跃细胞的跟踪,并对跟踪过程中的各种情况进行分析处理。用两个视频序列验证该方法的有效性,实验结果表明,该算法能够提高细胞跟踪的准确率分别为10%和6%。     

基于小波分析与信息熵的DDoS攻击检测算法

DDoS(Distributed Denial of Service)攻击检测方法中,基于网络流量自相似性的检测方法作为一种异常检测方法,对网络流量变化情况比较敏感,检测率较高,然而同时也存在误报率较高的问题。对传统自相似方法以及网络中可能引起流量异常的事件进行分析,在此基础上提出一种改进的检测算法WAIE。WAIE采用小波分析的方法计算网络流量的Hurst指数并引入信息论中的信息熵对源IP地址的分散程度进行度量,根据初始阶段Hurst指数及熵值的变化自适应地设定阈值以检测攻击的发生。采用MIT林肯实验室发布的数据集以及实验室环境下采集的数据集进行实验,实验结果表明该算法能准确检测到攻击的发生。     

基于结构语义熵的网上商品信息提取系统

目前网上销售已成为一种重要的商品销售途径,其中商品网页信息提取是商品发布信息监测、商品比价等应用的技术基础.传统的网页信息提取系统在提取这些商品信息时存在人工干预过多和提取数据的针对性不强的问题.针对商品销售网站数据的具体表现形式,提出了一种基于结构语义熵的商品信息提取算法.该算法结合了商品的语义特征和网页的结构表现形式,可以实现全自动的网页商品提取.并通过实验证明了算法的有效性,和其在网上商品销售领域的普适性.     

一种基于粗糙集和信息熵理论的属性离散化算法

在分析和研究C5算法中连续属性处理的必要性及C5算法中离散化方法的不足后,采用基于粗糙集理论-信息熵-可辨识矩阵的离散化的方法(RSIEDM)进行离散化。该方法利用粗糙集、信息熵和可辨识矩阵能更合理、更准确地对连续属性进行离散化,使创建的决策树具有更好的准确率。在优化雷电灾害统计和评估雷电灾害导致的损失应用中,该算法取得了较好的效果。