多策略通用数据采掘工具MSMiner

介绍了一种多策略通用数据采掘工具MSMiner的设计与实现。MSMiner建立在数据仓库之一,采用面向对象的方法描述关于数据源、采掘算法、采掘步骤和用户的元数据,该系统集成决策树、关联规则、传统统计分析、聚类分析、神经网络和可视化等多种数据采掘算法,以任务模型的形式生成和执行数据 采掘及决策支持任务。其特点是支持数据库、数据仓库、文本以及Web页面等形式数据源,可以动态地添加采掘算法,对数据和采掘策略的组织灵活有效,具有很好的可扩充性和通用性。     

用数据查询语言实现关联规则采掘

关联规则采掘具有广阔的应用前景。文章讨论了关联规则的用途、内涵,分析了关联规则采掘的算法,给出了在DBMS平台上用数据查询语言实现关联规则采掘的程序。测试表明,实现的算法对关联规则采掘十分有效。     

一种基于Apriori的改进算法

关联规则采掘是数据采掘中重要的研究课题。该文对关联规则采掘中的Apriori算法进行了深入研究。作者探讨了Apriori算法,指出了该算法的某些不足,提出了一种改进算法。     

用数据查询语言实现关联规则脂掘

关联规则采掘具有广阔的应用前景。文章讨论了关联规则的用途,内涵,分析了关联规则采掘的算法,给出了在ＤＢＭＳ平台上用数据查询语言实现关联规则采掘的程序。测试表明,实现的算法对关联规则采掘十分有效。     

多周期时序数据的傅氏级数拟合算法

一般地说,时序数据通常是由趋势项、随机项及季节周期项三种成分组成的。通过对已有的时序数据进行分析与建模,便可以找出事物所蕴含的变化规律。针对多周期时序数据,设计实现了一种高精度的数据拟合算法。该算法首先对被拟合时序数据的趋势成分进行消除,然后应用自相关函数理论从剩余成分中析出多个两两互质的基本周期,最后基于最小二乘原理,用多组傅氏级数对多周期时序数据进行了拟合。实际应用验证了算法的有效性及先进性。     

采掘关联规则的高效并行算法

采掘关联规则是数据采掘领域的一个重要问题。文中对采掘关联规则问题进行了简单的回顾,给出了一种提高顺序采掘关联规则效率的方法;分析了已有并采掘关联规则算法的优缺点;设计了一个效率较高的并行采掘关联规则的算法ＰＭＡＲ;并与其它相应算法进行了比较,实验证明,算法ＰＭＡＲ是有效的。     

时序数据的非线性最小二乘迭代分解算法

从时序数据中精确地分解出趋势、周期及随机噪声等数据成分，能有助于人们掌握事物在演变过程中所蕴藏的内在规律.基于非线性最小二乘法，提出一种性能更为高效的时序数据分解算法。首先，基于关键转折点和趋势导数的方法从待分解序列中概要地析出各种不同的数据成分，然后，分别利用多项式函数、正弦谐波级数及自回归模型对相应的数据成分进行拟合，最后，在加法模型中迭代求解各种数据成分的非线性最小二乘参数。实验表明，新设计的算法在分解精度和计算成本等指标上均优于现有的算法。     

一种基于属性集重心的多概念层数据采掘方法

文章在属性测度空间和有序分割类概念基础上,仿照力学上的重心概念,定义了属性集的重心及属性重心的高阶中心矩,将属性集重心和多概念层次生成相结合,提出了一种基于属性集重心的多概念层的数据采掘算法,特别是属性集重心概念的引入,极大地方便了人们对属性数据的采掘,提高了数据采掘结果的可信度,符合人们思维推理的习惯。并以年龄概念为例,表明了这种方法直观、切实可行。     

一种有效的自组织数据缩减算法

为提高数据采掘的效率,通常需要在提供同等分析结果的情况下对原数据集进行简化。文章提出了一种有效的数据缩减算法Sodra,以无监督与有监督相结合的学习方式生成适于分类的缩减数据集。对实际数据集和人工数据集的分类实验表明,所提出的算法既能大大降低空间需求,又不损害分类性能。同时,利用缩减集上的特征分析算法Relif-P可进一步提高算法对无关特征的适应能力。     

多层次序列模式采掘算法及其在供需链管理中的应用

供需链管理中一个重要的问题是加快处理各类交易数据,由于经济的全球化趋势,一 个先进企业或商业机构会不断地获取到来自于自身以及全球供需链中其他企业的各类数据, 包括生产、供应、销售等,往往还包括竞争对手的各类数据,如何从这些海量的数据中获取 有用信息成为非常紧迫的问题,数据采掘技术的出现为有效信息获取和即时分析提供了有效 手段．本文从市场数据的多层次性上着手,提出了一种在用于发现多层次序列模式信息的有 效算法,并给出了在分析顾客基础数据上的应用案例．     

时间序列周期模式挖掘的周期检测方法

周期是时间序列的重要特征之一,用于精确描述时间序列并预测其发展趋势。在现有周期模式挖掘算法中,周期长度由用户事先定义,忽略了噪声的存在。在ERP度量和时间弯曲算法的基础上,提出一种新的周期长度检测方法。该方法可以在时间轴上实现弯曲,包括延伸和平移。它受噪声干扰的影响较小,实验结果表明其性能优于原有周期检测算法。     

基于递推最小二乘滤波器的语音增强

根据语音信号短时预测特性和短时准周期性，以当前采样前若干点和前若干周期的采样为观测样本，采用横向滤波器结构，构造基于递推最小二乘算法的自适应滤波器。该算法无需先验知识和参考信道，且对平稳或非平稳噪声均适用。实验证明，信噪比有明显提高，且增强后语音信号LPC倒谱与纯净语音LPC倒谱的欧氏距离也比增强前有了明显减小。     

STNR: A suffix tree based noise resilient algorithm for periodicity detection in time series databases

Periodicity detection has been used extensively in predicting the behavior and trends of time series databases. In this paper, we present a noise resilient algorithm for periodicity detection using suffix trees as an underlying data structure. The algorithm not only calculates symbol and segment periodicity, but also detects the partial (or sequence) periodicity in time series. Most of the existing algorithms fail to perform efficiently in presence of noise; although noise is an inevitable constituent of real world data. The conducted experiments demonstrate that our algorithm performs more efficiently compared to other algorithms in presence of replacement, insertion, deletion or a mixture of any of these types of noise.     

基于VPRS的决策树算法中处理噪音数据的新方法

噪音数据是影响决策树训练效率和结果集质量的重要因素。目前的树剪枝方法不能消除噪音数据对选择决策树测试节点属性的影响。为改变这种状况,基于变精度Rough集(VPRS)模型,提出了一个在决策树算法中处理噪音数据的新方法---预剪枝法,该方法在进行选择属性的计算之前基于变精度正区域求取属性修正的分类模式,来消除噪音数据的对选择属性以及生成叶节点的影响。利用该方法对基本ID3决策树算法进行了改进。分析和实验表明,与先剪枝方法相比,该方法能进一步减小决策树的规模和训练时间。     

在重构相空间选取样本的时间序列分形预测

提出一种基于相空间重构原理进行样本选取的改进分形预测算法。该算法将时间序列在相空间重构中得到的嵌入维数和时间延迟作为分形预测中数据样本的选择依据,结合分形理论的拼贴定理和插值迭代算法,实现时间序列的分形预测,建立时间序列的分形预测模型。利用此改进算法对低压电力线噪声序列进行预测的结果表明,与现有分形算法相比,改进算法提高了数据样本间的相似度,优化了数据样本的选取,明显提高了预测的精度,适合于对自相似性和周期性不明确的时间序列的预测。     

全变分正则化非局部均值地震数据降噪

在地震数据的采集中往往存在随机噪声,噪声会影响地震数据分析的准确性,针对地震数据中存在的高斯噪声,传统非局部均值降噪算法在对地震数据降噪后无法有效保持地震数据中的同相轴边缘。将全变分正则化非局部均值算法应用于地震数据降噪,通过计算噪声估计值,更新去抖动非局部均值算法的权值,将去抖动非局部均值降噪结果进行全变分正则化约束,得到最佳的地震数据降噪结果。在有效去除高斯噪声的同时,保留地震数据的同相轴边缘。通过在合成地震数据、海上叠前地震数据、陆上叠后地震数据上进行降噪实验,对比该算法与非局部均值算法、基于近邻法选择策略的非局部均值算法的峰值信噪比、均方误差、平均结构相似度,得出全变分正则化非局部均值降噪算法在有效降噪的同时,可以较完整地保留地震数据的同相轴边缘细节。     

三角测距激光雷达的光斑定位算法研究

为了降低激光雷达测距系统的光斑信号噪声,提高系统的测距精度,对属性距离加权平均滤波及灰度质心法进行改进,提出一种应用于激光雷达系统的改进算法。以曲率为属性的属性距离加权平均滤波在去噪的同时很好地突出了光斑的峰值点。通过多次迭代计算灰度质心的求质心方法,进一步地提高光斑中心的定位精度,还解决了一般平方加权质心法容易受到噪声影响的问题。在MATLAB仿真环境中对实际采集的数据进行处理,实验表明本文算法对于4μs的像素单元可以取得0.05 pix的定位精度,并具有较好的稳定性。     

基于属性分割的差分隐私异构多属性数据发布

针对现有多属性数据隐私发布方法无法兼顾属性的敏感性差异和计算效率低的问题, 提出了一种基于属性分割的差分隐私异构多属性数据发布方法HMPrivBayes. 首先, 设计了满足差分隐私的谱聚类算法分割原始数据集, 其中相似矩阵的生成借助于属性最大信息系数. 其次, 借助属性信息, 该方法使用满足差分隐私的改进贝叶斯网络构建算法分别为每个数据子集构建贝叶斯网络. 最后, 以属性归一化风险熵为权重分配隐私预算, 对贝叶斯网络提取的属性联合分布添加异构噪声扰动, 实现了异构多属性数据保护. 实验结果表明, HMPrivBayes可以在减少注入合成数据集中噪声量的同时, 提高合成数据计算效率.     

An evidential reasoning based classification algorithm and its application for face recognition with class noise

For classification problems, in practice, real-world data may suffer from two types of noise, attribute noise and class noise. It is the key for improving recognition performance to remove as much of their adverse effects as possible. In this paper, a formalism algorithm is proposed for classification problems with class noise, which is more challenging than those with attribute noise. The proposed formalism algorithm is based on evidential reasoning theory which is a powerful tool to deal with uncertain information in multiple attribute decision analysis and many other areas. Thus, it may be more effective alternative to handle noisy label information. And then a specific algorithm—Evidential Reasoning based Classification algorithm (ERC) is derived to recognize human faces under class noise conditions. The proposed ERC algorithm is extensively evaluated on five publicly available face databases with class noise and yields good performance.     

一种改进的DBSCAN密度算法

DBSCAN算法是一种基于密度的聚类算法,算法存在许多优点,也存在一些不足。比如对输入参数Eps敏感,DB-SCAN由于采用全局Eps值,所以在数据密度不均匀和类间距离相差比较大的情况下,聚类质量会受到很大影响。文中主要针对算法输入参数Eps以及数据密度不均匀问题加以改进,提出了一种新的数据分区方法,通过对k-dist图纵坐标距离值单维度聚类,然后对比横坐标实现分区,使每个分区的数据尽可能均匀。实验证明,改进算法明显缓解了全局Eps导致的聚类质量恶化问题,聚类结果更加准确。