基于ICA与SOM的不完整数据处理

介绍了数据挖掘中不完整数据的研究现状及ICA与SOM的特点,提出了基于ICA与SOM的不完整数据的处理模型IVS-IDH,研究了数据之间存在相关关系且为非高斯分布时不完整数据的处理方法,在SOM基础上取得了不完整数据集的可视化分析结果,从而克服了Wang S提出的不完整数据处理方法的不足。     

基于ICA与ViSOM的不完整数据处理

本文介绍了数据挖掘中不完整数据的研究现状及ICA与ViSOM的特点,提出了基于ICA与ViSOM的不完整数据的处理模型IVIS-IDH,研究了数据之间存在相关关系且为非高斯分布时不完整数据的处理方法,对缺失数据值的估计方法及其估计的残差进行了详细的讨论和分析,并在ViSOM基础上取得了不完整数据集的可视化分析结果,从而克服了S.＆Wang提出的不完整数据处理方法的不足。     

无线传感器网络中缺失数据的估计

针对无线传感器网络中经常存在的感知数据缺失的问题,提出一个分布式算法SC,其中包括2种缺失数据估计的方法,即SRS和CNI。算法SC根据当前节点的子节点数对SRS和CNI进行动态选择。理论分析表明,SC不增加额外的通信能量消耗。模拟实验结果表明,SC对缺失数据的估计具有较好的准确性,对于不同的拓扑结构有较好的适应性。     

基于时间序列数据特性的缺失值估计算法

时间序列是在如运动捕捉、传感器网络、气候预报和财经市场预测等应用中的重要分析手段之一,然而在许多现实应用中经常发生观察数据缺失现象,如何应用相应的方法和模型来预测和填补含缺失数据的时间序列是目前研究的热点。以运动捕捉中遮挡问题为例提出了改进方法,利用平滑性和相互关联等时间序列数据特性,发现时间序列数据中的隐藏变量并挖掘它们的动态特性,在此基础上预测和填补时间序列的缺失值。实验结果证明了方法具有较小的数据重构误差,方法的计算时间应随着输入和运动捕捉持续时间增大而缓慢增长。     

缺失数据下基于带约束粒子滤波的状态估计

实际工业过程具有强非线性非高斯噪声等特点,粒子滤波是一种常用的状态估计方法。带约束粒子滤波通过极大后验概率密度函数原则,将超出约束区域的状态估计值映射到约束区域,保证了状态估计的有效性。本文针对检测值部分缺失和全部缺失两种情况,提出一种缺失数据下的带约束粒子滤波算法。该算法基于贝叶斯原理,分别从先验粒子权值的计算以及状态估计值的映射两方面考虑了缺失数据的影响。仿真例子验证了该算法的有效性。     

BP神经网络在缺失数据估计中的应用

由于飞行参数记录系统所记录的数据很容易被污染,所以对飞参数据进行预处理已显得十分重要,而预处理的一项重要内容就是对缺失参数数据进行合理且有效地估计,真实地反映飞行器当时的状态.通过分析神经网络理论和飞参数据特征,提出了一种基于BP神经网络的缺失数据估计的方法,有效地解决了目前飞行参数记录系统记录数据时缺失数据的问题.利用某型飞机真实的数据进行仿真,结果表明了这种方法是可行且有效的.     

基于个性诊断的路段缺失速度值估计

针对基于GPS的浮动车技术因无法做到对路网的时空间全覆盖导致部分路段实时交通状态缺失问题,提出基于热门路段个性化诊断(personality diagnosis base on popular road,PDPR)模型对各路段上的缺失速度值进行估计。使用K均值算法对所有原始数据作离散化处理,根据数据覆盖率对路段进行分类;以高覆盖率路段的速度数据为辅助,使用个性诊断算法(personality diagnosis,PD)对低覆盖率路段进行缺失速度估计,把估计值映射到连续型空间。实验结果表明,PDPR模型估计误差比PPCA(probabilistic principal component analysis)算法低32.84%,比滑动平均法低5.70%。     

基于逐步回归分析的基因表达缺失值估计

在基因芯片实验中,数据缺失客观存在,并且在一定程度上会影响芯片数据后续分析结果的准确性。在不增加实验次数的情况下,缺失值估计是降低缺失数据对后续分析影响的有效方法。针对基因表达数据的特点,提出了基于逐步回归分析方法的基因表达缺失值估计算法。实验结果表明,新的估计算法具有较传统缺失值估计算法更好的稳定性和估计准确度。     

基于属性相关性的无线传感网络缺失值估计方法

针对无线传感器网络(WSN)中感知数据易缺失问题,提出了一种基于感知数据属性相关性的缺失值估计方法。该方法采用多元线性回归模型,对属性相关的感知数据的缺失值进行估计;同时,为提高算法估计的鲁棒性,提出了基于感知数据属性的数据交织传送策略。仿真结果表明,所提出的估计方法能有效估计无线传感器网络中的缺失值,相比基于时空相关性的线性插值模型(LM)算法和传统的最近邻插值(NNI)算法具有更高的精度和稳定性。     

无线传感器网络中缺失数据估计算法

为了提高无线传感器网络(WSN)中缺失数据估计值的精度,提出了一种自决策插值算法。该算法能够根据数据集的空间相关性以及缺失数据的连续性选择不同的缺失数据估计策略,并将自回归滑动平均(ARMA)模型引入到对缺失数据插值的研究中。与传统缺失值估计算法相比,该算法不仅考虑到无线传感器网络的特性,而且考虑到数据集本身的特性。在真实数据集上测试结果表明,该算法提高了对缺失值估计的精度。     

基于ICA与MViSOM的孤立点挖掘模型

本文提出了一种基于独立成分分析（ICA）与改进的可视化诱导自组织映射（MViSOM）的孤立点挖掘模型——IMVOM模型,该模型用ICA方法对观测到的多维随机向量进行独立成分分解,得到一个独立成分数据集,然后用改进的MViSOM方法取得数据的可视化。该模型充分结合“人类擅长于模式识别的能力”与“电脑擅长于大量地记忆、快速地计算的能力”的双方优点进行孤立点的挖掘,避免了对高维数据内部结构的复杂探测,从而克服了高维数据集孤立点挖掘过程中的一些困难。实验结果也验证了所提模型的合理性。     

基于ICA与SVM的孤立点挖掘模型

本文提出一种基于独立成分分析（ICA）与支持向量机（SVM）的孤立点挖掘模型ISOM模型,用ICA对观测到的多维随机向量进行独立成分分解,用SVM估计独立成分的密度函数,克服了传统孤立点挖掘方法的一些缺点,为数据挖掘提供了一种有效的方法,并通过实验验证了该模型的合理性与正确性。     

一种基于ICA空间高斯混合模型的新颖检测*

新颖检测中,可应用高斯混合模型建立已知数据模型,拟合数据分布,但当数据维数较高时,自由参数太多,训练需要巨大的数据采样,而ICA搜寻数据的最大统计独立表示,可以将数据从高维空间投影到低维空间。提出一种基于ICA空间高斯混合模型的新颖检测,可有效减少估测的自由参数,降低训练数据采样的苛刻要求,实验也验证了该方法的可行性。     

基于ICA与Bayes的判别分析模型

简要介绍了Bayes判别分析模型的特点及存在的问题,概括了独立成分分析(ICA)的特点及发展现状,提出了基于ICA与Bayes的判别分析模型--IBD模型.该模型首先利用ICA的方法将相关性数据指标转换为互相独立的数据指标,并通过卡尔曼滤波方式滤去高频数据,有效地去除了噪声,最后利用Bayes方法对转换的数据进行判别分析.实验结果表明,当数据之间存在相关关系时,IBD模型的判别分析效果要优于Bayes与Fisher判别分析模型.     

Handling of incomplete data sets using ICA and SOM in data mining

Based on independent component analysis (ICA) and self-organizing maps (SOM), this paper proposes an ISOM-DH model for the incomplete data’s handling in data mining. Under these circumstances the data remain dependent and non-Gaussian, this model can make full use of the information of the given data to estimate the missing data and can visualize the handled high-dimensional data. Compared with mixture of principal component analyzers (MPCA), mean method and standard SOM-based fuzzy map model, ISOM-DH model can be applied to more cases, thus performing its superiority. Meanwhile, the correctness and reasonableness of ISOM-DH model is also validated by the experiment carried out in this paper.     

用ICA提取高维科学数据的特征

独立分量分析(ICA)是基于数据高阶统计特性的一种线性变换手段。目前,已广泛应用于盲信号分离和图像识别。文章将此技术引入到科学数据挖掘领域,以求解决预处理中高维复杂特征的提取问题。提出了ICA结合主成分分析(PCA)的特征提取步骤,并结合科学数据集量大的特点给出了一种快速收敛算法—FastICA。最后指出ICA特征提取技术可以应用于高维科学数据挖掘,并且较传统的特征提取技术有更高的准确率。     

应用小波变换和ICA方法的肌电信号分解

基于单通道、短时真实肌电（EMG）记录和模拟EMG信号,提出一种改进的肌电信号分解方法。首先应用小波滤波、硬阈值估计等方法去除背景噪声和白噪声,并将独立成分分析（ICA）方法和小波滤波方法相结合去除工频干扰信号,然后再进行幅度滤波,从而提高了系统的速度和强健性。在运动单元动作电位（MUAP）聚类以及从原始信号中去除已识别的MUAP波形等方面也进行了改进。与已有的EMG分解方法相比,本文方法更快速、稳定。     

基于ICA和NFL分类的局部人脸识别方法

目前已存在很多基于统计的人脸整体识别方法，独立元分析方法就是一种基于信号高阶统计特性的方法。但由于人脸光照、姿态、信息缺损等外部不可避免因素会引起整个人脸灰度图像产生很大的变化，因而会对这类整体统计性方法的稳定性产生很大影响。为此提出了一种基于独立元分析和最近邻特征线的局部人脸识别方法。首先，通过对人眼的手工定位并依据人脸几何特征完成对人脸图像的截取和局部分块，从而移除发型等无用信息；然后对每个局部图像进行PCA／ICA特征提取；最后的识别阶段，通过最近邻特征线方法得到各自识别距离，并通过对各部分设置合理的权重来综合判定。实验结果表明，作为一种有效的识别方法，分块独立元方法在识别率、识别的稳定性、应用的灵活性等方面都优于传统的整体识别方法。     

利用高阶累积量和独立分量分析网络进行盲均衡与系统辨识

在高阶累积量的基础上，利用过采样技术和独立分量分析神经网络，得到一种新的自适应盲辨识和信道均衡方法。与同类方法相比，本文提出的方法网络结构简单，不必利用训练序列，可以同时得到系统参数和均衡输出。