基于ICA与SOM的不完整数据处理

介绍了数据挖掘中不完整数据的研究现状及ICA与SOM的特点,提出了基于ICA与SOM的不完整数据的处理模型IVS-IDH,研究了数据之间存在相关关系且为非高斯分布时不完整数据的处理方法,在SOM基础上取得了不完整数据集的可视化分析结果,从而克服了Wang S提出的不完整数据处理方法的不足。     

基于ICA与ViSOM的不完整数据处理

本文介绍了数据挖掘中不完整数据的研究现状及ICA与ViSOM的特点,提出了基于ICA与ViSOM的不完整数据的处理模型IVIS-IDH,研究了数据之间存在相关关系且为非高斯分布时不完整数据的处理方法,对缺失数据值的估计方法及其估计的残差进行了详细的讨论和分析,并在ViSOM基础上取得了不完整数据集的可视化分析结果,从而克服了S.＆Wang提出的不完整数据处理方法的不足。     

基于数据挖掘的人力资源数据缺失值填补方法

现有人力资源数据缺失值填补方法均方根误差大、填补命中率低等问题。提出一种基于数据挖掘的人力资源数据缺失值填补方法。采用分裂Bregman迭代算法消除人力资源数据中存在的噪声,根据人力资源数据的时间序列特征,挖掘数据中存在的隐藏变量。根据特征对缺失值进行检测。通过FCMSI算法根据缺失值检测结果对缺失值进行填补,采用平均比率法首次填充人力资源数据,通过模糊C均值聚类算法对填充后的数据进行聚类处理,其次在协同过滤思想的基础上进一步对人力资源数据的缺失值进行填补。实验结果表明,所提方法的均方根误差小、填补命中率高。     

无线传感器网络中缺失数据的估计

针对无线传感器网络中经常存在的感知数据缺失的问题,提出一个分布式算法SC,其中包括2种缺失数据估计的方法,即SRS和CNI。算法SC根据当前节点的子节点数对SRS和CNI进行动态选择。理论分析表明,SC不增加额外的通信能量消耗。模拟实验结果表明,SC对缺失数据的估计具有较好的准确性,对于不同的拓扑结构有较好的适应性。     

基于时间序列数据特性的缺失值估计算法

时间序列是在如运动捕捉、传感器网络、气候预报和财经市场预测等应用中的重要分析手段之一,然而在许多现实应用中经常发生观察数据缺失现象,如何应用相应的方法和模型来预测和填补含缺失数据的时间序列是目前研究的热点。以运动捕捉中遮挡问题为例提出了改进方法,利用平滑性和相互关联等时间序列数据特性,发现时间序列数据中的隐藏变量并挖掘它们的动态特性,在此基础上预测和填补时间序列的缺失值。实验结果证明了方法具有较小的数据重构误差,方法的计算时间应随着输入和运动捕捉持续时间增大而缓慢增长。     

缺失数据下基于带约束粒子滤波的状态估计

实际工业过程具有强非线性非高斯噪声等特点,粒子滤波是一种常用的状态估计方法。带约束粒子滤波通过极大后验概率密度函数原则,将超出约束区域的状态估计值映射到约束区域,保证了状态估计的有效性。本文针对检测值部分缺失和全部缺失两种情况,提出一种缺失数据下的带约束粒子滤波算法。该算法基于贝叶斯原理,分别从先验粒子权值的计算以及状态估计值的映射两方面考虑了缺失数据的影响。仿真例子验证了该算法的有效性。     

BP神经网络在缺失数据估计中的应用

由于飞行参数记录系统所记录的数据很容易被污染,所以对飞参数据进行预处理已显得十分重要,而预处理的一项重要内容就是对缺失参数数据进行合理且有效地估计,真实地反映飞行器当时的状态.通过分析神经网络理论和飞参数据特征,提出了一种基于BP神经网络的缺失数据估计的方法,有效地解决了目前飞行参数记录系统记录数据时缺失数据的问题.利用某型飞机真实的数据进行仿真,结果表明了这种方法是可行且有效的.     

基于个性诊断的路段缺失速度值估计

针对基于GPS的浮动车技术因无法做到对路网的时空间全覆盖导致部分路段实时交通状态缺失问题,提出基于热门路段个性化诊断(personality diagnosis base on popular road,PDPR)模型对各路段上的缺失速度值进行估计。使用K均值算法对所有原始数据作离散化处理,根据数据覆盖率对路段进行分类;以高覆盖率路段的速度数据为辅助,使用个性诊断算法(personality diagnosis,PD)对低覆盖率路段进行缺失速度估计,把估计值映射到连续型空间。实验结果表明,PDPR模型估计误差比PPCA(probabilistic principal component analysis)算法低32.84%,比滑动平均法低5.70%。     

基于逐步回归分析的基因表达缺失值估计

在基因芯片实验中,数据缺失客观存在,并且在一定程度上会影响芯片数据后续分析结果的准确性。在不增加实验次数的情况下,缺失值估计是降低缺失数据对后续分析影响的有效方法。针对基因表达数据的特点,提出了基于逐步回归分析方法的基因表达缺失值估计算法。实验结果表明,新的估计算法具有较传统缺失值估计算法更好的稳定性和估计准确度。     

基于属性相关性的无线传感网络缺失值估计方法

针对无线传感器网络(WSN)中感知数据易缺失问题,提出了一种基于感知数据属性相关性的缺失值估计方法。该方法采用多元线性回归模型,对属性相关的感知数据的缺失值进行估计;同时,为提高算法估计的鲁棒性,提出了基于感知数据属性的数据交织传送策略。仿真结果表明,所提出的估计方法能有效估计无线传感器网络中的缺失值,相比基于时空相关性的线性插值模型(LM)算法和传统的最近邻插值(NNI)算法具有更高的精度和稳定性。     

Handling of incomplete data sets using ICA and SOM in data mining

Based on independent component analysis (ICA) and self-organizing maps (SOM), this paper proposes an ISOM-DH model for the incomplete data’s handling in data mining. Under these circumstances the data remain dependent and non-Gaussian, this model can make full use of the information of the given data to estimate the missing data and can visualize the handled high-dimensional data. Compared with mixture of principal component analyzers (MPCA), mean method and standard SOM-based fuzzy map model, ISOM-DH model can be applied to more cases, thus performing its superiority. Meanwhile, the correctness and reasonableness of ISOM-DH model is also validated by the experiment carried out in this paper.     

一种基于ICA空间高斯混合模型的新颖检测*

新颖检测中,可应用高斯混合模型建立已知数据模型,拟合数据分布,但当数据维数较高时,自由参数太多,训练需要巨大的数据采样,而ICA搜寻数据的最大统计独立表示,可以将数据从高维空间投影到低维空间。提出一种基于ICA空间高斯混合模型的新颖检测,可有效减少估测的自由参数,降低训练数据采样的苛刻要求,实验也验证了该方法的可行性。     

基于ICA与Bayes的判别分析模型

简要介绍了Bayes判别分析模型的特点及存在的问题,概括了独立成分分析(ICA)的特点及发展现状,提出了基于ICA与Bayes的判别分析模型--IBD模型.该模型首先利用ICA的方法将相关性数据指标转换为互相独立的数据指标,并通过卡尔曼滤波方式滤去高频数据,有效地去除了噪声,最后利用Bayes方法对转换的数据进行判别分析.实验结果表明,当数据之间存在相关关系时,IBD模型的判别分析效果要优于Bayes与Fisher判别分析模型.     

基于核独立成分分析的人脸识别研究

在人脸识别中提出一种基于非线性子空间的核独立成分分析(KICA)方法。在简单介绍了ICA方法的基础上,对KICA方法的基本原理和算法作了较为详细的描述。为了验证基于KICA和ICA的人脸识别方法的识别效果,进行了对比实验和分析。实验和分析结果表明,在人脸识别中,基于KICA的方法优于基于ICA的方法。     

基于方差滤波和ICA算法的人眼定位

采用方差滤波器确定人眼候选区域, 结合独立成分分析(ICA)方法对人眼进行快速定位, 能够有效地提取训练图像的高阶统计特征, 很好地去除基向量的相关性. 与主成分分析(PCA)和传统ICA方法相比具有更好的鉴别能力. 实验表明, 该方法的识别率可达97.3%, 并对光照和姿态变化也具有很好的鲁棒性.     

基于PCA和ICA的虹膜识别方法

为了提高虹膜识别的正确率,提出了利用主成分分析(PCA)与独立成分分析(ICA)相结合的方法,来对虹膜进行识别的方法。用该方法进行虹膜识别时,首先对预处理后的虹膜图像,利用PCA算法进行去二阶相关和降维处理;然后再进行ICA训练。ICA训练采用了以下两种方法:方法1,将参与ICA训练的图像看作是随机变量,而将图像中的像素值看作是随机实验结果,ICA训练后即可得到相互独立的ICA虹膜基图像;方法2,将图像中的像素值看作是随机变量,而将图像看作是随机实验结果,ICA训练后即得到相互独立的ICA系数。采用CASIA虹膜数据库进行的试验结果表明,基于PCA和ICA的虹膜识别算法在两种训练方式下的正确识别率分别达到98.89%和98.33%。     

基于独立分量的信号分离算法研究

噪声控制工程中,定量分离主要噪声源是一个非常复杂的问题,国内外对此进行了大量研究,并提出了许多算法,但基本都只适用于线谱,对于宽带信号显得无能为力.据此,基于独立分量分解原理,尝试通过信号分解、线谱提取的方式,将宽带噪声从原信号中准确分离出来,然后可以依据相干分析和谱分析等手段定量分析.计算机仿真研究效果良好,证明该方法具有一定工程应用价值.     

核ICA在电流传感器相位差监测中的应用

介绍了核独立分量分析(ICA)的基本原理和算法,并将其用于对电流传感器输出的混合信号进行分离,通过比较分离出的单频测试信号输入前后的相位差,来标定传感器本身的相位差对其检测对象的影响。此外,还采用最大似然法对核ICA的分离效果进行评价。实验证明:在输入信号的信噪比为18.73dB的情况下,核ICA分离出的信号与源信号相位差在0.002 rad以内,达到了实际应用中所要求的误差范围。     

改进的ICA算法及其在特征捆绑中的应用

针对fM RI数据信噪比低、数据量大的特点,将Pearson分布族应用于独立成分分析算法中,提出基于Pearson系统的独立成分分析算法。增加非线性函数生成器,改进调整步长的方法,能根据观测数据自适应地估计非线性函数。改进的算法与原ICA算法相比,运行速度时间缩短,在fM RI信号分离中取得了较好的效果。将该算法应用于颜色和形状的特征捆绑认知中,得出参与捆绑认知的各大脑区域的主要作用,为建立视觉特征捆绑的认知模型提供理论基础。