基于ICA与ViSOM的不完整数据处理

本文介绍了数据挖掘中不完整数据的研究现状及ICA与ViSOM的特点,提出了基于ICA与ViSOM的不完整数据的处理模型IVIS-IDH,研究了数据之间存在相关关系且为非高斯分布时不完整数据的处理方法,对缺失数据值的估计方法及其估计的残差进行了详细的讨论和分析,并在ViSOM基础上取得了不完整数据集的可视化分析结果,从而克服了S.＆Wang提出的不完整数据处理方法的不足。     

数据挖掘中基于ICA的缺失数据值的估计

本文简单介绍了数据挖掘中缺失数据的研究现状及ICA的特点与发展前景,提出了基于ICA的缺失数据估计模型——ICA-MDH模型。该模型研究了数据之间存在相关关系且为非高斯分布时缺失数据的处理方法,该方法能充分利用已知数据记录中的已知信息,且具有较好的通用性。实验通过对一些不完整经济数据进行了处理。结果表明,本文提出的缺失数据估计方法的精度明显优于平均值法和PCAs法,从而验证了本文所提模型的正确性与合理性。     

功能磁共振图像处理的ICA方法综述

能够进行无损伤探测的功能核磁共振成像(functional magnetic resonance imaging，fMRI)技术使人们又多了一种研究神经活动的有力工具，但传统的数据分析方法还不能很好地揭示fMRI数据中所包含的丰富信息，而独立分量分析(indepenctent component analysis，ICA)作为一种新近出现的数据处理方法，则不仅可以从fMRI数据分析中得出一些传统方法所未发现的结果，并且这种方法不需要传统方法的那种预先假设的先验模型，只依赖于数据本身即可提取其中所包含的信息。为了使人们对这一技术有一概略了解，首先对ICA方法的基本原理及其在fMRI数据处理中的应用进行了综述，并针对不同特点的fMRI数据详细讨论了如何选择不同的算法；然后ICA方法与传统方法相比存在的优越性进行了介绍，最后提出了此方法当前存在的一些问题及处理思路，并展望了其在fMRI数据处理中的发展趋势，可以认为，ICA是一种很有发展潜力的功能磁共振数据处理新方法。     

脑图像数据中的独立分量分析方法

针对脑功能磁共振成像在处理数据时空间维数较大的问题,提出一种空间独立分量分析(ICA)方法。研究空间ICA方法的基本模型结构和空间ICA的3种常见算法,即Infomax算法、Fixed-Point算法和Orth-Infomax算法。设计中文词义辨别实验,并使用线性相关方法进行算法比较。实验结果表明,与Infomax算法、Fixed-Point算法相比,Orth-Infomax算法任务相关分量的时间序列与参考函数的平均相关系数最大,具有较高的求解质量和求解效率,能够有效处理脑功能磁共振成像系统中存在的大量数据。     

面向对象的ICA变化检测新方法

通过分析高分辨率影像变化检测方法存在的问题,提出了结合面向对象和非抽样小波变换(undecimated discrete wavelet transform,UDWT)的独立成分分析(Independent Component Analysis,ICA)变化检测新算法。利用面向对象处理方法提取的影像对象特征图作为构建ICA子空间估计输入向量的数据,改善了对噪声抑制的效果,同时,提出了自适应权值的影像对象提取算法,进一步优化了面向对象的处理方法;采用非抽样小波变换进行分块有效克服了现有分块方法带来的ICA子空间估计输入向量尺寸缩减、子空间估计不准确的突出问题。定性定量仿真结果表明:与典型的ICA算法和UDWT算法相比,新算法在高分辨影像变化检测的准确性和鲁棒性方面都得到了很大的改善。     

ICA算法在fMRI中的应用

独立分量分析（ICA）是信号处理领域新近发展起来的一种很有应用前景的方法,而脑功能磁共振（fMRI）信号的有效分离与识别是一个正在研究和实验之中的技术领域。近年来,ICA已被成功地应用于fMRI数据的处理,成为分析IMRI数据的一种很有效的方法。本文介绍了ICA在分析fMRI数据方面的应用,以及多种ICA算法在fMRI信号盲源分离中 的应用,分析了三种算法的问题,给出了本人对此研究的展望。     

一种有效的不完整数据分类器

在模式识别、机器学习以及数据挖掘中,分类是一个基本而又重要的问题.虽有大量的分类器应运而生,但由于处理不完整数据的复杂性,它们大都是针对完整数据的.然而,由于各种原因,现实中的数据通常是不完整的.因此,对不完整数据分类器的研究具有重要意义.通过分析以往在分类过程中对不完整数据的处理方法,提出了一种不完整数据分类器:DBCI.在DBCI的训练过程中,将缺失值的频数按比例地分配到其它观测值的频数中.因此,不完整数据集所包含的信息可以得到充分利用.在12个标准的不完整数据集上的实验结果表明,与分类效果显著的不完整数据分类器RBC相比,DBCI具有更高的分类效率和更稳定的性能,并且它的分类准确率可以与RBC相媲美.     

基于多元回归KNN的网络数据库不完整信息填充

由于网络数据库中缺失数据具有噪声,导致网络数据库不完整信息填充结果偏差较大,提出基于多元回归KNN的网络数据库不完整信息填充方法.采用灰色关联度计算方法对数据库中的不完整信息进行检测,根据检测结果,利用信息熵的属性约简算法,对不完整信息进行约简处理.采用多元回归KNN方法计算网络数据库中目标数据与完全值数据矩阵中所有数据记录的欧氏距离,并选出欧式距离最小的数据记录作为目标数据的最近邻,判断目标数据的非噪声最近邻,完成对最近邻噪声的消除,获取缺失值,完成对网络数据库不完整信息填充.实验结果表明,研究的方法有效减少了缺失数据检测时间与预测误差,缩短了网络数据库不完整信息填充的时间,提高了对缺失数据估计值的准确度,满足网络数据库不完整信息填充需求.     

数据缺失的扩展置信规则库推理方法

数据驱动的扩展置信规则库专家系统能够处理含有定量数据或定性知识的不确定性问题.该方法已被广泛地研究和应用,但仍缺乏在不完整数据问题上的研究.鉴于此,针对不完整数据集上的问题,提出一种新的扩展置信规则库专家系统推理方法.首先提出基于析取范式的扩展规则结构,并通过实验讨论了在新的规则结构下,置信规则前提属性参考值个数对推理方法的影响;然后提出通过不完整数据生成具有不完整置信规则,并构成析取范式置信规则库的方法,同时引入衰减因子修正不完整规则权重,使不完整规则可以更合理地参与信息融合过程;最后,选取若干个公共数据集对所提方法进行验证.与其他方法的实验对比显示,新方法在完整数据集上有良好表现的同时,对具有不同缺失程度和缺失模式的数据集表现出更好更稳定的推理效果.     

应用图像融合的fMRI数据处理方法的研究

提出了一种新的fMRI数据处理方法,融合了统计参数图（SPM）、独立成分分析(ICA)所提取的特征信息,实现脑功能激活区的准确提取。首先通过时段设计实验获取了反应不同握力条件下手运动相关皮层活动的fMRI数据,并且进行相应的预处理;然后采用SPM和ICA方法分别提取脑功能信息;研究了一种基于主成分分析的图像融合算法。最后,应用图像融合算法对SPM和ICA方法分别提取的脑功能信息进行融合。结果表明,该方法弥补了SPM和ICA两种方式的不足,是一种进行功能区定位更加有效的方法。     

Handling of incomplete data sets using ICA and SOM in data mining

Based on independent component analysis (ICA) and self-organizing maps (SOM), this paper proposes an ISOM-DH model for the incomplete data’s handling in data mining. Under these circumstances the data remain dependent and non-Gaussian, this model can make full use of the information of the given data to estimate the missing data and can visualize the handled high-dimensional data. Compared with mixture of principal component analyzers (MPCA), mean method and standard SOM-based fuzzy map model, ISOM-DH model can be applied to more cases, thus performing its superiority. Meanwhile, the correctness and reasonableness of ISOM-DH model is also validated by the experiment carried out in this paper.     

Application of self-organising maps for data mining with incomplete data sets

Self-organising maps (SOM) have become a commonly-used cluster analysis technique in data mining. However, SOM are not able to process incomplete data. To build more capability of data mining for SOM, this study proposes an SOM-based fuzzy map model for data mining with incomplete data sets. Using this model, incomplete data are translated into fuzzy data, and are used to generate fuzzy observations. These fuzzy observations, along with observations without missing values, are then used to train the SOM to generate fuzzy maps. Compared with the standard SOM approach, fuzzy maps generated by the proposed method can provide more information for knowledge discovery.     

基于Voronoi距离的鲁棒的双自组织特征映射网络

提出了一种基于Voronoi距离的双自组织特征映射网络。该网络通过同时使用两个相关的映射网络扩展了原有的自组织神经网络。针对自组织特征映射网络容易受到高噪声的影响，通过使用Voronoi cell的距离来取代网络中的欧式距离，增强了网络的鲁棒性。将改进后的神经网络用于金融时间序列的预测，实验结果表明改进后的神经网络具有较强的鲁棒性。     

A flexible multi-layer self-organizing map for generic processing of tree-structured data

A new multi-layer self-organizing map (MLSOM) is proposed for unsupervised processing tree-structured data. The MLSOM is an improved self-organizing map for handling structured data. By introducing multiple SOM layers, the MLSOM can overcome the computational speed and visualization problems of SOM for structured data (SOM-SD). Node data in different levels of a tree are processed in different layers of the MLSOM. Root nodes are dedicatedly processed on the top SOM layer enabling the MLSOM a better utilization of SOM map compared with the SOM-SD. Thus, the MLSOM exhibits better data organization, clustering, visualization, and classification results of tree-structured data. Experimental results on three different data sets demonstrate that the proposed MLSOM approach can be more efficient and effective than the SOM-SD.     

限定记忆模式的MEWMA-ICA方法研究及其应用

传统基于多变量指数移动加权平均的独立元分析(MEWMA-ICA)方法:虽然可以有效监测化工过程中的缓变故障,但对突变故障监测滞后。本文提出了限定记忆模式的MEWMA-ICA方法:。该方法:通过引入基于记忆代数的遗忘因子,构造动态建模数据集。随后利用动态数据集建立ICA统计分析模型。最后采用T~2和SPE统计量对系统进行监测。其中,遗忘因子和记忆代数是通过优化算法进行选择的。通过测试问题和裂解气压缩机的仿真研究,验证了限定记忆模式的MEWMA-ICA方法:在保证传统MEWMA-ICA算法对缓变故障监测能力的同时,减少了对突变故障监测的时滞。     

独立分量分析及其在图像处理中的应用现状

独立分量分析是一种基于高阶统计量的信号分析方法,它可以找到隐含在数据中的独立分量,近年来作为信号处理和图像处理领域的强有力的分析处理工具得到广泛的关注和研究。在介绍了独立分量分析的基本概念和各种实现算法及其性能的基础上,综述了独立分量分析在图像处理上的应用,最后结合作者的研究探索,总结了独立分量分析的研究新进展和发展趋势。     

ICA-based neighborhood preserving analysis for face recognition

We present a new dimensionality reduction method for face recognition, which is called independent component based neighborhood preserving analysis (IC-NPA). In this paper, NPA is firstly proposed which can keep the strong discriminating power of LDA while preserving the intrinsic geometry of the in-class data samples. As NPA depends on the second-order statistical structure between pixels in the face images, it cannot find the important information contained in the high-order relationships among the image pixels. Therefore, we propose IC-NPA method which combines ICA and NPA. In this method, NPA is performed on the reduced ICA subspace which is constructed by the statistically independent components of face images. IC-NPA can fully consider the statistical property of the input feature. Furthermore, it can find an embedding that preserves local information. In this way, IC-NPA shows more discriminating power than the traditional subspace methods when dealing with the variations resulting from changes in lighting, facial expression, and pose. The feasibility of the proposed method has been successfully tested on both frontal and pose-angled face recognition, using two data sets from the FERET database and the CAS-PEAL database, respectively. The experiment results indicate that the IC-NPA shows better performance than the popular method, such as the Eigenface method, the ICA method, the LDA-based method and the Laplacianface method.     

PolSOM: A new method for multidimensional data visualization

In this paper, a new algorithm named polar self-organizing map (PolSOM) is proposed. PolSOM is constructed on a 2-D polar map with two variables, radius and angle, which represent data weight and feature, respectively. Compared with the traditional algorithms projecting data on a Cartesian map by using the Euclidian distance as the only variable, PolSOM not only preserves the data topology and the inter-neuron distance, it also visualizes the differences among clusters in terms of weight and feature. In PolSOM, the visualization map is divided into tori and circular sectors by radial and angular coordinates, and neurons are set on the boundary intersections of circular sectors and tori as benchmarks to attract the data with the similar attributes. Every datum is projected on the map with the polar coordinates which are trained towards the winning neuron. As a result, similar data group together, and data characteristics are reflected by their positions on the map. The simulations and comparisons with Sammon's mapping, SOM and ViSOM are provided based on four data sets. The results demonstrate the effectiveness of the PolSOM algorithm for multidimensional data visualization.     

基于概率矩阵分解的不完整数据集特征选择方法

在机器学习理论与应用中,特征选择是降低高维数据特征维度的常用方法之一。传统的特征选择方法多数基于完整数据集,对实际应用中普遍存在缺失数据的情形研究较少。针对不完整数据中含有未被观察信息和存在异常值的特点,提出一种基于概率矩阵分解技术的鲁棒特征选择方法。使用基于分簇的概率矩阵分解模型对数据集中的缺失值进行近似估计,以有效测量相邻簇之间数据的相似性,缩小问题规模,同时降低填充误差。依据缺失数据值存在少量异常值的情形,利用基于l_2,1损失函数的方法进行特征选择,在此基础上给出不完整数据集的特征选择方法流程,并对其收敛性进行理论分析。该方法利用不完整数据集中的所有信息,有效应对不完整数据集中异常值带来的影响。实验结果表明,相比传统特征选择方法,该方法在合成数据集上选择更少的无关特征,可降低异常值带来的影响,在真实数据集上获得了较高的分类准确率,能够选择出更为准确的特征。