基于信息熵的高维稀疏大数据降维算法研究

数据降维是从高维数据中挖掘有效信息的必要步骤。传统的主成分分析（PCA）算法应用于超高维稀疏数据降维时,存在着无法将所有数据特征一次性读入内存以进行分析计算的问题,而之后提出的分块处理PCA算法由于耗时太长,并不能满足实际需求。本文引入信息熵的思想对PCA算法进行改进,提出E-PCA算法,先利用信息熵对数据进行特征筛选,剔除大部分无用特征,再使用PCA算法对处理后的超高维稀疏数据进行降维。通过实验结果表明,在保留相同比例原数据信息的情况下,本文提出的基于信息熵的E-PCA算法在内存占用、运行时间以及降维结果都优于分块处理PCA算法。     

科学计算可视化与数据可视化的比较研究

可视化技术是在20世纪80年代发展起来的一个新的技术领域。本文将着重介绍科学计算可视化的提出背景及其特点,数据可视化的概念意义及应用,以及它们的基本思想、比较它们的不同点及应用领域。     

基于OpenGL的二维电法数据三维可视化技术研究

结合目前电法勘探数据成图及二维解释的特点及存在的局限性,研究了OpenGL和VC＋＋2005联合编程,结合二维剖面数据特点,研制了基于OpenGL的电法数据三维可视化系统Geo3DVis。Geo3DVis的基本功能包括工区建立、二维解释、三维显示;实现了对二维剖面数据的动态放大、缩小、平移等交互操作。将Geo3DVis应用于实际二维物探数据资料解释,取得了良好的地质效果。     

基于局部敏感哈希算法的图像高维数据索引技术的研究

局部敏感哈希（LSH）算法是有效的高维数据索引方法之一,该算法成功地解决了“维数灾难”问题。分析了LSH算法中主要参数对索引性能的影响,在规模不同的图像数据集上应用了LSH算法,实验结果表明选择合适的参数时,其性能接近顺序搜索方法。     

差分隐私保护下的高维数据集发布

为了解决维度灾难所引起的隐私保护数据发布计算复杂度高、可用性低的问题,提出基于差分隐私采样机制和贝叶斯网络的DPSM-Bayes算法。利用贝叶斯网络模型,将高维联合概率分布转化为多个低维边缘概率分布,结合差分隐私采样机制和更适合高维概率分布加噪的IMLaplace机制,生成可用性更高的高维合成数据集。实验结果证明,在提供相同差分隐私保护的前提下,DPSM-Bayes算法能够有效地处理高维数据集的发布问题,与现有的方法相比发布的数据集具有更高的质量和可用性。     

基于信息熵的高维分类型数据子空间聚类算法

由于分类型数据相异度度量的局限性以及分类型数据在高维空间中的稀疏性,使得传统的相异度度量在高维分类型数据聚类中失效,针对上述问题,本研究提出了一个基于信息熵的理论高维分类型数据聚类算法。该算法综合考虑对应子空间和噪声空间的维度信息熵设计了一个高效、无监督的子空间搜索对高维数据进行有效降维,同时提出了基于整体数据的平均信息熵的全局优化方法对聚类结果进行迭代寻优。通过用人工数据和Votes、Mushroom和Soybean 3个典型的真实分类数据集试验,与其他分类型聚类算法相比,新算法在聚类准确性、熵值、CU（category utility）以及类个数等指标上有明显提高。     

基于B/S模式的Web数据可视化研究

介绍了几种生成Web动态图表的方法,比较了它们的优缺点,并对适于绘制图表的TeeChan Pro ActiveX组件给出了具体的实现方法.     

Web数据挖掘可视化研究与应用

通过Web数据挖掘算法研究Web服务器日志,阐述Web数据挖掘基本流程,利用(.NET)开发组件可视化展示Web数据挖掘信息,以提供决策支持.     

基于OpenGL的煤矿地震数据三维可视化

结合煤矿地震数据特点,研究了OpenGL和VC＋＋6．0联合编程,利用适合地震数据三维显示的算法,研制了基于Windows的煤矿地震数据三维可视化系统Sgy3D,Sgy3D的基本功能包括数据体、Inline剖面、Crossline剖面、层位、等值线、任意测线等要素的三维立体显示;实现了对数据体的动态放大、缩小、平移等交互操作。将Sgy3D应用于实际地震资料解释,取得了良好的地质效果。     

面向数据探索的城市发展可视化研究

回顾了城市发展研究的理论、趋势及工具 ,认为目前的研究工具或多或少地存在着对城市发展研究的不适应方面 ,而可视化技术能在另一个视点做到一种合理的补充 .其次介绍了探索性可视化理论的形成过程及研究重点 ,提出将其运用到城市发展中的理论依据 .随后以一个可视化实例 ,分析其探索的成效性及与一些量化分析相结合的可能性 ,最后提出一些今后研究的方向     

一种新的高维数据聚类自适应算法的研究

聚类有效性是用来评估在不同输入条件下的聚类算法性能的处理过程.高维数据空间的稀疏性和"维灾"问题使得传统有效性指标失去作用.提出新的可用于高维数据集的有效性指标,并结合启发式递减算法,提出一种高维数据的自适应聚类算法,用于确定高维数据集的最佳聚类数目.实验结果表明:提出的聚类算法有较好的性能.     

基于ASP与Matlab COM实现Web数据可视化

ASP是流行的Web应用开发环境,Matlab具有强大的数据可视化功能。利用COM接口进行了ASP对Matlab数据可视化功能的调用,实现了在Web应用中的数据可视化。     

基于钻孔数据的矿体三维可视化研究与实现

建立矿体三维可视化模型是数字化矿山的重要内容，对矿山生产、地质分析有着十分重要的作用.提出了基于钻孔数据的断面 不规则三角网 广义三棱柱(Section Triangle Irregular Net Generalized Tri Prism，Section TIN GTP)混合矿体建模方法，该模型既可以用TIN表示矿体的表面模型，又可以用GTP表示矿体的内部实体结构；利用边界轮廓控制点的对称性，提出了基于领域知识的由剖面轮廓构建三维模型的快速算法；并设计实现了矿体三维建模系统，该系统通过自动绘制和交互式修改勘探线剖面图将专家的知识经验融入实际的矿体建模中，提高了矿体建模的精度；最后利用该系统展示了一个实际矿体的三维可视化模型.     

数据可视化及其在地学中的应用

数据可视化是将多维数据以图形、图像方式显示,拓宽了传统图标的功能,提高了人们对数据的处理及解释能力,为更好地利用数据奠定了基础。数据可视化已经应用于处理地学数据,并且应用各种语言开发出了多种数据可视化技术。本文简要地介绍了数据可视化及其在地学中的应用,并结合实例介绍了其实现语言OpenGL、实现技术分治技术。指出开发四维及四维以上图形显示技术是可视化研究的难点。     

基于模糊数学的高维稀疏数据聚类统计方法设计

传统的数据聚类统计方法仅适用于低维数据聚类问题,为此,本研究设计了基于模糊数据的高维稀疏数据聚类统计方法,以期提升高维稀疏数据的聚类统计效果。以模糊C均值聚类算法为基础,通过优化初始聚类中心解决局部最优问题,缩短聚类统计时间;然后引入权重机制,令该方法适用于高维稀疏数据聚类统计。基于此,以余弦距离替换原有的欧几里德距离,提高高维稀疏数据聚类统计效果。实验证明：在数据维度不同时,该方法均有较优的聚类统计效果。当数据维度较低时,分块比例为10%时聚类统计效果最优;当数据维度较高时,分块比例为40%时聚类统计效果最优。在不同稀疏度等级时,该方法的命中率和聚类统计效率均较高。     

高维中心型系统的降维

将一类三维复系统经变换化为具有奇次幂项的二维中心—细鞍点型系统，将一类复六维系统经变换化为复三维系统。以便进一步研究该类系统。     

数据可视化在流场数值模拟中的应用研究

针对铸造软件流场数值模拟中存在的问题，利用双线程结构将流场数值模拟与数据可视化分开，实现数值模拟与数据可视化的同步、开发了流场数值模拟可视化组件，该组件也可用于铸件凝固过程数值模拟，数据可视化技术在流场数值模拟中的应用有效地提高了流场数值模拟过程的透明度和实时交互性。     

高维数据降维中SVD与CUR分解对比分析

在大数据分析和处理中有许多常用的降维方法,在线性降维中典型的方法有SVD分解和CUR分解,但是对这两种方法的使用条件和实际效果研究甚少。基于此,通过对SVD与CUR分解原理和实验结果的探讨,分析了这两种降维方法的使用条件和实际效果。