面向多维混合型数据分布的混合多维直方图初探

现实世界中,多维数据分布常常不是单一一种类型,而是在不同的数据区域中呈现不同类型的数据分布.提出了一种面向多维混合型数据分布的混合多维直方图COCA*-Hist方法.这种方法在给定的空间预算下,根据数据分布空间不同的区域中的数据分布类型,可以包含多种不同类型的直方桶,从总体上提高直方图的准确性.由于需要对创建多维直方图的树结构进行二次遍历,以识别不同类型的数据分布区域并进行空间预算的重分配,COCA*-Hist时间效率略低于MHist算法,但对因此获得的准确性的提高和面对不同数据分布类型的通用性来说,是可以接受的.     

多维直方图联合概率分布的掩模矩阵降维算法

彩色图像的分量独立处理或感知彩色空间的强度分量处理,都能达到增强图像对比度的效果,但由于没有考虑各个分量之间的联系,不能开发完全的RGB色域。多通道直方图建模技术可以改善上述缺陷,就是通过求取多个分量的直方图联合概率密度函数和累积分布函数,从而得到彩色图像的像素灰度值映射函数,但计算联合直方图的过程也导致了过高的运算复杂度。为了降低计算量,提出了掩模降维的方法,将计算多维直方图的过程转化为了计算一维直方图,从而大大降低了运算复杂度,提高运算速度,增强对比度的效果。     

基于直方图聚类技术的海量数据值域查询

随着现代科技和传感器的发展和应用,复杂多变的空间数据日益膨胀。为了有效地使用这些海量数据,不仅需要搜索元数据而且包括实际数据。要想通过扫描这些海量数据来回答值域查询显而易见是不现实的。该文研究了一种数据直方图聚类技术,用于栅格地球科学数据值域查询。实验表明,该方法不仅可以快速近似地回答统计范围查询,同时可以给出准确评价。     

基于张量分解的多维数据填充算法

在多维数据分析和处理中,经常会出现部分数据丢失或者部分数据未知的情况,如何利用已知数据的潜在结构对这些缺失数据进行填充是一个亟待解决的问题。目前对于缺失数据填充的研究大多是针对矩阵或者向量形式的低维数据,而对于三维以上高维数据填充的研究则很少。针对该问题,提出一种基于张量分解的多维数据填充算法,利用张量分解中CP分解模型的结构特性和分解的唯一性,实现对多维数据中缺失数据的有效填充。通过实验对以三维形式存储的部分数据缺失图像进行填充修复,并与CP-WOPT算法进行比较,结果表明,该算法具有较高的准确度以及较快的运行速度。     

面向属性值遗漏数据决策树分类算法研究

在已有的多种决策树测试属性选择方法中,来见将属性值遗漏数据处理集成在测试属性选择过程中的报道,而现有的属性值遗漏数据处理方法都会不同程度地带入偏置.基于此,提出了一种将基于联合熵的信息增益率作为决策树测试属性选择标准的方法,用以在生成决策树的过程中消除值遗漏数据对测试属性选择的影响.在WEKA机器平台上进行了对比实验,结果表明,改进算法能够从总体上提高算法的执行效率和分类精度.     

面向属性值遗漏数据决策树分类算法研究

在已有的多种决策树测试属性选择方法中,未见将属性值遗漏数据处理集成在测试属性选择过程中的报道, 而现有的属性值遗漏数据处理方法都会不同程度地带入偏置。基于此,提出了一种将基于联合墒的信息增益率作为 决策树测试属性选择标准的方法,用以在生成决策树的过程中消除值遗漏数据对测试属性选择的影响。在WEKA机 器平台上进行了对比实验,结果表明,改进算法能够从总体上提高算法的执行效率和分类精度。     

一种面向数据流处理的直方图增量维护算法

针对数据流的数据处理,给出了一种简单、实用的Agglomerative类直方图增量维护算法,该算法充分利用等宽直方图和变宽直方图优点,克服各自估算不够准确和维护复杂的缺点,并且能够以数据块为单位对直方图进行增量维护,通过合并与分裂直方图的桶,来平衡算法的计算速度、精确度和占用内存空间三者之间的关系。实验表明该算法对数据流数据的处理具有较强的实用性和有效性。     

多维数据判别分析的非参核密度算法研究

判别分析在数据挖掘、识别中有着广泛的应用,其中充分利用训练集的信息,改进判别规则算法,降低误判率一直是众多研究关注的焦点。传统的一些判别算法中,往往事先假定数据的分布类型来建立判别规则,但多维数据结构往往存在违背假定的情形,从而导致较高的误判率。针对此类问题,提出采用非参核密度算法建立多维数据的判别规则,同时通过Iris数据和Seeds数据进行实证分析。结果表明,与现有的判别分析算法相比较,所提判别算法利用样本资料信息更充分,显著提高了多维数据的判别精度,并且该算法不受分布假定的限制,具有广泛的适用性。     

基于特征直方图均衡化技术的ID．3算法实现

ID．3算法是经典的决策树算法,而样本集分布不均衡性会对树的结构和识别效果产生较大影响。本文在分析显微镜下细胞识别库样本分布规律基础上,利用直方图均衡化技术对样本特征分布进行变换处理,使整个特征分布规律转变为[0,1]区间内近似均匀分布。实验表明,基于特征直方图均衡化技术实现的ID．3算法收敛速度加快,产生的决 策树平均深度降低。     

基于OpenCL的直方图生成算法优化方法研究

随着GPU计算能力及可编程性的不断增强,采用GPU作为通用加速器对应用程序进行性能加速已经成为提升程序性能的主要模式。直方图生成算法是计算机视觉的常用算法,在图像处理、模式识别、图像搜索等领域都有着广泛的应用。随着图像处理规模的扩大和实时性要求的提高,通过GPU提升直方图生成算法性能的需求也越来越强。在GPU计算平台关键优化方法和技术的基础上,完成了直方图生成算法在GPU计算平台上的实现及优化。实验结果表明,通过使用直方图备份、访存优化、数据本地化及规约优化等优化方法,直方图生成算法在AMD HD7850 GPU计算平台上的性能相对于优化前的版本达到了1.8~13.3倍的提升;相对于CPU版本,在不同数据规模下也达到了7.2~210.8倍的性能提升。     

面向多维元数据模型构造的数据字典

针对应用系统数据采集和管理功能的需要，通过对数据库管理系统而设计的传统数据字典技术的改造并引入XML技术，提出面向Web应用系统设计过程的，能够跨平台实现集数据内容定义、表现形式定义、校验和统计定义等功能为一体，面向多维元数据模型构造的数据字典。     

一种数据仓库的多维数据模型

数据模型是数据仓库研究的核心问题之一.很多研究表明,传统数据模型(如实体联系模型和关系模型)不能有效地表示数据仓库的数据结构和语义,也难以有效地支持联机分析处理(on-line analysis processing,简称OLAP).最近,人们提出了几种多维数据模型.但是,这些多维数据模型在表示数据仓库的复杂数据结构和语义以及OLAP操作方面仍显不足.该文以偏序和映射为基础,提出了一种新的多维数据模型.该数据模型能够充分表达数据仓库的复杂数据结构和语义,并提供一个以OLAP操作为核心的操作代数,支持层次结构间的复杂聚集操作序列,能够有效地支持OLAP应用.该数据模型支持聚集函数约束的概念,提供了表示层次结构间聚集函数约束的机制.     

OLAP在企业中的多维数据分析研究

分析了OLAP的特点,进行数据仓库存储方式的构建和多维数据分析功能的实现。引入动态的OLAP多维视图分析,决策者可以从各种维度对销售数据进行审视,进行切片、切块、旋转和钻取等OLAP基本分析操作。文章介绍了组织用于OLAP的多维数据结构。用OLAP进行销售数据多维数据分析。     

Modelling and Manipulating Multidimensional Data in Semistructured Databases

Multidimensional information is pervasive in many computer applications including time series, spatial information, data warehousing, and visual data. While semistructured data or XML is becoming more and more popular for information integration and exchange, not much research work has been done in the design and implementation of semistructured database system to manage multidimensional information efficiently. In this paper, dimension operators have been defined based on a multidimensional logic which we call ML(). It can be used in applications such as multidimensional spreadsheets and multidimensional databases usually found in decision suport systems and data warehouses. Finally, a multidimensional XML database system has been prototyped and described in detail. Technologies such as XSL are used to transform or visualise data from different dimensions.     

基于SQL的OLAP多维数据分析

数据仓库中的数据组织方式不同于传统数据库，为了实现对数据仓库中多维数据的访问，文中提出了一种利用关系数据库的工业标准SQL来实现数据仓库中多维数据分析的方法，详细描述了实现的过程，并将其应用到KDOLAP工具的开发中。     

基于约束的多维数据挖掘

为了给数据分析和挖掘提供一个有效的、交互的查询环境,将基于约束的数据挖掘与多维的数据挖掘结合成一个整体来进行。介绍了建立一集成的联机分析挖掘和联机分析处理结构,来实现这种用户与系统间的交互。实践表明,基于约束的数据挖掘与多维的数据挖掘结合在一起,大大提高了查询的目的性和效率,可为用户选择所期望的挖掘功能和动态地改变数据挖掘任务提供了更加灵活的手段。     

多维数据图形显示中ZedGraph控件的应用

ZedGraph是一个开源的控件,提供了用户控件和web控件。它可以创建2D的线性图、条形图和饼图。介绍了ZedGraph的主要类和多维数据,论述了如何将ZedGraph控件应用到多维数据图形显示中,利用ZedGraph可以简单、方便地实现了多维数据的可视化。     

基于VaR技术的多维数据交互可视化研究

传统多维数据可视化技术比如平行坐标法等在表达多维数据时,对各个不同数据维之间的数据表达式会产生一定的混乱,同时对各维的相关性与交互表达比较困难。研究并设计了基于VaR技术的多维数据交互可视化小工具,其充分利用VaR技术所实现的丰富导航与选择、突出等工具来形象突出显示与表达多维数据中某一特定维的数据,同时应用MDS算法,在二维屏幕上各点的相对位置关系来表示多维数据中各维的相关性。     

数据仓库的多维数据模型的研究

多维数据模型是数据仓库和联机分析处理研究中的一个重要问题,该文根据电力负荷数据集的特点,提出了一种新模型,解决不同维公用一个底层层次属性,把系统中不完全的低粒度数据集和完全的粗粒度数据集在逻辑上无缝地结合起来支持联机分析处理的问题,这是其他多维数据模型所没有解决的。