多维数据可视化技术综述

数据挖掘可视化是数据挖掘过程中的重要组成部分。通过交互式数据挖掘可以增强挖掘结果的可理解性和可信度。如何可视化多维数据,是目前可视化研究的热点。本文对目前主要的关于多维数据可视化技术和方法进行了综述。     

改进的多变元数据可视化方法

针对传统多变元可视化方法——星形坐标法(star coordinates,简称SC)降维过程信息损失较为严重、可视化结果无法体现维度分布信息及手动配置维度轴十分繁杂的不足,提出一种改进的星形坐标法(advanced star coordinates,简称ASC),使用沿直径方向的向量作为维度轴,设计维度轴配置策略优化各维度轴之间的夹角及排列顺序,以减小多维信息对象在改进星形坐标系中与在多维坐标系中坐标差别为准则,使用最优化方法实现对用户有意义的降维运算,将多维信息映射到低维可视空间中.实验结果表明,ASC的可视化结果不仅易于理解,而且能够有效提供维度分布信息,有利于用户发掘隐性知识,基于相关度的维配置策略可以大大减轻用户操作负担,使其能够快速而准确地定位多维信息集合中的隐含特征,降维算法高效,适用于数据量较大、维数较高的信息集合.     

多维网络论坛数据的层次可视化

多维数据的可视化可以帮助人们在有限的时间内快速理解和分析海量数据集。网络论坛数据具有复杂性和大规模性,无法采用简单的图形显示出隐含的规律。针对多维海量论坛数据,首次分析了论坛数据的特点,然后提出了一种层次的数据组织方式,进而针对论坛中的主题时变分布、热门主题转换、作者回复关系等多种数据信息,采用平行坐标、曲面关系图、层次映射图等多种形式进行海量论坛数据的互动可视化。最后以实际论坛数据为例,给出可视化结果并进行分析。     

多维数据可视化技术及分类器的研究进展

可视化技术使人们通过计算机能够有效地观察、研究、理解大规模多维信息及其结构,从而可以有效地发现隐藏在多维信息内部的特征和规律。本文对可视化技术进行了总结,讨论了目前主要可视化技术的基本原理、适用性和特点,为多维数据的可视化分析提供基础。     

多维可视化技术综述

当前,面对科学、工程和商业领域中海量的多维信息,用户迫切需要使用有效的可视化工具在知识发现、信息认知及信息决策过程中对其进行理解。首先对多维和多变元的概念进行了界定,给出了二者的适用领域,然后基于多维可视化技术的分类体系,详细阐述了各类技术代表方法的基本原理、适用性及功能作用,最后分析比较了各类技术方法的优缺点,展望了多维可视化技术未来的研究方向及其面临的挑战。     

关于前端多维数据可视化技术的应用分析

信息时代背景下计算机技术的快速发展,人们的生活和信息技术关系越来越密切.在众多的数据中,理解数据、发现数据的规律是大数据时代人们必须要掌握的一种能力.数据可视化技术是一门新兴的技术,通过将数据转化为可视化图形,帮助人们更好地去认识数据、了解数据,最终发现数据其中存在的相关规律.多维数据可视化技术借助计算机图形学和图像处理技术,利用图表和动画将数据呈现出来帮助人们有效分析.当前人们获取信息时,80％的信息都是借助视觉所获取的.基于此特点围绕着前端多维数据的可视化技术应用展开相关研究.     

基于改进正[2k]边形坐标的可视化方法研究

针对网络安全领域处理海量高维数据时遇到的认知困难,提出一种基于改进的正2k边形坐标的可视化方法,利用可视化效果评价指标和相关系数对维度进行重排,优化了高维数据在降维映射后的显示效果。实验结果表明,该方法保持了易于发现维度分布信息的优点,并解决了散点图数据混乱和呈现信息单一等缺点,能够更加有效地发现聚类信息,为管理员进一步分析和挖掘威胁提供了便利。     

一种层次结构中多维属性的可视化方法

在很多领域的统计分析中,通常需要分析既具有层次结构又具有多维属性的复杂数据,如食品安全数据、股票数据、网络安全数据等.针对现有多维数据和层次结构的可视化方法不能满足对同时具有层次和多维两种属性数据的可视分析要求,提出了一种树图中的多维坐标MCT(multi-coordinate in treemap)技术.该技术采用基于Squarified和Strip布局算法的树图表示层次结构,用树图中节点矩形的边作为属性轴,通过属性映射、属性点连接、曲线拟合实现层次结构中多维属性的可视化.将该技术应用于全国农药残留侦测数据,实现了对全国各地区、各超市、各农产品中农药残留检出和超标情况的可视化,为领域人员提供了有效的分析工具.MCT技术也可用于其他领域的层次多属性数据的可视化.     

智慧校园多维数据可视化展示技术研究

由于传统智慧校园多维数据可视化展示技术在实践中分辨率较低,为此提出智慧校园多维数据可视化展示技术研究.本文分析了数据可视化技术的应用与研究重点,设计智慧校园多维数据可视化展示技术,利用数据相似性设计智慧校园多维数据排列算法,对多维数据进行降维处理;使用计算机等终端联网设备,采用在智慧校园中构建信息可视化场景的方式,展示...     

质量度量指标驱动的数据聚合与多维数据可视化

以多维数据可视化为研究对象,在质量度量模型下,采用数据聚合为基本手段,来提高多维数据可视化的图像质量.在质量度量指标驱动的框架下提出了均分 K-means++数据聚合算法,在传统 K-means算法的基础上,专门以数据可视化为目的对算法进行了改进,使得算法聚合得到的数据既能够较好地保持原数据的大部分特性,又能显著地提高可视化后的图像质量.仿真实验证明,在不同的数据抽象级别DAL下,无论是图像质量指标还是质量度量指标HDM（直方图差值度量）、NNM（最近邻距离度量）,算法都表现出了较好的仿真结果.     

Proof-of-concept of an information visualization classification approach based on their fine-grained features

The misinformation problem affects the development of the society. Misleading content and unreliable information overwhelm social networks and media. In this context, the use of data visualizations to support news and stories is increasing. The use of misleading visualizations both intentionally or accidentally influence in the audience perceptions, which usually are not visualization and domain experts. Several factors influence o accurately tag a visualization as confusing or misleading. In this paper, we present a machine learning approach to detect if an information visualization can be potentially confusing and misunderstood based on the analytic task it tries to support. This approach is supported by fine-grained features identified through domain engineering and meta modelling on the information visualization and dashboards domain. We automatically generated visualizations from a tri-variate dataset through the software product line paradigm and manually labelled them to obtain a training dataset. The results support the viability of the proposal as a tool to support journalists, audience and society in general, not only to detect confusing visualizations, but also to select the visualization that supports a previous defined task according to the data domain.     

基于深度特征与非线性降维的图像数据集可视化方法

为了降低传统高维图像数据降维可视化带来的损失,提高数据可视化的效果,提出了一种基于深度特征与非线性降维相结合的图像数据集可视化方法。该方法首先设计并训练了一个卷积神经网络模型,模型在MNIST手写体图像数据集上,取得了单模型最高的识别精度。其次,利用该高精度模型抽取图像数据的深度中间层特征,将该深度特征作为图像数据的有效表示。最后针对深度特征使用非线性降维方法将数据最终降低为二维,实现数据可视化。实验结果表明,该方法能够有效降低传统图像降维可视化方法中降维损失所带来的误差,可视化效果十分明显。     

MAP-Vis:基于MAP模型的时空点状大数据可视化方案

目的 对于大数据挖掘,可视分析是一种非常重要的研究手段,有助于快速、直观地理解分析大数据蕴含的价值信息。但因其海量、时空、高维等特征,大数据可视化存在内存消耗大、渲染延迟高、可视效果差等问题。针对上述问题,以海量时空点数据为例,采用预处理可视化方案,设计并实现了一套高可扩展的分布式可视分析框架。方法 借鉴瓦片金字塔模型提出一种多维度聚合金字塔模型（MAP）,将瓦片金字塔的2D空间层级聚合扩展到时间/空间/属性多维度,同时支持时间、空间、属性的多维层级聚合。进而以Spark集群作为并行预处理工具,以HBase分布式数据库持久化存储MAP模型数据,实现了一套开源的分布式可视化框架（MAP-Vis）。结果 以纽约出租车数据集为例,本研究实验证明能够支持时间/空间/属性多尺度、多维度联动的交互式可视化,同时具有高可扩展的预处理能力和存储能力。结论 在分布式处理能力支持下,系统能实现亚秒级的查询响应,达到良好的交互式可视化效果,证明MAP-Vis是一种有效的大数据交互式可视化方案。     

面向多维混合型数据分布的混合多维直方图初探

现实世界中,多维数据分布常常不是单一一种类型,而是在不同的数据区域中呈现不同类型的数据分布.提出了一种面向多维混合型数据分布的混合多维直方图COCA*-Hist方法.这种方法在给定的空间预算下,根据数据分布空间不同的区域中的数据分布类型,可以包含多种不同类型的直方桶,从总体上提高直方图的准确性.由于需要对创建多维直方图的树结构进行二次遍历,以识别不同类型的数据分布区域并进行空间预算的重分配,COCA*-Hist时间效率略低于MHist算法,但对因此获得的准确性的提高和面对不同数据分布类型的通用性来说,是可以接受的.     

An approach to exascale visualization: Interactive viewing of in-situ visualization

In the coming era of exascale supercomputing, in-situ visualization will be a crucial approach for reducing the output data size. A problem of in-situ visualization is that it loses interactivity if a steering method is not adopted. In this paper, we propose a new method for the interactive analysis of in-situ visualization images produced by a batch simulation job. A key idea is to apply numerous (thousands to millions) in-situ visualizations simultaneously. The viewer then analyzes the image database interactively during postprocessing. If each movie can be compressed to 100 MB, one million movies will only require 100 TB, which is smaller than the size of the raw numerical data in exascale supercomputing. We performed a feasibility study using the proposed method. Multiple movie files were produced by a simulation and they were analyzed using a specially designed movie player. The user could change the viewing angle, the visualization method, and the parameters interactively by retrieving an appropriate sequence of images from the movie dataset.     

大规模结构网格数据的相关性统计建模轻量化方法

高置信度的数据可视分析对于大规模数值模拟至关重要,但是当前高性能计算机的存储瓶颈导致可视分析应用获取原始高分辨率网格数据越来越困难. 基于统计建模的方法能够极大降低高分辨数据存储成本,但是重建数据的不确定性高. 为此,提出了一种大规模结构网格数据的相关性统计建模轻量化方法,用于对并行数值模拟生成的大规模多块体数据进行高效分析与可视化. 该方法的技术核心是通过数据块间的统计相关性,指导邻接数据块的统计建模,从而有效地保留数据统计特征,且不需要对不同并行计算节点中的数据块进行合并与重新分块. 通过耦合数据块的数值分布信息、空间分布信息和相关性信息,该方法可以更精确地重建原始数据,降低可视化的不确定性. 实验测试采用了最大10亿网格规模的5组科学数据,定量分析结果显示,在相同数据压缩比下,该方法相比现有方法可将数据重建精度最大提升近2个数量级.

     

基于流量异常分析多维优化的入侵检测方法

入侵检测系统在检测和预防各种网络异常行为的过程中,海量和高维的流量数据使其面临着低准确率和高误报率的问题。本文提出一种基于流量异常分析多维优化的入侵检测方法,该方法在入侵检测数据的横向维度和纵向维度两个维度进行优化。在横向维度优化中,对数量较多的类别进行数据抽样,并采用遗传算法得到每个类别的最佳抽样比例参数,完成数据的均衡化。在纵向维度优化中,结合特征与类别的相关分析,采用递归特征添加算法选择特征,并提出平均召回率指标评估特征选择效果,实现训练集的低维高效性。基于优化的入侵检测数据,进一步通过训练数据集得到随机森林分类器,在真实数据集UNSW_NB15评估和验证本文提出的算法。与其他算法相比,本文算法具有高准确率和低误报率,并在攻击类型上取得了有效的召回率。