高维数据聚类可视分析方法综述

数据聚类的可视分析方法利用可视化与交互技术帮助用户对聚类过程与结果进行 多角度分析,从而发现数据内部隐藏的结构和关系。但由于高维数据自身的“维度诅咒”问题 使得聚类分析面临着许多挑战,例如模型参数设定、数据特征捕捉、结果解释以及可视化展现 等。本文从高维数据聚类过程中遇到的问题出发,首先总结了高维数据聚类过程中常用的数据 处理方法并对其性能进行了比较,这些方法能够较好地解决“维度诅咒”问题,帮助用户挖掘 数据中存在的聚类模式。在分析和理解不同聚类结果中包含的数据内部结构和规律时,由于前 期采取的数据处理方法不同,因此需要采取不同的探索分析策略,所以本文将近10 年来高维数 据聚类的可视分析方法分为2 大类进行总结,即基于降维的聚类可视分析方法和基于子空间聚 类的可视分析方法。最后对该领域目前存在的机遇与挑战进行了讨论。     

空气质量细粒度数据内联关系可视分析系统

随着数据观测和数字计算技术的快速发展,空气质量数据粒度越来越细致,为研究空气质量的细粒度数据内联关系可视化、辅助理解空气污染物的转化规律提供了数据基础.针对蕴含丰富内联特征的大气质量细粒度数据开发了一个内联关系可视分析系统.首先,基于大气质量数据多维属性设计时空数据维度模型增强数据的时空表达,并提出一种基于深度学习的特征提取方法,将空气质量数据从高维空间映射到支持交互可视分析的低维特征空间;然后,设计了一套多视图联动的可视化系统,帮助用户发现空气污染传输中的细粒度内联关系,理解污染传输途径的数据分布特征.用户实例和用户评价结果表明,该系统是有效的.     

RPES:一种新的多维数据可视化方法

当前,面对科学、工程和商业领域中海量的多维数据,用户迫切需要使用有效的可视化工具在知识发现、信息认知及信息决策过程中对其进行理解。针对传统基于降维映射的数据可视化方法计算复杂度高且无法提供维度分布信息的缺点,提出一种基于正2k边形的多维数据可视化方法RPES,通过建立多维数据空间的低维"参照物"——正2k边形坐标系,以减小多维对象在正2k边形坐标系及多维数据空间中的坐标差别为准则,使用最优化方法对其进行降维,以点云的形式标绘在低维可视空间中,完成多维数据的降维可视展现。实验证明,RPES的降维算法高效、容易实现,适用于数据量较大、维度较高的数据集,可视化结果不仅易于理解,而且能够有效提供维度分布信息,有利于用户发掘隐性知识,辅助其进行基于多维数据的决策。     

一种利用极限学习机的数据可视化方法

提出一种利用极限学习机ELM的数据可视化方法,该方法利用多维尺度分析MDS、Pearson相关性、Spearman相关性代替常用的均方误差MSE实现高维数据投影到2-维平面的数据可视化。将所提方法与近期流行的随机邻域嵌入SNE及其改进的t-SNE方法对比,并通过局部连续元准则LCMC进行质量评测。结果表明:该方法的数据可视化结果及计算性能明显优于SNE及t-SNE方法;而在提出的三种学习规则中,基于MDS的学习规则效果最好。     

基于工况划分的大规模电厂机组控制数据可视化探索

对电厂控制过程中的历史数据进行有效展示与探索,能帮助用户快速深入理解机组的运行状况.由于历史数据涉及时间跨度长,具有多尺度和高密度的特点,并且包含高维多元的复杂参数集合,为可视化设计带来了很大挑战.从机组运行工况和参数相关性角度研究时序数据空间和高维参数空间的集成可视化映射方法,设计了多角度概览视图和多分辨率层次化工况视图用于导航机组的整体运行状态,有效地支持多层次运行工况的展示与探索;然后,设计了高维多元参数分层导航视图,实现了机组参数的灵活筛选和过滤,并与工况视图联动支持用户对不同时段和不同系统层级的参数特征进行探索.基于上述方法,开发了可视化工具iDCS,并将其应用于实际机组控制数据的可视化与分析中,验证了该系统的有效性和适用性.     

不确定时间序列的统计降维方法

由于不确定时间序列的长度很长,并且每个采样点的取值具有不确定性,导致了维度灾难和庞大的可能世界集,给不确定时间序列相似性匹配带来了巨大的困难,因此对不确定时间序列降维是实现对其方便存储、快速查询和相似性匹配的首要任务。不确定时间序列普遍采用小波变换的降维方法,但是该方法没有考虑到采样点之间的相关性。为解决该问题,提出一种基于概率统计和数据相关性的降维方法,该方法将不确定时间序列分为概率维度和时间维度,并分别对两维度进行降维。在时间维度,根据采样点之间的相关性,使用某个采样点代表后续相关度高的采样点;在概率维度,使用大概率点表示相邻的小概率点。实验效果表明:使用该方法对不确定时间序列进行降维后,降维序列可以保持原序列的变化趋势,压缩程度显著,并且可近似地恢复原序列。     

一种全球尺度三维大气数据可视化系统

气象数据具有时变、多源、多维度、数据量大和多尺度等特征,常规的气象数据可视化方法难以满足气象预报与气象研究中的需求.描述了一个新的全球尺度三维大气数据可视化系统——AVIS.系统实现了面向各类密度场、向量场、张量场和非空间数据的可视化方法,设计了适用于大气数据的球面体绘制和混合绘制方法.系统还实现了一套跨平台并行可视化及分析构架,支持在浏览器中或其他显示和交互设备上使用,并利用后端计算集群加速数据的计算与绘制过程.案例分析表明,该系统可以全方位地展现气象数据中的信息,帮助用户综合多种气象信息进行分析.     

可伸缩二维多元数据可视化

在同一个窗口可视化含有多个数据属性值的二维多元数据在很多领域都有重要的应用.为了支持用户在同一个窗口实时交互探索多元数据在不同精度下的可视化结果,实现可伸缩的二维多元数据可视化,提出基于CUDA加速非等轴纹理合成的可伸缩二维多元数据可视化方法.首先通过视觉实验确定纹理样本中纹元的视觉变化与数值变化的对应关系;然后根据实验确定的对应关系,利用非等轴纹理合成方法生成表示二维多元数据变化的纹理可视化结果;再设计了与数值变化对应的用户缩放与平移交互操作,并提出基于CUDA加速的纹理合成以实现用户交互探索;最后针对全球气候数据,给出该方法的可视化结果.用户实验结果表明,文中方法能够有效地完成可视化任务,且优于2个已有方法.     

舆情可视化分析系统设计与实现

在网络信息爆炸的今天，对海量的网络舆情数据进行可视化分析展示具有重要意义。文章从文本内容、情感倾向、数据来源结合时间和空间维度，对网络舆情进行多维度关联可视化分析。基于ECharts可视化图表库完成网络舆情可视化分析系统的开发。该系统用丰富的图表展示用户关心的舆情信息，支持用户创建事件、图表切换、报告下载等功能。通过该系统能够帮助用户掌握舆情分布、发展态势和演进规律，辅助用户做出决策，避免舆论危机发生。     

一种基于维度投影的多维数据相关性可视分析方法

针对高维多元数据相关性分析需求,首先提出一种基于KNN和Pearson相关系数的维度相关性度量方法KNN-Pearson,通过数据集在维度某数据值处的密度定量地表示某维度对聚类的贡献度,并将其作为计算元素,通过Pearson相关系数计算各维度间的相关性大小,定量地表示各维度之间的相关程度;进而提出一种基于维度投影的相关性可视分析方法,通过多维尺度分析(MDS)进行维度投影,用投影散点图和矩阵热图展示维度之间的相关性,用投影矩阵和平行坐标展示数据的分布态势和聚类特征,允许通过维度选择构造用户感兴趣的子空间,在子空间中交互地分析数据、探索规律;将上述方法应用于食品安全领域,设计并实现了一个农残数据相关性可视分析系统,通过数据筛选、维度选择、尺度缩放以及多视图联动等交互手段实现对多地区农产品中检出农药的相关性分析,从而发现检测地区对农产品施用农药的模式,掌握农药施用的规律.最后通过用户体验以及评价,证明了文中方法的有效性.     

Using Convex Sets for Exploratory Data Analysis and Visualization

In this paper a new, abstract method for analysis and visualization of multidimensional data sets in pattern recognition problems is introduced. It can be used to determine the properties of an unknown, complex data set and to assist in finding the most appropriate recognition algorithm. Additionally, it can be employed to design layers of a feedforward artificial neural network or to visualize the higher-dimensional problems in 2-D and 3-D without losing relevant data set information. The method is derived from the convex set theory and works by considering convex subsets within the data and analyzing their respective positions in the original dimension. Its ability to describe certain set features that cannot be explicitly projected into lower dimensions sets it apart from many other visualization techniques. Two classical multidimensional problems are analyzed and the results show the usefulness of the presented method and underline its strengths and weaknesses.     

基于移动终端日志数据的人群特征可视化

随着我国移动互联网的迅猛发展,如何从海量移动终端日志数据中提取出有效信息,并进行合理、清晰的可视化分析,为工业界等提供有价值的统计分析功能显得尤为重要.目前,对于移动终端日志数据的研究和分析多是基于对单一属性的统计结果分析,如应用下载排行、用户留存率等.为了进一步挖掘移动终端日志数据背后深层次的隐含信息,更加准确地概括出移动终端用户的特征,提出了一种基于移动应用程序日志数据的人群特征分析与画像计算方法,构造了基于移动应用程序数据的主题模型,并将移动设备用户按照与不同应用主题的相关度进行聚类,得到了具有不同特征的人群,从而提出了基于层次气泡图和Voronoi Treemap的可视化展现与分析方案.进一步将人群特征与时间信息、地理位置信息相结合,从多角度可视化展现人群特征.最后,根据该研究内容,实现了B/S架构的日志数据可视化分析原型系统,并通过案例分析验证了该方法的有效性.     

基于维度扩展的Radviz可视化聚类分析方法

Radviz是一种多维数据可视化技术,它通过径向投影机制将多维数据映射到低维空间,使具有相似特征的数据点投影到相近位置,从而形成可视化聚类效果.Radviz圆周上的维度排列顺序对数据投影结果影响很大,提出将原始维度划分为多个新维度来拓展Radviz圆周上的维度排序空间,从而获得比原始维度条件下更好的可视化聚类效果.该维度划分方法首先计算数据在每个原始维度的概率分布直方图,然后使用均值漂移算法对直方图进行划分,最后根据划分结果将原始维度扩展为多个新维度.提出使用Dunn指数和正确率来量化评估Radviz可视化聚类效果.进行了多组对比实验,结果表明,维度扩展有利于多维数据在Radviz投影中获得更好的可视化聚类效果.     

Improved visual correlation analysis for multidimensional data

With the era of data explosion coming, multidimensional visualization, as one of the most helpful data analysis technologies, is more frequently applied to the tasks of multidimensional data analysis. Correlation analysis is an efficient technique to reveal the complex relationships existing among the dimensions in multidimensional data. However, for the multidimensional data with complex dimension features,traditional correlation analysis methods are inaccurate and limited. In this paper, we introduce the improved Pearson correlation coefficient and mutual information correlation analysis respectively to detect the dimensions’ linear and non-linear correlations. For the linear case,all dimensions are classified into three groups according to their distributions. Then we correspondingly select the appropriate parameters for each group of dimensions to calculate their correlations. For the non-linear case,we cluster the data within each dimension. Then their probability distributions are calculated to analyze the dimensions’ correlations and dependencies based on the mutual information correlation analysis. Finally,we use the relationships between dimensions as the criteria for interactive ordering of axes in parallel coordinate displays.     

基于概念邮件系统的犯罪数据挖掘新方法

将数据挖掘技术应用于反犯罪和反恐怖是目前各国安全部门的研究热点。目前国内在分析犯罪和恐怖团伙之间联系行为等方面的研究工作有限。本文主要做了下列探索：（1）建立了一个可用的基于邮件用户个性特征和情报属性的概念仿真邮件系统CEM（Conceptual based EMail system），模拟潜在的犯罪和恐怖组织利用电子邮件进行通信的规律；（2）利用符合个性特征和情报属性上的正态分布，模拟真实的邮件进行数据的收发；（3）使用社会网络分析和时间序列分析方法对邮件通信量进行深层次分析，挖掘有意义的邮件通信模式，进而发现异常通信行为；（4）通过实验证明CEM系统具有很好的鲁棒性和伸缩性，可以准确地模拟大量用户的邮件收发，解决了目前仿真数据不足的缺点，并用于发现不同性格特征群体收发邮件的规律。     

关联维数在高速列车运行状态评估中的应用研究

基于监测数据评估高速列车空气弹簧和横向减振器等关键部件的运行状态,针对车体横向加速度振动信号,本文提出了关联维数的列车状态评估方法,分析了车体横向振动特征,对时域信号进行了频谱分析,并进一步分析了关联维数。为了计算关联维数,需先对信号进行相空间重构,然后求出重构相空间的两个关键参数;用互信息量方法[1]求出最佳延迟时间和用CAO [2]方法求出最佳嵌入维数。通过对监测数据的关联维数分析,证明了该列车在四种不同标准状态下的工况具有明显不同的关联维数特征。因此,按照关联维数的大小,就可诊断出列车可能出现的故障。研究结果表明,关联维数分析方法在设备状态监测与故障诊断中,尤其是在非线性系统的故障诊断中显示出其独特的优势,具有较为广阔的应用前景。     

大数据可视化的挑战与最新进展

大数据的来临增强了可视化的重要性。可视化分析挖掘人类对于信息的认知能力与优势,将人、机有机融合,借助人机交互高效洞悉大数据背后的信息与规律,是大数据分析的重要方法。针对大数据数据量大、维度高、多来源、多形态等特点论述了大规模数据、流数据、非结构和异构数据的可视化方法。首先讨论了大规模数据的可视化技术：1）采用分而治之的原则将大问题分解成较小的任务并采用并行处理的方式解决以提高处理的速度;2）通过聚合、采样、多分辨表示的方法进行数据约简;3）针对高维数据选择若干个视图,在多个角度下生成不同的可视化结果。然后针对监控型、叠加型两类流数据探讨了流数据的可视化过程。最后阐述了非结构化数据以及异构性数据的可视化技术。总之,可视化能够克服计算机自动化分析方法的劣势与不足,整合计算机的分析能力和人们对信息的感知能力,有效地洞悉大数据背后的信息与智慧,但其理论研究成果也非常有限,同时面临着数据规模大、动态变化、维度高、多源异构等方面的挑战,这些也逐渐成为今后的大数据可视化研究的热点与方向。     

江苏核电大数据可视化分析平台的建设与应用

为解决大量数据无法快速进行可视化分析挖掘的问题,江苏核电基于开源技术进行定制化开发,按照层次化功能架构设计,对平台的数据层、逻辑层和展示层的功能进行开发,快速构建大数据可视化平台,有效解决对数据进行可视化分析的问题。文章从功能特点、建设要求、经济性等维度对大数据可视化产品和传统商务智能产品进行对比,阐述建设可视化分析平台的优点和必要性;梳理与建立基于平台的数据可视化分析的服务的管理流程和职责分工,平台成果应用于物资编码检查分析与可视化业务看板等方面,在支撑管理决策、提升管理水平、提高业务运营效率和改进优化业务四个方面体现了平台的价值。文章介绍的大数据可视化分析平台的建设思路和方法可有效提升数据分析的工作效率。     

数据中心三维可视化场景编辑器的设计

针对当前数据中心的三维可视化场景重复开发造成复用性较差的问题,提出了数据中心三维可视化场景编辑器.借助三维引擎技术,以仿真、立体、互动实时的方式为管理者提供一个完整的、可视化、网络化的虚拟环境管理设计平台.可以高效灵活的创建数据中心3D场景,用于场景建模和数据中心的辅助设计.可视化编辑器基于Unity3D引擎和Web技术进行搭建,提供直观的浏览器操作界面和环境实时监控系统,解决了三维场景远程实时查看数据中心监控等问题.用户可以借此快速搭建三维可视化场景,减少重复开发.在提供其他3D模型基础上,此编辑器也能够广泛用于其他非数据中心可视化场景的搭建和编辑.     

基于OLAP的气象数据分析系统设计

我国幅员辽阔,河流众多,洪涝灾害频发。对气象数据进行挖掘与分析,找到暗含其中的信息与知识,是构建洪涝灾害预警系统的重要研究基础。本文利用数据挖掘技术和构建知识模型设计了一个气象数据分析系统,该系统可从不同维度对采集的数据进行分析并将结果进行可视化;对来自国家气象局的相关数据进行预处理,并建立了适合于挖掘分析的气象数据库。同时,该系统还能利用内嵌的预测算法预测未来状态的数值,对突发状况起到很好的预警作用。