基于高维数据特征空间的二维嵌入的体数据分类智能界面

在常规的体数据分类方法中,用户利用体数据的统计信息(例如,多维直方图)交互地分割体数据.由于统计信息的非直观性以及缺少高效地从已有数据的分类结果中提炼、积累有效信息的方法,体数据分类过程仍然不便捷.文中提出一种基于高维数据特征空间的二维嵌入的体数据分类智能界面.方法的核心步骤包括:(1)用户交互选取数据的高维特征并在特...     

基于核的自适应K—Medoid聚类

针对K-Medoid算法不能有效聚类大数据集和高维数据的弱点,将核学习方法引入到K-Medoid算法,提出了基于核的自适应K-Medoid算法.该算法利用核函数将输入空间样本映射到一个高维的特征空间,在这个核空间中进行K-Medoid聚类,在聚类过程中,数据可以自适应地加入到最适合它的簇当中,并且聚类结果与初始k个中心点的选取无关,该算法可以完成对大数据集和高维数据的聚类.实验结果表明,与K-Medoid算法相比,该算法具有较高的聚类准确率.     

基于稀疏正则化的高维数据可视化分析技术

高维数据可视化分析是数据分析与可视化领域的研究热点,传统的降维方法得到的低维空间往往难以解释,不利于人们对高维数据的可视化分析与探索。提出一种新的可视化解释器(Explainer)方法,将L1稀疏正则化特征选取引入到高维数据的可视化处理过程中,建立起高层语义标签与少量的关键特征之间的联系。通过可视化设计与实验验证了该方法可以有效改善高维数据的可视化分析性能。     

高维数据分析中的降维研究

在处理和分析高维数据时通常会碰到维数灾难和传统的低维数据处理方法存在本质困难的问题,通过对各种处理高维数据的方法、技术进行比较和分析高维数据的统计特性后发现,采用降维处理是处理高维数据时的最好的选择。要实现降维的研究,应该从高维数据四方面的特征来展开。     

基于用电大数据的用电异常状态辨识方法

用电异常状态的辨识是用电环节的重点和难点。本文基于计量自动化系统智能电能表所采集的用电大数据,对用电异常状态辨识方法进行研究。首先,基于用电海量数据及高维随机矩阵理论,研究分析了大维随机矩阵的协方差矩阵特征谱分布;然后,根据矩阵的统计特性提出基于用电大数据矩阵的用电异常状态辨识方法;最后,以贵州实际用电数据为例进行了仿真研究。仿真结果表明该文方法不仅能满足电网对可视性、时效性、可靠性、安全性的迫切要求,而且为数据驱动用电环节智能化、可视化监控提供了新思路。     

基于判别式扩散映射分析的非线性特征提取

针对高维数据难以被人们直观理解,且难以被机器学习和数据挖据算法有效地处理的问题,提出一种新的非线性降维方法--判别式扩散映射分析(DDMA)。该方法将判别核方案应用到扩散映射框架中,依据样本类别标签在类内窗宽和类间窗宽中判别选取高斯核窗宽,使核函数能够有效提取数据的关联特性,准确描述数据空间的结构特征。通过在人工合成Swiss-roll测试和青霉素发酵过程中的仿真应用,与主成分分析(PCA)、线性判别分析(LDA)、核主成分分析(KPCA)、拉普拉斯特征映射(LE)算法和扩散映射(DM)进行比较,实验结果表明DDMA方法在低维空间中代表高维数据的同时成功保留了数据的原始特性,且通过该方法在低维空间中产生的数据结构特性优于其他方法,在数据降维与特征提取性能上验证了该方案的有效性。     

基于改进邻域空间的高维混合数据特征选择算法

作为数据挖掘领域中一项重要的数据预处理技术,特征选择算法能够有效应对高维数据带来的“维数灾难”问题.然而,如何对高维的混合数据进行特征选取仍然是当前研究的重点和难点之一.基于邻域关系的邻域粗糙集模型因其能够处理名词型属性与数值型属性并存的混合数据,已成功应用于混合数据的特征选择.但是,现有邻域粗糙集对混合数据邻域关系的度量,仍然是基于等价关系的名词型数据划分与基于相似关系的数值型数据划分的简单融合,在利用模型划分的邻域空间和预定义的评价函数对高维混合数据进行特征选取时,适应性较差.为此,在邻域粗糙集模型的基础上,提出一种改进的邻域空间构造方法,并设计相应的邻域空间度量公式作为判别指标,自适应地调节邻域空间下邻域粒的大小;为了准确地表征高维混合数据邻域空间的判别能力,设计一种考虑边界数据和邻域空间大小的评价函数;在此基础上,提出一种启发式的高维混合数据特征选择算法.通过UCI标准数据集验证所提出算法的有效性.     

差分隐私的高维数据发布研究综述

大数据时代的到来,使得信息量暴增的同时,数据维度也呈现几何式增长。在保护用户隐私的前提下,如何充分挖掘高维数据的可用信息,成为了大数据发布领域的研究热点和难点。差分隐私作为一种强大的隐私保护模型,被越来越多地应用到高维数据发布中。本文归纳了差分隐私及其相关方法在高维数据发布的应用,重点分析了差分隐私和特征降维、特征抽取、贝叶斯网络、树模型以及最新提出的粗糙集和随机投影等方法在高维数据发布中结合应用的优缺点,梳理了各个方法在高维数据方面的应用和对比,最后对未来差分隐私在高维数据发布中的应用方向进行了展望。     

基于深度学习的高维稀疏数据组合推荐算法

传统方法在对高维稀疏数据进行检测的过程中,受到高维特征扰动的影响,数据误差较大,因此提出一种基于深度学习的高维稀疏数据组合推荐算法。采用相空间重构方法进行高维稀疏数据的特征重构,根据重构结果结合非线性统计序列分析方法进行高维稀疏数据的回归分析和点云结构重组,在此基础上提取高维稀疏数据的组合特征量;依据特征量提取结果采用特征提取技术抽取高维稀疏数据的平均互信息特征量,并结合关联规则挖掘方法进行高维稀疏数据的主成分分析,挖掘高维稀疏数据的相似度属性类别成分,最终采用深度学习方法进行高维稀疏数据组合推荐过程中的自适应寻优,实现高维稀疏数据的组合推荐。仿真结果表明,采用该算法进行高维稀疏数据推荐的属性归类辨识性较好,特征分辨能力较强,提高了数据的检测和识别能力。     

高维数据的1-范数支持向量机集成特征选择

特征选择是机器学习和模式识别领域的关键问题之一.随着模式识别与数据挖掘的深入,研究对象越来越复杂,对象的特征维数也越来越高,此时特征选择的稳定性也显得尤为重要.分析了1-范数支持向量机,用该方法对高维数据进行特征选择,并对特征选择的结果进行集成;提出了一种针对高维数据的稳定性度量方法;在基因表达数据上的实验结果表明,集成特征选择可以有效提高算法的稳定性.     

结合向前状态预测和隐空间约束的强化学习表示算法

虽然深度强化学习能够解决很多复杂的控制问题, 但是需要付出的代价是必须和环境进行大量的交互, 这是深度强化学习所面临的一大挑战. 造成这一问题的原因之一是仅依靠值函数损失难以让智能体从高维的复杂输入中提取有效特征. 导致智能体对所处状态理解不足, 从而不能正确给状态分配价值. 因此, 为了让智能体认识所处环境, 提高强化学习样本效率, 本文提出一种结合向前状态预测与隐空间约束的表示学习方法(regularized predictive representation learning, RPRL). 帮助智能体从高维视觉输入中学习并提取状态特征, 以此来提高强化学习样本效率. 该方法用前向的状态转移损失作为辅助损失, 使智能体学习到的特征包含环境转移的相关动态信息. 同时在向前预测的基础上添加正则化项对隐空间的状态表示进行约束, 进一步帮助智能体学习到高维度输入的平滑、规则表示. 该方法在DeepMind Control (DMControl)环境中与其他的基于模型的方法以及加入了表示学习的无模型方法进行比较, 都获得了更好的性能.     

大数据分析中的计算智能研究现状与展望

随着产业界和科学界数据量的爆炸式增长,大数据技术和应用吸引了众多的关注.如何分析大数据,充分挖掘大数据的潜在价值,成为需要深入探讨的科学问题.计算智能是科学研究和工程实践中解决复杂问题的有效手段,是人工智能和信息科学的重要研究方向,应用计算智能方法进行大数据分析具有巨大的潜力.对大数据分析中的计算智能方法进行综述,结合大数据的特征,讨论了大数据分析中计算智能研究存在的问题和进一步的研究方向,阐述了数据源共享问题,并建议利用以天文学为代表的数据密集型基础科研领域的数据开展大数据分析研究.     

基因表达数据分析中的特征基因提取

利用基因表达谱数据进行肿瘤亚型分类,对于癌症研究有着非常重要的意义.由于基因表达数据的维数很高,必须从大量基因中选取一些特征基因用于分类,才能取得好的效果.但以往方法所提取的特征基因,彼此之间存在较高的相关性.本文提出了一种基于高维向量分析的特征基因提取方法:首先利用基因与理想基因间相似度作为评价准则得到候选集,然后去除候选集中相关性强的冗余基因.用此方法选出的特征基因是与分类相关但彼此无关的,从而提高了特征基因子集的模式质量.     

大数据智能决策

在全球信息化快速发展的背景下, 大数据已经成为一种战略资源.各行各业的决策活动在频度、广度及复杂性上较以往有着本质的不同.决策过程中的不确定性因素增多, 决策分析的难度不断加大.传统的数据分析方法以及基于人工经验的决策已难以满足大数据时代的决策需求, 大数据驱动的智能决策将成为决策研究的主旋律.该文结合大数据特性, 对大数据决策的特点进行了归纳, 并从智能决策支持系统、不确定性处理、信息融合、关联分析和增量分析等方面综述了大数据智能决策的研究与发展现状, 讨论了大数据智能决策依然面临的挑战, 并对一些潜在的研究方向进行了展望分析.     

基于LLE方法的本征维数估计

基于局部线性嵌入(LLE)方法所确定的数据集的拓扑结构和高维数据空间的距离特性,提出了自逼近度和可分离度的概念,然后利用二者构建了一种新的本征维数估计方法.这种估计方法揭示了LLE降维过程中涉及的数据维数与邻域大小的选取之间的内在关联.最后,通过与主成分分析(PCA)进行实例对比,说明这种方法更加合理,更能反映数据集的本征特性.     

基于核的自适应聚类及其在入侵检测中的应用

针对k-medoid算法不能有效聚类大数据集和高维数据的弱点,将核学习方法引入到k-medoid算法,提出了基于核的自适应k-medoid算法,使其能够对大数据集和高维数据进行聚类.用KDD 99标准数据集进行实验研究,结果表明该算法性能是优良的,并且能获得令人满意的检测效果.     

道路交通信息分析与建模

交通流速度.流量和密度是道路交通信息的主要参数,分析参数的特性并对其建模是研究交通信息重要部分.以浮动车和线圈采集的数据为研究对象,基于小波技术对数据除去噪声,并通过线性回归预测误差的衰减率选取合适的拟合阶数,从而运用线性回归方法对数据进行拟合.最后对北京市区某道路的采集数据进行分析,结果表明该模型具有可行性和有效性.     

基于子空间聚类的高维数据可视分析方法综述

随着信息技术的飞速发展和大数据时代的来临,数据呈现出高维性、非线性等复杂特征。对于高维数据来说,在全维空间上往往很难找到反映分布模式的特征区域,而大多数传统聚类算法仅对低维数据具有良好的扩展性。因此,传统聚类算法在处理高维数据的时候,产生的聚类结果可能无法满足现阶段的需求。而子空间聚类算法搜索存在于高维数据子空间中的簇,将数据的原始特征空间分为不同的特征子集,减少不相关特征的影响,保留原数据中的主要特征。通过子空间聚类方法可以发现高维数据中不易展现的信息,并通过可视化技术展现数据属性和维度的内在结构,为高维数据可视分析提供了有效手段。总结了近年来基于子空间聚类的高维数据可视分析方法研究进展,从基于特征选择、基于子空间探索、基于子空间聚类的3种不同方法进行阐述,并对其交互分析方法和应用进行分析,同时对高维数据可视分析方法的未来发展趋势进行了展望。     

基于工况划分的大规模电厂机组控制数据可视化探索

对电厂控制过程中的历史数据进行有效展示与探索,能帮助用户快速深入理解机组的运行状况.由于历史数据涉及时间跨度长,具有多尺度和高密度的特点,并且包含高维多元的复杂参数集合,为可视化设计带来了很大挑战.从机组运行工况和参数相关性角度研究时序数据空间和高维参数空间的集成可视化映射方法,设计了多角度概览视图和多分辨率层次化工况视图用于导航机组的整体运行状态,有效地支持多层次运行工况的展示与探索;然后,设计了高维多元参数分层导航视图,实现了机组参数的灵活筛选和过滤,并与工况视图联动支持用户对不同时段和不同系统层级的参数特征进行探索.基于上述方法,开发了可视化工具iDCS,并将其应用于实际机组控制数据的可视化与分析中,验证了该系统的有效性和适用性.     

数学建模中的高维数据挖掘技术优化研究

高维数据挖掘由于特征空间占用开销较大,挖掘的复杂度较高,挖掘精度不高,为了提高对高维数据挖掘的准确性能,提出一种基于相空间重构和K-L变换特征压缩的高维数据挖掘数学建模方法。采用集成学习技术,对高维数据信息流进行相空间重构处理,考虑类间的数据不平衡性,求得高维数据的关联维特征参量,根据数据的链距离进行稀疏性融合,计算高维数据流模型的最大Lyapunove指数谱,根据谱分析方法实现数据聚类,对聚类后的数据采用K-L特征压缩方法进行降维处理,降低数据挖掘的内存及计算开销。仿真结果表明,采用该方法进行高维数据挖掘,数据挖掘的准确概率较高,占用内存消耗较少,计算开销较小。