面向并行负载平衡的数据剖分技术*

对传统的数据剖分技术和负载平衡对大规模并行计算性能的影响进行了综述,介绍了目前典型的几何剖分方法和图剖分方法的特点,并分析比较各种剖分算法及常用剖分软件包(ParMETIS、Zoltan、JOSTLE等)在实际应用中的优缺点,深入探讨了数据剖分技术是如何对超大规模数值模拟计算任务进行高效划分以解决负载平衡问题的,以期为开展并行计算研究和并行性能优化的研究人员提供参考。     

面向敏感值的层次化多源数据融合隐私保护

数据融合技术能够使用户得到更全面的数据以提供更有效的服务。然而现有的多源数据融合隐私保护模型没有考虑数据提供者的重要程度,以及数据不同属性和属性值的敏感度。针对上述问题,提出了一种面向敏感值层次化的隐私模型,该模型通过数据提供者对数据的匿名程度要求来设置数据属性以及属性值的敏感度以实现敏感值的个性化隐私保护。同时结合k-匿名隐私模型以及自顶向下特殊化TDS的思想提出了一种面向敏感值的多源数据融合隐私保护算法。实验表明,该算法既能实现数据的安全融合,又能获得更好的隐私保护。     

基于B+树的多媒体教育资源层次化索引模型

为了能够在海量的多媒体教育资源中快速且准确地检索出所需要的部分,提高教育资源利用率,设计一种基于B+树的多媒体教育资源层次化索引模型。首先对多媒体教育资源属性进行判断,并对数值型资源进行标准化和离散化处理,然后利用B+树建立其索引以及索引库,最后设计相应的检索算法,完成资源查找。结果表明：与R树索引模型、四叉树索引模型、多哈希表索引模型、网格索引模型、B-树索引模型相比,所设计的索引模型占据存储空间最小,检索时间最短,NDCG值较高,综合表现好。     

多点触控技术在三维虚拟博物馆文物数字可视化中的应用

针对传统博物馆文物数据可视化存在交互效果不佳的问题,提出以陕西省历史博物馆为研究对象,构建一个基于多点触控技术的三维虚拟博物馆设计与漫游系统。首先,采用二维形式进行博物馆三维设计;然后通过多点触控屏幕展示博物馆三维设计效果;最后采用基于变分圆形树图实现层次化数据交互可视化,以提升文物数据空间利用率,并采用层次切换交互技术实现文物数据可视化交互。实验结果表明,对于EOL数据的前6层圆布局测试中,对比于传统的圆形树图和加权能量算法,提出的变分圆形树图的空间利用率提升了4%～52%,且将提出多点触控技术应用到三维虚拟博物馆中可实现文物数据的可视化交互。由此说明,提出的算法可有效提升虚拟博物馆的空间利用率,设计的基于多点触控技术的层次化文物数据可视化交互系统具备一定的可行性。     

融合结构和特征的图层次化池化模型

作为深度神经网络向非欧式数据上的扩展,图神经网络（GNN）已经在图节点分类任务、链接预测任务和图分类任务中取得了显著成就。在图分类任务上,当前方法一般通过层次化的池化过程同时考虑图的局部和全局结构信息以学习高层次的图表示。在对当前的图分类模型进行对比分析后,考虑当前方法的不足,结合不同方法的优势,提出结构和特征融合池化模型（SAFPool）。SAFPool模型在池化时使用了两个聚类分配矩阵生成模块,分别是基于结构的聚类学习和基于特征的聚类学习模块,基于结构的聚类学习根据图结构信息对结构相似的节点聚类,基于特征的聚类学习则根据图节点特征对特征相似的节点聚类。二者的聚类结果加权聚合后便能获取实现聚类策略的聚类分配矩阵以同时利用图结构和节点特征信息。最后,在多个图分类数据集上通过对比实验和可视化说明了同时显式地利用图节点特征信息和图结构信息实现聚类策略的有效性。     

变分贝叶斯概率数据关联算法

针对杂波环境下的目标跟踪问题,提出了一种基于变分贝叶斯的概率数据关联算法(Variational Bayesian based probabilistic data association algorithm, VB-PDA).该算法首先将关联事件视为一个随机变量并利用多项分布对其进行建模,随后基于数据集、目标状态、关联事件的联合概率密度函数求取关联事件的后验概率密度函数,最后将关联事件的后验概率密度函数引入变分贝叶斯框架中以获取状态近似后验概率密度函数.相比于概率数据关联算法, VB-PDA算法在提高算法实时性的同时在权重Kullback-Leibler (KL)平均准则下获取了近似程度更高的状态后验概率密度函数.相关仿真实验对提出算法的有效性进行了验证.     

线性四分树表示的二值图像Euler数计算的邻接图搜索算法

利用无向邻接图描述线性四分树表示的二值图像四分形的邻接关系,在此基础上,提出了一种计算图象Euler数的有效算法,与已有的算法相比,该算法的显著特点是存储量小,便于计算机实现。     

一种基于动态组播树的可靠数据分发方法

已有的数据分发方法多侧重于某方面的优化,不能充分权衡数据分发的可靠性与高效性,难以满足应急场景下可靠快速分发数据的要求.为此,提出一种基于动态组播树的可靠数据分发方法.根据节点间延迟信息对节点进行层次化分簇和编号,以此构建层次化覆盖网,根据节点编号采用基于动态组播树的前缀匹配路由.理论分析和实验结果表明,与MEDYM方法相比,即使短时间内系统中产生大量消息,该方法仍能够可靠快速地分发数据,系统开销较小.     

基于有监督的多视角变分图自编码器的协同致死基因预测算法

协同致死关系是开发靶向抗癌药物的重要方法之一,通过计算方法预测协同致死基因可以为生物学上的研究提供目标指导,从而提高研究效率并降低实验成本.针对协同致死预测问题,提出了一种通用的、多视角变分图自编码器框架,引入了已知的协同致死关系作为监督信号,同时对局部的单视角数据和全局的多视角协同致死关系重构进行监督训练,在细粒度下获取每个视角中和协同致死相关的基因隐藏表示,最后将多视角的重构图融合在一起进行协同致死预测.在SynLethDB数据集上的实验结果表明方法的有效性.     

一种层次结构中多维属性的可视化方法

在很多领域的统计分析中,通常需要分析既具有层次结构又具有多维属性的复杂数据,如食品安全数据、股票数据、网络安全数据等.针对现有多维数据和层次结构的可视化方法不能满足对同时具有层次和多维两种属性数据的可视分析要求,提出了一种树图中的多维坐标MCT(multi-coordinate in treemap)技术.该技术采用基于Squarified和Strip布局算法的树图表示层次结构,用树图中节点矩形的边作为属性轴,通过属性映射、属性点连接、曲线拟合实现层次结构中多维属性的可视化.将该技术应用于全国农药残留侦测数据,实现了对全国各地区、各超市、各农产品中农药残留检出和超标情况的可视化,为领域人员提供了有效的分析工具.MCT技术也可用于其他领域的层次多属性数据的可视化.     

一种正方化有序树图布局算法

针对现有正方化树图有序性差、有序树图正方化性能差的问题,提出一种正方化有序树图布局算法——SOTLA,首先将多个节点捆绑组合构造大权值节点;然后按平均长宽比最接近1和沿最短边方向填充路径限制的原则对节点进行布局;通过对每一组合节点分治并重复上述过程进行布局,最终完成所有单个节点的布局.将该算法应用于50组具有层次结构和数据值大小悬殊特点的农药残留量检测数据中,得到了较好的可视化效果.将该算法与现有的Squarified,Pivot,Strip和Spiral 4种布局算法就平均长宽比、连续性、可读性、稳定性和稳定的平衡性5项评价指标进行对比,实验结果表明,文中算法在连续性和平均长宽比性能上具有明显优势,其可读性、稳定性和稳定的平衡性指标也表现良好.     

正方化树图布局算法研究与优化

层次数据是一种常见的数据类型,它着重表达个体之间的包含和从属关系等。树图是一种非常流行的利用包含关系来表达层次化数据的可视化方法。该方法具有高效的空间利用率及良好的交互性,并广泛应用于各个领域。正方化布局算法是树图可视化方法中常用的算法,但该算法存在无序和稳定性差等不足。提出了一种优化算法来改进该算法的不足,并通过实验数据证明了优化后算法的有效性。     

变分自编码器对甲基化缺失数据的填补

针对高通量测序技术因各种原因导致的DNA甲基化测序数据中包含部分缺失值的问题。提出一种基于变分自编码器的DNA甲基化缺失数据填补模型VAE-MethImp。VAE-MethImp是一种深度隐含空间生成模型,由编码层、隐含层和解码层组成,拥有强大的重构输入数据能力。编码层进行均值和方差的推断;隐含层是通过编码层输出的均值和方差计算出的输入数据的专属正态分布;解码层对隐含层包含的特征进行解码生成重构后的数据。通过在肺癌和乳腺癌上的填补实验证明,VAE-MethImp提取的特征更具信息性。在填补精度上,VAE-MethImp比对照方法（均值（Mean）、最近邻（KNN）、主成分分析（PCA）和奇异值分解（SVD））中最优的SVD提升了4.8%。生存分析实验结果显示VAE-MethImp填补的数据具有更好的预测性,同时也证明DNA甲基化与癌症的生存存在直接关联。     

分级存储系统中一种数据自动迁移方法

分级存储系统通过将数据在不同性能设备间动态迁移以达到高性能.已有分级存储系统未能充分利用负载信息导致数据迁移严重影响应用性能.提出了一种分级存储系统中的数据自动迁移方法AutoMig,目标是提高前台应用的I?O性能.AutoMig综合文件访问历史、文件大小、设备利用情况等参数,对文件进行动态分级,并使用LRU队列维护快速存储设备中的文件状态;挖掘关联文件用于自动预取;针对不同文件迁移操作采取不同的速率控制策略.对降级操作,根据负载变化动态调整迁移速率,对回迁操作则采取尽力而为的策略.在分级存储系统中的应用表明,与已有方法相比,AutoMig有效缩短了前台I?O响应时间.     

多输入多输出系统的数据分层建模

为了高效准确地实现多输入多输出系统的数据建模,本文提出了数据分层建模算法.将多输入多输出数据建模问题分解为一系列单输入多输出的建模问题,同时改进标准遗传编程算法,将单树表示的的个体结构扩展为向量树的进化个体,实现多输出系统的自动建模.通过大量的计算实例表明,这种算法可以实现复杂的多输入多输出系统的建模,提高数据建模的效率和精度.     

电厂异构系统数据交互的实现

采取改进的有特色的数据仓库方案,在三遥系统中建立整合数据库,将两系统的数据通过串口,网络等方式整合到三遥系统中,采用双层C/S的结构,设计门户站作为各异构系统的整合交流站,并建立异构系统数据库和数据管理服务等应用程序,在对各个数据进行服务的同时进行统一的管理,使数据能够准确的为用户服务.     

分级存储技术及其在水利大数据处理中的应用

随着水利信息化的快速发展,水利大数据应用日益广泛,通常的存储技术已经无法满足需要,存储容量及数据读写速率已成为大数据处理发展过程中的瓶颈。与全国山洪灾害防治管理平台中的分级存储数据集群建设实践相结合,根据信息生命周期理论,应用分级存储技术与方法,再结合水利数据特性制定迁移策略,搭建分级存储集群,有效地满足对海量数据存储和处理速率的需求,打破存储对大数据处理的制约。最终,该分级存储集群能够在节省存储成本的同时有效增加存储容量并提高对数据的读写速率,从而使集群的综合性能趋于平衡。     

基于多级网络编码的多副本云数据存储

云数据存储的快速发展对数据的可用性提出了较高要求.目前,主要采用纠删码计算数据编码块进行分布式冗余数据存储来保证数据的可用性.虽然这种数据编码技术保证了存储数据的安全性并减少了额外的存储空间,但在损坏数据恢复时会产生较大的计算和通信开销提出一种基于多级网络编码的多副本生成和损坏数据恢复算法算法基于多级网络编码对纠删码的...