基于任务分配和数据集副本的科学工作流数据布局

云环境下科学工作流的数据布局成为当前工作流研究中的一个热点问题,对科学工作流中任务和数据之间多对多关系进行分析,可以发现不同数据布局方案在数据传输上的费用各不相同,在很大程度上影响工作流的运行成本。为降低科学工作流数据集传输费用,提出一种基于任务分配和数据集副本的科学工作流数据布局方法。该方法从任务分配开始,在定量计算任务依赖度的基础上进行任务分配,根据分配结果给出一个基于数据集副本的两阶段数据布局方法,以实现科学工作流运行中传输费用的优化。实例结果表明,与工作流层方法相比,该方法可以有效降低科学工作流的运行成本。     

逆向工程中的三维测量数据点云的分割

以线激光一机器视觉测量方式得到的曲面数据云为基础，探讨了曲面密集三维散乱点群数据的分割技术．根据线激光测量方式和三维点群分布的特点，建立了恰当的数据结构在计算机中表示散乱点群．并通过树形的空间结构完成对密集散乱点群空间分割，由此实现对散乱点群数据的几何分割。     

区域生长法图像分割的数据并行方法研究

针对基于区域增长的图像分割方法,讨论和研究了其数据并行实现方法,证明了这种数据并行方法的正确性,并简要对算法性能进行了分析。对有关结论进行了仿真验证,结果表明,这种基于区域生长法的图像分割的数据并行方法是正确且切实可行的。     

信息熵在数据集分割中的应用研究

针对现行数据集分割方法中的不足，从信息学的角度出发，引用信息熵理论，提出了一种简单可行的数据集分割方法，即选择使数据子集的总体熵较小的分割方式，实验结果证明了这种方法的有效性。     

一种基于数据分割与分级的云存储数据隐私保护机制

云存储系统数据管理权和所有权的分离导致数据安全和隐私保护难题。传统的基于单纯加密技术的云存储数据隐私保障机制在实际的数据操作过程中带来了较大的系统开销。为了以低开销实现云存储系统中异地托管数据的隐私保护机制,提出了一种基于数据分割与分级的云存储数据隐私保护机制。机制首先将数据合理分割为大小数据块;再分别将小块数据和大块数据部署在本地和异地;然后按数据不同的安全级别需求,联合采用数据染色和不同强度的数据加密技术进行数据染色或加密,以在保护云存储用户数据隐私的同时,提高灵活性,降低系统开销。     

基于并行挖掘大数据的无损云取证模型仿真

互联网犯罪问题日益严峻,云取证也存在数据取证效率低、完整度不高问题.由此提出一种基于并行挖掘大数据的无损云取证模型.把较小数据集当作并行挖掘单元,采用数据属性稠密化方法挖掘通信单元间的关联规则,使用全局通讯模式连接每个单元,增强云通信效果,提高云取证效率;分块采集犯罪数据,运用子带量化预测法压缩初始数据,通过量化压缩数...     

光纤网络中的云数据并行调度

光纤网络的通信质量受到云数据调度均衡性影响很大,为了改善光纤网络通信质量,提高网络中云数据传输的吞吐量和保真率,通过云数据并行调度,实现云数据传输均衡,提出一种基于自适应判决反馈均衡的光纤网络云数据并行调度模型;构建光纤网络通信的传输信道模型,采用最小均方误差估计方法进行光纤网络的量化融合估计,运用匹配滤波检测器进行云数据中的干扰滤波处理,结合自适应判决反馈均衡方法进行信道均衡,在均衡的信道中对滤波输出的云数据进行并行调度和多线程输出调制;仿真结果表明,采用该方法进行光纤网络中的云数据并行调度的均衡性较好,输出数据的保真率较高,误码率较低,改善了光纤网络的整体性能。     

信息熵在数据集分割中的应用研究

针对现行数据集分割方法中的不足,从信息学的角度出发,引用信息熵理论,提出了一种简单可行的数据集分割方法,即选择使数据子集的总体熵较小的分割方式,实验结果证明了这种方法的有效性。     

基于数据分割的云存储中数据的安全共享

针对云环境中第三方服务器不可信的问题,提出一种基于数据分割的密钥聚合加密方法.利用数据分割的思想将文件分割为大数据和多个小数据块,采用密钥聚合加密算法分别加密后将文件分块存储在云端.文件共享时,提取多个数据块的密钥为一个聚合密钥,实现一个密钥对多个文件的解密.进行理论分析及仿真实验,结果表明该方案可以降低对第三方服务商的可信要求,在数据共享时减轻了密钥的传输开销,仅需一个固定长度的聚合密钥即可.     

基于激光点云数据的植物器官多维特征分割方法

地面三维激光点云数据的植物器官分割,是林业信息化测 量中的基础性工作之一。本文在点云数据颜色相近、结构复杂的情况下,首先提出了一种新 的局部切平面分布特征,并构造了融合原始扫描数据、散点空间分布特征、法向分布特征的 多维融合特征,能够更为有效地表征不同类别的植物器官。其次在分类器选择上,采用标准 SVM,PSVM,GEPSVM三种分类器作为对比,后续使用图割理论进行再分类,加强分类效果。 根据多种比较实验表明,本文提出的多特征融合分割方法能有效对植物器官的点云数据进行 分类,其识别率可达到98%以上。     

云计算环境下适于工作流的数据布局方法

云计算环境下的工作流管理系统,适合支持需要高效的计算性能和大规模存储的跨组织业务协作,在应急管理、供应链管理和健康医疗等领域具有广泛的应用前景.然而,在大量并发工作流实例的情况下,当工作流的任务需要不同位置的数据,特别是涉及客户端隐私数据时,如何有效地存放这些数据、优化数据传输就成为其中的挑战.为此,云计算环境下适于工作流的数据布局方法能够根据数据的隐私要求把数据存放到云端和客户端,并且在工作流运行时根据控制流动态地调整数据布局,减少数据传输.实验表明,该方法能够有效减少工作流运行时的数据传输.     

基于云计算的大数据信息检索技术研究

随着云计算的快速发展,信息呈现爆炸式增长。廉价的云存储和计算能力,加速了大数据的产生,也使得解决大数据的信息收集和信息检索成为必然。大数据超过50%是非结构化数据,所以它们绝大部分以文件的形式存储。大数据被分成许多块存储在块服务器中,同时也产生存储在主服务器上的相应元数据。该文就如何收集大数据的web-url及关键词,又如何检索其中的信息,作了探讨。     

基于云计算的图像检索研究

以Web2．0技术为代表的现代技术快速发展及应用,加速了网络信息容量的膨胀。如何从如此庞大的信息源筛选出用户所需的信息,尤其是图像信息,则必须对这些信息进行高效地检索。图像检索传统算法上的改进难以解决海量数据存储、计算及传递等一系列问题,云计算作为一种新兴的计算模型,对解决图像检索发展遇到的瓶颈有着极其重要的推动作用。     

基于云模型的Web信息获取研究

本文讨论了云模型的基本概念和相联规则的含义．从应用的角度提出一种新的相联规则智能信息获取方法CM-T，并给出了算法的步骤和度量标准．由于云模型较好地软化了数量属性论域的划分边界,从而为进一步满足Web信息检索提供一种个性化的高效信息检索工具．     

基于云计算平台的政务大数据系统自动检索方法研究

传统检索方法查准率和查全率相对较差,导致自动检索精准度较低。为此,提出了基于云计算平台的政务大数据系统自动检索方法研究。在云计算平台下,利用CiteSpace软件对政务大数据系统中的关键词进行统计分析,获取相关资源。在电子政务联机模式下,揭示政务大数据系统中资源相关属性,在MapReduce挖掘模型支持下,进行政务大数据系统数据挖掘,实现政务大数据系统自动检索。实验验证分析,该方法检索查准率和查全率较高,具有高效检索效果。     

云工作流中基于分时虚拟机的任务层调度算法

云计算是新的一种面向市场的商业计算模式,向用户按需提供服务,云计算的商业特性使其关注向用户提供服务的服务质量。任务调度和资源分配是云计算中两个关键的技术,所使用的虚拟化技术使得其资源分配和任务调度有别于以往的并行分布式计算。目前主要的调度算法是借鉴网格环境下的调度策略,研究基于QoS的调度算法,存在执行效率较低的问题。我们对云工作流任务层调度进行深入研究,分析由底层资源虚拟化形成的虚拟机的特性,结合工作流任务的各类QoS约束,提出了基于虚拟机分时特性的任务层ACS调度算法。经过试验,我们提出的算法相比于文献[1]中的算法在对于较多并行任务的执行上存在较大的优势,能够很好的利用虚拟的分时特性,优化任务到虚拟机的调度。     

基于JPPF的分布式并行检索系统研究

为解决传统串行检索方式在面对海量数据进行处理和查询时效率低下的问题,提出基于JPPF的分布式并行检索策略。JPPF是一种基于Java的功能强大的并行处理框架,其并行环境易于搭建、简单实用。通过分析JPPF的框架结构和分布式工作流程,利用其在执行队列管理及负载均衡方面的优势,设计和实现了一个基于JPPF的检索系统。采用对比实验的方法,以数据库查询为例,比较了串行检索和JPPF并行检索的效率。实验结果表明在数据规模较大的情况下,JPPF并行方式较之串行方式可以显著提高检索效率。     

基于云计算的物联网数据挖掘模型

物联网中的数据具有数据量大、数据类型复杂、高度动态性与异构性、复杂时空特性等特点,为数据挖掘带来新的挑战。传统的数据挖掘方法无法直接应用于物联网之中。基于此,提出一种基于云计算的物联网数据挖掘模型,以云计算作为技术支持平台,在构建面向物联网的分布式时空数据库的基础上,搭建面向物联网海量数据的数据挖掘模型。通过分析表明该模型能够有效地完成物联网中的数据挖掘任务。     

云环境大数据工作流编排管理系统研究综述

随着大数据分析处理需求日益复杂,分析处理过程的表达需要转变为依据任务以及任务间依赖关系构建的大数据工作流的形式,以实现其结构化、可重复、可控制、可扩展以及自动化执行,大数据工作流的编排管理成为重要的研究课题,云计算环境下资源的异构性使得该问题变得更为复杂。本文首先将云环境下大数据工作流编排管理研究划分为大数据工作流构建、工作流划分、任务调度与执行以及容错处理4个方面,并在此基础上进行综述,列举并介绍各个方面近年来经典的、关注度较高的研究;然后,针对研究中的主流技术进行分类与梳理,对各项研究中提出的方法及其特性、优势、待改进项等方面进行分析;最后,将视角回归至大数据分析处理系统,分类分析各项研究给系统带来的收益。     

基于概率粗糙集模型的信息检索

针对经典粗糙集模型难以分类标引空间以及体现类间关联的缺陷,将条件概率关系结合粗糙集理论引入信息检索,提出一种基于概率粗糙集的信息检索模型。定义标引词空间的条件概率关系,自动挖掘概念相似类形成概念空间。定义文档与查询、文档与文档间语义贴近度的计算方法。根据贴近度实现检索匹配结果的排序输出。仿真实例表明了该方法的可行性和有效性。