基于非关系型数据库的水文大数据存储方法研究

针对现有的技术架构和主流软件工具存储水文大数据存在的问题,分析非关系型数据库存储水文大数据的优势和技术特点,提出非关系型数据库TRIP存储水文大数据的方法。TRIP数据库管理系统部署在PC机上,水文结构化和非结构化数据存储在与PC机数据连接的磁盘存储装置的数据库文件中,根据水文数据的规模,增加磁盘存储装置的数量和容量。研究结果证明,TRIP数据库能够存储多种类型、格式的水文结构化和非结构化数据,可为水文行业存储水文大数据提供新的技术途径。     

基于Java3D网络大数据多分辨率采集方法仿真

针对传统的网络大数据多分辨率采集方法通常存在采集成本高、完成时间较长、采集准确率较低等问题,提出基于Java3D的大数据网络多分辨率采集方法。通过对基于Java3D网络的大数据多分辨率进行时间序列的空间重构,求出多分辨率时间序列的自相关函数,并引入平均互动数据提取方法对网络数据多分辨率采集的功率谱密度进行估计,采用ADASYN算法,对无效多分辨率数据进行去除,实现大数据多分辨率精准采集。实验结果表明,所提方法采集成本较低、完成时间较短、采集准确率较高;具有一定的实用价值,可广泛应用于各个领域。     

分布式非平衡大数据兼容性云储存方法仿真

针对传统的非平衡大数据云存储方法兼容性效果差、数据失真率较高等缺陷,提出一种分布式非平衡大数据兼容性云储存方法.首先根据分布式系统的数据存储原理,分析行式和列式储存的消耗情况,并针对消耗现象应用分类器处理正负两类样列,以获得较好的分类效果和几何均值;测评非平衡数据集分类效果,强化云存储方法兼容性;最后通过构建大数据访问...     

云计算环境下分布式大数据多信道并行控制系统

分布式大数据控制受到信道数量影响易产生不同步现象,导致信道控制性能较差,设计一种云计算环境下分布式大数据多信道并行控制系统。系统硬件：节点处理模块由FPGA芯片以及抗干扰器组成;无线通信模块主要由射频芯片与无线收发器组成;USB模块由接口芯片、寄存器、存储芯片以及周边电路构成。系统软件：分布式大数据多信道数据存储与处理模块的构成为同步存储数据单元与数据多路实时处理单元;多信道并行控制模块主要由多信道并行管理单元、多信道状态扫查单元以及生成数据流单元构成。通过硬件与软件相结合实现了分布式大数据多信道并行控制。实验结果证明,分布式大数据信道平均传输速率数据则分布、保持的较为均匀,实现了性能提升。     

面向海量非结构化数据的非关系型存储管理机制

针对传统的关系数据存储系统性能不足、容错性差,无法适应海量非结构化数据管理的问题,提出一种高性能、高可用非关系型存储管理机制。首先,设计了良好的用户访问服务接口,通过高效的一致性哈希算法支持数据分发到多个存储节点;其次,采用可配置的数据副本机制改善存储系统的可用性;最后,提出查询故障处理机制,用以提升存储系统的容错性,避免节点失效导致服务中断问题。实验结果表明,在不同规模用户负载下,新的存储系统的并发访问请求能力和传统的文件系统、关系数据库相比,分别提升了30%和50%;同时,在合理响应时间内,故障状态下的存储系统的可用性损失小于14%。因此,该机制适用于海量非结构化数据的高效存储管理。     

大数据技术下的分布式入侵检测系统设计研究

随着社会经济发展水平提升速度的加快,互联网技术也得到了极大的发展,计算机处理的数据量也呈几何倍数增长,在这种情况下,高效快速地分辨出流入本机的信息征是一个很值得探讨的话题.围绕大数据技术下的分布式入侵检测系统设计进行了讨论,主要有3部分内容,希望所探讨内容能对相关人士有所帮助.     

大数据技术下的分布式入侵检测系统设计研究

随着社会经济发展水平提升速度的加快,互联网技术也得到了极大的发展,计算机处理的数据量也呈几何倍数增长,在这种情况下,高效快速地分辨出流入本机的信息征是一个很值得探讨的话题.围绕大数据技术下的分布式入侵检测系统设计进行了讨论,主要有3部分内容,希望所探讨内容能对相关人士有所帮助.     

网络环境下海量影像数据的多分辨率传输

在基于网络的空间信息服务领域中,由于多用户访问下网络带宽的限制以及影像数据的海量特征,海量影像数据的多分辨率传输成为空间信息服务应用的瓶颈。该文在探讨基于四叉树的海量影像数据组织的基础上,设计一个二分树模型的影像数据多分辨率传输方法,通过实验对该方法进行了验证。     

基于相对密度的多分辨率聚类算法

提出基于相对密度的多分辨率聚类算法,结合了密度聚类和模糊聚类的优点,能形成任意形状、多级分辨率的聚类结果,具有抗噪声能力和处理大数据集的能力,并有效地解决参数值难以设置,以及高密度簇完全被相连的低密度簇所包含等问题.     

分布式多传感器数据融合

介绍经典统计推理理论的分布式多传感器数据融合的概念、形式和方法，以及目前在这一领域研究中已取得的进展及今后的发展趋势．     

基于特征加权的分布式大数据相关性挖掘方法

针对传统方法存在计算时间较长,任务分配均匀程度较差的问题,提出基于特征加权的分布式大数据相关性挖掘方法.对软子空间进行聚类,根据特征加权的不确定性表示加权聚类中心,并求解权值.设计特征选择的技术框架对特征加权进行选择,依据特征空间搜索机制完成特征筛选.根据特征筛选结果运用MapReduce编程模型对数据簇的聚类中心进行...     

分布式多空间数据库复杂时态数据提取技术

由于时态数据的处理过程中存在数据片面性的问题,加之其历史复杂性,如果依然采用传统的方法不能对时态数据予以完全描述,而相似性训练算法也无法对动态复杂的时态数据予以准确匹配,导致提取效果不佳,所提取的数据存在误差.由于这种提取方法精确度不高,就需要采用新的方式,分布式多空间数据库复杂时态数据提取技术可以获得良好的效果.健康...     

油田分布式数据采集监控系统设计与实现

针对新疆地区油田抽油机数量庞大且设备地理位置分布较分散的问题,设计了基于油田抽油机的分布式移动无线数据采集监控系统.系统采用现场工业控制和无线通讯远程操作相结合的办法,达到了实时掌握抽油机的工作状态、及时发现抽油机故障并远程控制抽油机的目的,最终实现了油田分布式数据的采集和监控,实验证明该系统具有很好的前景和应用价值.     

分布式大数据不一致性检测

关系数据库中可能存在数据不一致性现象,关系数据库数据质量的一个主要问题是存在违反函数依赖情况.为找出不一致数据,需要进行函数依赖冲突检测.集中式数据库中可以通过SQL技术检测不一致情况,尽管检测效率不高;而分布式环境下不一致性检测更富有挑战性,不仅需要考虑数据的迁移,检测任务如何分配也是一个难题.在大数据背景下,上述问题更加突出.提出了一种分布式环境单函数依赖不一致性检测方法,给出了不一致性检测响应时间代价模型.为减少数据迁移量和响应时间,基于等价类对待检测数据进行预处理.由于分布式环境不一致性检测问题为NP-hard问题,多项式时间内难以得到最优解,给出了代价模型的多项式时间3/2-近似最优解.提出了一种分布式环境多函数依赖不一致性检测方法,基于最小集合覆盖理论,通过一次数据遍历,对多个函数依赖进行并行批检测,同时考虑检测过程中的负载均衡等问题.在真实和人工数据集上的实验表明：相对于传统的检测方法以及基于Hadoop的Naïve方法,所提出的检测方法检测效率有明显的提升,且扩展性能良好.     

基于小波理论的多分辨率多传感器数据融合

小波变换的多尺度特点非常适合多尺度信号的处理,可以用于多分辨率多传感器数据融合,本文研究了不波变换的特征,提出基于小波包变换的多分辨率多传感器的数据融合算法,算法不需要把小波系数当成白噪声处理,并一能够有效地降低向量和矩阵维数,减少运算,有较好的滤波性能,同时采用双正交小波包变换,这可以克服基于正交小波包变换的多尺度滤波中正交小波因不具有线性相而产生恢复失真的缺陷,进一步提高滤波性能。     

基于分布式平台的大数据分析处理系统

设计并实现基于分布式平台的大数据分析处理系统,基于Spark平台用以处理大规模时间序列数据.系统框架主要分为存储层、算子层和算法层.在存储层,系统基于HDFS和Hive完成对大规模时间序列数据的组织和索引.在算子层,系统为用户提供了Spark平台上时间序列数据常用的基本操作,并允许用户直接使用这些算子实现自定义的时间序...     

基于CORBA的分布式多DCS数据采集系统的应用研究

DCS系统可以通过不同的数据访问接口将分布式数据快速、有效的融合,使DCS不仅能够对生产设备进行控制,而且也能为生产管理信息系统提供数据支持。CORBA和Web的集成,能够产生性能优于传统的C／S、B／S模式的应用平台,在Web服务器上开发CORBA客户端,对CORBA服务进行调用,实现网关程序对负载进行调度,一方面简化了基于Web的CORBA应用程序的开发,另一方面也提高了服务对Web请求的响应速度。     

分布式信号采集分析系统海量非结构化数据实时处理技术研究

在分布式信号采集分析系统中,为保证系统的通用性,需要加装一些不同的数据采集设备,在系统规模较大时,按照传统的开发方式,要实时处理由于硬件架构不同带来的海量非结构化数据,将往往会导致不同设备无法同时工作的问题。本文将数据采集线程转化为系统服务进程,解决了这一问题。测试表明,本文设计的方案仅使得系统资源略有增加,保证了系统的稳定工作。