共查询到18条相似文献,搜索用时 531 毫秒
1.
2.
利用HDF5和Esper的高效外汇数据分析系统 总被引:1,自引:1,他引:0
为解决目前关系型数据库由于死锁和阻塞等原因造成系统随数据量增加性能急剧降低的问题,本文提出结合HDF5和Esper的数据处理方法,利用HDF5(层次型数据存储格式)的强大I/O性能和数据类型自定义功能做数据存储,加快数据存储的速度。同时,结合Esper实时计算的高运算效率特征,设计出一套针对外汇计算行业的可移植的数据格式和函数库,解决了即时数据分析系统在存储、管理、交换、归档需求中出现的性能和效率问题。实验结果表明,在10G/天的数据量下,HDF5的数据读写性能比MSSQL要高80倍左右,结合Esper的毫秒级处理能力,能够做到外汇数据的实时计算。系统对于数据处理分析和实时性要求极高的情况有较高的应用价值。 相似文献
3.
由于多模态数据中的数据分属多种模态且相互之间存在互补关系,所以利用传统单模态数据的分析和处理方法无法有效地融合不同模态的数据并表示和处理不同模态数据之间的相互关系。为了解决多模态数据的建模、表示和存储问题,使得更好地融合不同模态的数据及更有效地表示数据之间的相互关系,本文提出了一种新的数据模型,即模态结构图,用于多模态医学数据的建模。该模型利用图结构对多模态数据中的模态及模态间的关系进行建模和表示。基于此模型,本文提出了一种并行的数据加载技术,用于抽取出多模态医学数据中分属不同模态和模态间关系的数据并存储到图数据库中。通过使用批量医学数据文件进行实验,验证了该提取加载技术能够获得较好的数据处理效率。 相似文献
4.
针对非结构化数据云存储效率低下的问题,提出了结合区块链技术的非结构化大数据云存储方法.云存储网络利用F2域获得存储信息,根据域首判断出数据状况,实时更新存储策略;同时存储调度利用存储窗与采集窗估算出数据均值与动态振荡,确定存储更新的频次.另外,在云存储网络中引入存储审计策略,根据数据热度与损坏性确定存储审计需求,对存储数据进行存储时间、数据包量的审计,从而优化存储效率.最后考虑到传统非结构化数据云存储过程中的数据验证效率不佳问题,设计了区块链网络结构,并在其中实现了基于Merkle树与Hash的数据完整性高效验证.仿真结果表明,结合区块链技术的非结构化大数据云存储方法显著降低了数据的审计与存储时间,有效提高了非结构化数据的云存储效率,具有良好的大数据处理性能. 相似文献
5.
6.
《计算机应用与软件》2018,(1)
新一代的分布式数据处理框架大大提升了数据处理任务的效率。然而,由于不同数据处理任务需要处理的数据的特性各不相同,因此难以找到一种统一的方法来优化数据处理任务的性能。针对不同的数据集,需要分析其相应的数据特性,才能充分利用内存和计算资源,优化任务执行效率。研究数据倾斜度这一数据特性,提出一种数据倾斜度的量化方法,基于分布式处理框架Spark,通过结合数据采样分析和源代码语义分析的方法,自动判断当前所处理数据集的数据倾斜度与处理代码的适合程度,并基于判断结果提出相应的代码自动优化方案,从而提升任务的运行效率。通过多个数据处理实验,验证了优化后提高数据分析任务效率的效果。 相似文献
7.
传统的数据分析,很难满足现阶段大数据处理效率的要求.Hadoop云计算技术的应用,实现了海量数据存储和分析,提高了数据存储和分析的效率.在总结传统系统利弊的基础上,以Hadoop分布式文件系统(HDFS)取代现有的单机数据存储,以map/reduce应用程序取代传统的单机数据分析,并对其做出优化.实验证明,Hadoop系统架构在生产上部署、投入使用的可行性. 相似文献
8.
机载实时数据处理可以大幅提高数据处理的效率。为满足机载网络化测试系统架构下的实时数据处理的需求,设计并实现了一种基于VxWorks的网络数据实时处理软件。该软件运行在多核嵌入式数据处理系统上,通过多任务并发执行的方法保证实时性。软件运行过程中利用零拷贝技术实时接收机载测试系统发送的网络包数据,然后按照自定义的文件格式存储原始数据,同时将需要处理的网络包存入数据处理缓存中,根据网络数据协议实时解析网络包数据,最后利用预留缓存的办法将处理结果写入结果文件。实践证明,该软件能快速接收并实时处理网络数据,同时将原始数据和结果数据进行存储,该方法有效提高了数据处理的效率,为飞行试验数据处理提供了新的途径。 相似文献
9.
10.
发动机ECU标定系统需要标定人员根据实时工况数据来即时调整ECU的控制策略。即时显示发动机运行状态,同时存储实时数据对于标定工作意义重大。提出一种发动机ECU标定系统结构实现方法,实现工况数据的实时采集与标定数据的在线标定。设计一种改进的行程编码算法对数据进行无损压缩,便于数据的传输、存储、查询;利用数据缓存队列、优化线程调度策略,将任务分配到不同处理器上运行,保证系统的实时响应与数据处理效率。在发动机ECU标定系统的应用中表明该方法满足了标定系统对实时性、准确性、高效性的要求。 相似文献
11.
为了对大规模脉冲星及暂现源数据处理技术运用研究的突破,为国家大科学工程FAST实现提供有效的技术支持,加速在脉冲星和暂现源科学研究方面科研成果的产出.尽可能详细记录脉冲星科研数据处理结果,解决数据分析处理过程、科研结果不便于管理、共享等问题.FAST早期科学数据中心设计开发了面向FAST的脉冲星科学数据管理平台.讨论了... 相似文献
12.
目前,我国天文科学领域的重大科学工程FAST(500?m口径球面射电望远镜)已于2016年9月建成并进入调试和试运行阶段。为满足FAST建成后开展科学研究的需要,采用基于阵列模型的科学型数据库系统作为巡天数据的存储支撑系统,设计实现了一个能够满足对大规模巡天数据进行高效读写、复杂分析的交互式探索系统FastNavi。该系统涵盖了最为常用的巡天数据可视化探索的核心功能,通过优化对巡天数据的可视化分析及观测信息导航的实现,向天文学家或其他非专业人士进行天文研究提供了一种新的交互式探索方式。FastNavi目前已在国家天文台FAST工程科学部巡天数据研究规划中应用,并被其列为巡天数据科学研究的支撑软件。 相似文献
13.
为了满足天文爱好者的对射电天文学的探索,对于大型的射电望远镜天线,其指向精度要求高,观测的过程中需要做各种实时修正,造价昂贵,并不适合用于科普,因此设计了一种基于STM32微处理器的双轴射电望远镜控制系统。系统通过两台直流电机控制抛物面天线对太阳的运动轨迹进行跟踪并实时采集射电望远镜接收机电压,并将采集的数据利用TCP传输方式快速送至PC机用户监控软件进行显示和存储。该系统实现了时间分辨率为1ms的太阳射电数据采集与存储,提高了系统捕获持续时间很短的太阳爆发能力,为科普爱好者研究、分析太阳活动提供了数据支撑。 相似文献
14.
15.
在天文观测领域中,我国正在积极筹建FAST项目。基于TCP/IP的天文射电望远镜节点控制器用于FAST项目的10〖DK〗∶1缩比模型系统中,根据控制器实际功能需求,确定了以LPC2338为主控芯片的总体设计方案。硬件方面,设计了网络接口模块、电机控制模块、位置采集及数据存储等模块的电路。软件方面,实现了基于TCP/IP的工业以太网接口通信功能,接收的主控上位机指令控制促动器电机,使整个球状反射面精确动态成型,同时可采集反射面单元信息并实时回传给上位机。本控制器通过实际运行与测试,达到设计要求,为FAST项目的实施起到了良好的推动作用。 相似文献
16.
在大数据时代,针对不同场景下如何保持数据高效查询受到持续关注,但是对通过改进数据的存储管理技术来提高查询效率还有待进一步研究。因此,结合图数据结构类型多变、应用场景丰富、数据集价值高等优势,提出了一种利用关系-图数据模型协同存储数据的模式,并设计了用户查询感知的自适应存储优化技术来解决多数据模型的数据存储冗余优化问题。通过分析不同引擎处理不同的查询得出每种引擎对应的不同查询性能和多数据模型存储存在的数据冗余问题,提出用户查询感知的自适应存储技术。再结合用户历史查询及查询特点,利用基于启发式规则的优化算法完成多数据模型的数据存储优化。 相似文献
17.
在时序天文学中,观测设备具有在时间轴上频繁采样的特点,这导致处理数据的海量性,应用传统科学计算方法生成时序数据通常耗时较长,效率不高.为了解决这个问题,提出一种高效时序数据生成方法(E TS-DGM).根据用户的时空请求实现时序数据的快速生成,重点设计对原始文件的数据访存优化和交叉证认计算过程中的证认计算优化.实验结果... 相似文献
18.
针对目前智能脱扣器中采集数据需要高效、高保真、低时延压缩传输的现状,采用FAST(FIX Adapted for Streaming)协议处理数据,该协议利用数据内容与结构描述分离的方法,用发送和接受双方都理解的模板描述数据结构,对数据内容进行字节编码以及二进制序列化压缩。描述了用C++语言实现FAST算法的方法,试验结果表明FAST协议能够有效解决传输数据的大量重复,在工业高速海量实时数据的应用中具有巨大的优越性。 相似文献