面向HBase的大规模数据加载研究

分布式数据库HBase在大规模数据加载中较传统关系型数据库有较大的优势但也存在很大的优化空间.基于Hadoop分布式平台搭建HBase环境,并优化自定义数据加载算法.首先,分析HBase底层数据存储,实验得出HBase自带数据加载方式在效率和灵活性方面存在不足;进而,提出了自定义并行数据加载算法,并针对集群进行优化.实验结果表明,优化后的自定义并行数据加载方式能充分发挥集群性能,具有较好的加载效率和数据操作能力.     

利用HDF5和Esper的高效外汇数据分析系统

为解决目前关系型数据库由于死锁和阻塞等原因造成系统随数据量增加性能急剧降低的问题,本文提出结合HDF5和Esper的数据处理方法,利用HDF5(层次型数据存储格式)的强大I/O性能和数据类型自定义功能做数据存储,加快数据存储的速度。同时,结合Esper实时计算的高运算效率特征,设计出一套针对外汇计算行业的可移植的数据格式和函数库,解决了即时数据分析系统在存储、管理、交换、归档需求中出现的性能和效率问题。实验结果表明,在10G/天的数据量下,HDF5的数据读写性能比MSSQL要高80倍左右,结合Esper的毫秒级处理能力,能够做到外汇数据的实时计算。系统对于数据处理分析和实时性要求极高的情况有较高的应用价值。     

支持多模态医学数据融合的并行加载算法

由于多模态数据中的数据分属多种模态且相互之间存在互补关系,所以利用传统单模态数据的分析和处理方法无法有效地融合不同模态的数据并表示和处理不同模态数据之间的相互关系。为了解决多模态数据的建模、表示和存储问题,使得更好地融合不同模态的数据及更有效地表示数据之间的相互关系,本文提出了一种新的数据模型,即模态结构图,用于多模态医学数据的建模。该模型利用图结构对多模态数据中的模态及模态间的关系进行建模和表示。基于此模型,本文提出了一种并行的数据加载技术,用于抽取出多模态医学数据中分属不同模态和模态间关系的数据并存储到图数据库中。通过使用批量医学数据文件进行实验,验证了该提取加载技术能够获得较好的数据处理效率。     

结合区块链的非结构化大数据云存储优化研究

针对非结构化数据云存储效率低下的问题,提出了结合区块链技术的非结构化大数据云存储方法.云存储网络利用F2域获得存储信息,根据域首判断出数据状况,实时更新存储策略;同时存储调度利用存储窗与采集窗估算出数据均值与动态振荡,确定存储更新的频次.另外,在云存储网络中引入存储审计策略,根据数据热度与损坏性确定存储审计需求,对存储数据进行存储时间、数据包量的审计,从而优化存储效率.最后考虑到传统非结构化数据云存储过程中的数据验证效率不佳问题,设计了区块链网络结构,并在其中实现了基于Merkle树与Hash的数据完整性高效验证.仿真结果表明,结合区块链技术的非结构化大数据云存储方法显著降低了数据的审计与存储时间,有效提高了非结构化数据的云存储效率,具有良好的大数据处理性能.     

大数据存储结构及查询优化

随着经济和科技的进一步发展,我国的数据量在不断增加,这对于存储系统提出更高的要求,要进一步提高数据加载的速度等,需要优化大数据的存储结构。基于此,将对大数据的影响、大数据在分布式处理中的资源消耗、大数据处理的要求以及改进的措施进行介绍,从而进一步促进大数据的发展。     

基于数据特性的Spark任务性能优化

新一代的分布式数据处理框架大大提升了数据处理任务的效率。然而,由于不同数据处理任务需要处理的数据的特性各不相同,因此难以找到一种统一的方法来优化数据处理任务的性能。针对不同的数据集,需要分析其相应的数据特性,才能充分利用内存和计算资源,优化任务执行效率。研究数据倾斜度这一数据特性,提出一种数据倾斜度的量化方法,基于分布式处理框架Spark,通过结合数据采样分析和源代码语义分析的方法,自动判断当前所处理数据集的数据倾斜度与处理代码的适合程度,并基于判断结果提出相应的代码自动优化方案,从而提升任务的运行效率。通过多个数据处理实验,验证了优化后提高数据分析任务效率的效果。     

基于参数优化的Hadoop云计算平台

传统的数据分析,很难满足现阶段大数据处理效率的要求.Hadoop云计算技术的应用,实现了海量数据存储和分析,提高了数据存储和分析的效率.在总结传统系统利弊的基础上,以Hadoop分布式文件系统(HDFS)取代现有的单机数据存储,以map/reduce应用程序取代传统的单机数据分析,并对其做出优化.实验证明,Hadoop系统架构在生产上部署、投入使用的可行性.     

基于VxWorks的网络数据实时处理软件的设计与实现

机载实时数据处理可以大幅提高数据处理的效率。为满足机载网络化测试系统架构下的实时数据处理的需求,设计并实现了一种基于VxWorks的网络数据实时处理软件。该软件运行在多核嵌入式数据处理系统上,通过多任务并发执行的方法保证实时性。软件运行过程中利用零拷贝技术实时接收机载测试系统发送的网络包数据,然后按照自定义的文件格式存储原始数据,同时将需要处理的网络包存入数据处理缓存中,根据网络数据协议实时解析网络包数据,最后利用预留缓存的办法将处理结果写入结果文件。实践证明,该软件能快速接收并实时处理网络数据,同时将原始数据和结果数据进行存储,该方法有效提高了数据处理的效率,为飞行试验数据处理提供了新的途径。     

基于Gibbs采样与概率分布估计的移动云数据存储

为提高移动云数据存储远程服务器的计算和存储能力,提出一种改进的移动云数据存储算法。利用表决数据分配和表决数据处理框架,构建考虑节点失效概率的重采样期望传播时间计算模型,并建立整合能源效率和容错性的表决动态网络。采用概率分布估计对动态网络模型进行存储路径优化,应用Gibbs采样解决分布估计的样本数据高维耦合和无监督训练问题。实验结果表明,与贪心算法、随机放置算法和分布估计算法相比,该算法具有更高的能源效率和存储可靠性。     

发动机ECU标定系统的实时数据处理设计与应用

发动机ECU标定系统需要标定人员根据实时工况数据来即时调整ECU的控制策略。即时显示发动机运行状态,同时存储实时数据对于标定工作意义重大。提出一种发动机ECU标定系统结构实现方法,实现工况数据的实时采集与标定数据的在线标定。设计一种改进的行程编码算法对数据进行无损压缩,便于数据的传输、存储、查询;利用数据缓存队列、优化线程调度策略,将任务分配到不同处理器上运行,保证系统的实时响应与数据处理效率。在发动机ECU标定系统的应用中表明该方法满足了标定系统对实时性、准确性、高效性的要求。     

面向FAST科学数据管理系统平台的设计与实现

为了对大规模脉冲星及暂现源数据处理技术运用研究的突破,为国家大科学工程FAST实现提供有效的技术支持,加速在脉冲星和暂现源科学研究方面科研成果的产出.尽可能详细记录脉冲星科研数据处理结果,解决数据分析处理过程、科研结果不便于管理、共享等问题.FAST早期科学数据中心设计开发了面向FAST的脉冲星科学数据管理平台.讨论了...     

FastNavi：巡天数据的交互式探索系统

目前,我国天文科学领域的重大科学工程FAST（500?m口径球面射电望远镜）已于2016年9月建成并进入调试和试运行阶段。为满足FAST建成后开展科学研究的需要,采用基于阵列模型的科学型数据库系统作为巡天数据的存储支撑系统,设计实现了一个能够满足对大规模巡天数据进行高效读写、复杂分析的交互式探索系统FastNavi。该系统涵盖了最为常用的巡天数据可视化探索的核心功能,通过优化对巡天数据的可视化分析及观测信息导航的实现,向天文学家或其他非专业人士进行天文研究提供了一种新的交互式探索方式。FastNavi目前已在国家天文台FAST工程科学部巡天数据研究规划中应用,并被其列为巡天数据科学研究的支撑软件。     

基于STM32的射电望远镜跟踪系统设计

为了满足天文爱好者的对射电天文学的探索,对于大型的射电望远镜天线,其指向精度要求高,观测的过程中需要做各种实时修正,造价昂贵,并不适合用于科普,因此设计了一种基于STM32微处理器的双轴射电望远镜控制系统。系统通过两台直流电机控制抛物面天线对太阳的运动轨迹进行跟踪并实时采集射电望远镜接收机电压,并将采集的数据利用TCP传输方式快速送至PC机用户监控软件进行显示和存储。该系统实现了时间分辨率为1ms的太阳射电数据采集与存储,提高了系统捕获持续时间很短的太阳爆发能力,为科普爱好者研究、分析太阳活动提供了数据支撑。     

悬索驱动的新型柔性并联机器人

介绍了500米口径球面射电望远镜FAST馈源支撑结构创新设计方案,该方案采用六根悬索和馈源舱构成的新型柔性并联机器人系统,建立了柔性机器人系统的逆动动学模型,设计并制造了该系统的5米模型,实验结果表明这种新型柔性并联系统在原理上是可行的。     

基于TCP/IP的天文射电望远镜节点控制器研制

在天文观测领域中,我国正在积极筹建FAST项目。基于TCP/IP的天文射电望远镜节点控制器用于FAST项目的10〖DK〗∶1缩比模型系统中,根据控制器实际功能需求,确定了以LPC2338为主控芯片的总体设计方案。硬件方面,设计了网络接口模块、电机控制模块、位置采集及数据存储等模块的电路。软件方面,实现了基于TCP/IP的工业以太网接口通信功能,接收的主控上位机指令控制促动器电机,使整个球状反射面精确动态成型,同时可采集反射面单元信息并实时回传给上位机。本控制器通过实际运行与测试,达到设计要求,为FAST项目的实施起到了良好的推动作用。     

查询感知的关系-图数据库自适应存储技术研究

在大数据时代,针对不同场景下如何保持数据高效查询受到持续关注,但是对通过改进数据的存储管理技术来提高查询效率还有待进一步研究。因此,结合图数据结构类型多变、应用场景丰富、数据集价值高等优势,提出了一种利用关系-图数据模型协同存储数据的模式,并设计了用户查询感知的自适应存储优化技术来解决多数据模型的数据存储冗余优化问题。通过分析不同引擎处理不同的查询得出每种引擎对应的不同查询性能和多数据模型存储存在的数据冗余问题,提出用户查询感知的自适应存储技术。再结合用户历史查询及查询特点,利用基于启发式规则的优化算法完成多数据模型的数据存储优化。     

面向海量星表数据的高效的时序数据生成方法研究

在时序天文学中,观测设备具有在时间轴上频繁采样的特点,这导致处理数据的海量性,应用传统科学计算方法生成时序数据通常耗时较长,效率不高.为了解决这个问题,提出一种高效时序数据生成方法(E TS-DGM).根据用户的时空请求实现时序数据的快速生成,重点设计对原始文件的数据访存优化和交叉证认计算过程中的证认计算优化.实验结果...     

Fast协议在智能脱扣器中的应用

针对目前智能脱扣器中采集数据需要高效、高保真、低时延压缩传输的现状,采用FAST（FIX Adapted for Streaming）协议处理数据,该协议利用数据内容与结构描述分离的方法,用发送和接受双方都理解的模板描述数据结构,对数据内容进行字节编码以及二进制序列化压缩。描述了用C＋＋语言实现FAST算法的方法,试验结果表明FAST协议能够有效解决传输数据的大量重复,在工业高速海量实时数据的应用中具有巨大的优越性。