海量数据同步的处理技巧与实战

数据时代的到来,给银行应用通过文件同步数据带来了挑战,文件的增大导致处理时间过长.针对此问题,介绍了海量数据的常见处理技巧,基于案例测试单记录同步、批量同步、多线程单记录同步、多线程批量同步4种方案,并对不同大小文件的用时进行了统计和分析,为银行提供了技术路线,以帮助实现应用间快速数据同步.     

利用MPI构建柔性数据处理系统

为了提升在线应用程序进行大数据量统计时的速度,设计独立的基于消息传递接口MPI(Message Passing Interface)的并行数据处理服务模型,与客户应用程序一同建立了柔性数据处理系统。阐述客户程序和并行服务系统的互联结构和工作方式,按照"先判断后处理"的工作思想,客户程序根据运算规模确定是否调用并行服务程序。并行服务程序由监听程序、临时工作程序和一组用于服务的并行程序组成,设计了基于可扩展标记语言的通信协议,实现了并行服务系统与客户程序之间的数据交换。实验比较了串行、MPI并行和Java多线程程序的耗时,结果表明MPI并行程序比其他两种方式具有明显的优势。     

图书情报数据挖掘处理平台设计

针对传统平台一直存在对图书情报数据挖掘处理效果差、运行耗时长的问题,提出并设计了基于K-means算法的图书情报数据挖掘处理平台。该处理平台主要分为3部分进行设计:对硬件的数据挖掘模块、数据存储模块、数据分析模块进行设计,并在数据挖掘模块中引入K-means算法提高数据挖掘模块性能;给出软件设计流程及部分源代码;对设计平台的运行耗时进行验证。实验结果表明,采用改进设计平台可有效缩短运行耗时,且数据挖掘结果精度更高,具有一定的优势。     

采用八叉树和OSG分页结点的海量点云三维可视化

针对现有海量点云可视化方法存在索引构建时间长、内存占用大等问题，研究一种八叉树索引结合OSG分页结点的快速可视化方法，可在占用较小内存的基础上快速建立点云索引并实时调度。采用八叉树索引结构对海量点云进行数据组织，建立各层级的八叉树结点并以文件映射的方式分块保存，对结点文件重组织转换为支持OSG渲染引擎的多分辨率点云数据。采用基于OSG分页结点的实时调度技术，对海量点云进行高质量可视化。与目前两款主流的点云数据处理商业软件进行实验对比分析，结果表明所提方法具有索引建立速度快、内存占用小等优点，同时可视化交互更加流畅，适用于各种配置计算机下海量点云数据的调度管理与实时可视化。     

机载光电雷达它机试飞技术研究

机载光电雷达受平台及大气环境影响较大,而它机试飞能有效规避研制风险,是产品研制的必经阶段。本文介绍了机载光电雷达它机试飞试验系统组成、试验流程和数据处理等内容。经工程验证,实施过程满足任务需求,对其他光电系统的它机及本机试飞具有参考价值。     

电气自动化在水厂中的设计及管理分析

自来水厂是城市重要的基础服务设施,随着经济的发展,科学技术的进步,我国的水厂自动化水平也不断提高。将电气自动化技术应用在自来水厂中,不仅节省了大量的人力成本,还大大提高了供水效率。为了进一步推动电气自动化在水厂中的发展,该文对水厂中电气自动化设计、管理进行了分析和探讨。     

国家卫生直报系统在卫生统计中的应用

国家卫生直报系统是一款集数据填报、数据汇总、数据审查、数据提取、数据对比、数据分析等功能的系统,此系统应用广泛,对我国区域性医疗资源布局有重要的参考作用。但目前,我国基层卫生工作人员计算机水平参差不齐,对此系统应用不是很娴熟、透彻,因此文中用实例讲解的方式简述国家卫生网络直报系统在卫生统计工作中的综合应用,力争让广大基层卫生统计工作人员通过此文提高卫生统计工作水平。     

GIS在深圳市三防指挥信息系统中的应用

深圳市三防指挥信息系统利用GIS技术,结合水利(水务)、防汛、抗旱的具体业务,建立了水情遥测数据处 理分系统、工况监测数据处理分系统、水务行业三防信息管理分系统、决策支持分系统、水源优化调度分 系统,提高了现代化管理水平。