海量数据同步的处理技巧与实战

数据时代的到来,给银行应用通过文件同步数据带来了挑战,文件的增大导致处理时间过长.针对此问题,介绍了海量数据的常见处理技巧,基于案例测试单记录同步、批量同步、多线程单记录同步、多线程批量同步4种方案,并对不同大小文件的用时进行了统计和分析,为银行提供了技术路线,以帮助实现应用间快速数据同步.     

基于相对压力的煤矿通风阻力测定数据处理方法

针对采用气压计基点法获得的煤矿通风阻力测定数据误差较大、现有原始测定数据处理方法的修正过程较繁琐的问题,提出了一种基于相对压力的煤矿通风阻力测定数据处理方法。该方法首先选取煤矿某入井井口作为相对压力零点;然后计算其他测点的相对压力,并对不符合排序原则的测点相对压力进行修正;最后根据通风阻力定律计算全部巷道的风阻,并根据巷道解算风量与测定的该巷道可靠风量对比结果,对误差超过5%的巷道风阻进行修正,直至所有巷道的风量对比误差在5%以内。该方法可一次性完成原始测定数据误差的初步修正,提高了获取可靠通风基础参数的效率,对煤矿通风阻力测定数据处理工作具有一定的参考价值。     

图书情报数据挖掘处理平台设计

针对传统平台一直存在对图书情报数据挖掘处理效果差、运行耗时长的问题,提出并设计了基于K-means算法的图书情报数据挖掘处理平台。该处理平台主要分为3部分进行设计:对硬件的数据挖掘模块、数据存储模块、数据分析模块进行设计,并在数据挖掘模块中引入K-means算法提高数据挖掘模块性能;给出软件设计流程及部分源代码;对设计平台的运行耗时进行验证。实验结果表明,采用改进设计平台可有效缩短运行耗时,且数据挖掘结果精度更高,具有一定的优势。     

机载光电雷达它机试飞技术研究

机载光电雷达受平台及大气环境影响较大,而它机试飞能有效规避研制风险,是产品研制的必经阶段。本文介绍了机载光电雷达它机试飞试验系统组成、试验流程和数据处理等内容。经工程验证,实施过程满足任务需求,对其他光电系统的它机及本机试飞具有参考价值。     

采用八叉树和OSG分页结点的海量点云三维可视化

针对现有海量点云可视化方法存在索引构建时间长、内存占用大等问题，研究一种八叉树索引结合OSG分页结点的快速可视化方法，可在占用较小内存的基础上快速建立点云索引并实时调度。采用八叉树索引结构对海量点云进行数据组织，建立各层级的八叉树结点并以文件映射的方式分块保存，对结点文件重组织转换为支持OSG渲染引擎的多分辨率点云数据。采用基于OSG分页结点的实时调度技术，对海量点云进行高质量可视化。与目前两款主流的点云数据处理商业软件进行实验对比分析，结果表明所提方法具有索引建立速度快、内存占用小等优点，同时可视化交互更加流畅，适用于各种配置计算机下海量点云数据的调度管理与实时可视化。     

三维数字化技术在矿山测量中的应用

矿山测量是矿山建设中的一个重要环节,它为矿山生产和建设提供重要数据。伴随着当前计算机技术、三维可视化技术、空间信息技术的不断成熟与发展及新兴测量技术的普及与应用,矿山测量工作也逐步由单一传统工程服务型向三维可视化、数字化、信息化的方向转变,在保证测量精度的同时,极大的提高了工作效率,满足现代化矿山测量工作的需要。结合自身工作经历,对三维数字化技术在矿山测量中的应用进行探讨。     

基于贝叶斯网高效推理的半导体生产故障预测

文章通过搜集半导体晶元数据生产集,建立贝叶斯网,运用python对海量数据进行训练。依据训练数据进行分析,生成全面的半导体生产故障概率参考数据;并依据故障率分析结果与实时数据进行比对,实现高效的生产故障预测。通过对输入的半导体晶元数据生产集进行不断更新与学习,实现了对生产故障的精准预测,并可据此采取针对性的质量改进与预防性措施,提升生产的安全性。     

Excel在煤质检测数据处理中的应用

煤质化验数据常采用人工及计算器进行运算、修约及判断处理,以致人为因素发生实验结果错误。采用Excel软件对数据进行计算、应用Visual Basic编辑一种可实现自动修约的函数以及利用"条件格式"选项编辑具有对煤质化验结果的重复性限实现判断和预警功能的公式,可解决实验室煤质化验数据大量繁琐的计算问题,提高了实验数据处理的准确性,对实验数据的高效处理起了重要作用。