文件映射在DCS实时历史数据库中的应用

该文通过文件映射机制提出了集散控制系统的实时历史数据库查询历史数据的文件处理方案,利用文件映射机制在大型文件处理和频繁读写文件中的优势[4],提高了DCS实时历史数据库对历史数据文件的处理效率,缩短了查询历史数据的时间。     

煤矿瓦斯历史数据压缩技术研究

通过对煤矿瓦斯历史数据的特征分析,采用统计分析理论,文章提出了一种适合于煤矿瓦斯历史数据压缩的研究方法——分时段数据处理(TSDP)技术。该技术对海量历史数据进行分段压缩,为其它实时系统数据处理和压缩技术提供了一种有益的参考。     

基于OPC UA的历史数据存取

论文以OPCUA技术为基础,设计了一种文件结构作为历史数据存储器。同时,在符合OPCUA规范定义的条件下,通过存储过程、存储方式和查询过程三部分给出一种历史数据的存取机制,以便客户高效地处理历史数据。最后,通过实验用程序实现数据存取模拟,并对存储和查询性能进行了测试。     

数据流历史数据的存储与聚集查询处理算法

目前数据流的研究成果主要集中在分析处理存储于内存中的最近一段时间内的数据流数据,忽略了对数据流历史数据的分析处理与存储管理.提出了一种数据流历史数据的存储管理及聚集查询处理方法,通过对历史数据实施多层递阶抽样存储,并在内存中建立存储数据流历史数据聚集值的HDS-Tree索引,实现对无限数据流历史数据的存储管理,有效地支持各种聚集查询同时,还给出了基于HDS-Tree的聚集查询算法的时间复杂性分析和查询误差分析.理论分析与实验结果表明,该方法可以有效地用于数据流历史数据的存储与分析.     

软件项目历史数据收集与分析应用探讨*

对软件组织项目历史数据的收集与分析进行了探讨。首先介绍了历史数据的收集类别,然后对历史数据的统计和分析进行了研究。在研究过程中,结合大量的实际案例数据对与进度相关的几个重要参数进行了统计、分析并建模。通过构筑进度安排指南,估计工作量和实际工作量的比较,估计进度与实际进度的比较这些历史数据的统计和应用,为软件组织的历史数据统计分析提供了一套切实可行的思路,对软件过程改进工作具有较大的参考价值。     

基于历史数据分析的工作流仿真环境研究

工作流模型仿真中随意设置仿真环境会导致仿真结果失真.工作流历史数据记录了工作流模型实际执行的状态,是非常有价值的信息;同时随着时间的增长历史数据的激增对系统性能造成了一定的影响.通过添加历史数据管理模块将历史数据从工作流实例库转移到备份库中较好地解决了系统的性能问题;利用数据抽取接口提取所需信息,基于统计理论的方法,通过对历史数据分析得到更符合实际情况的属性和指标值,其分析结果可以作为仿真环境的参考设置.     

一种存储和索引历史数据流数据的方法*

通过对流数据的抽样存储,并在内存中建立B 树结构,对抽样数据和常用聚集操作进行索引,实现了对无限数据流历史数据的抽样存储管理,有效地支持了数据流历史数据查询.     

软件项目历史数据收集与分析应用探讨

对软件组织项目历史数据的收集与分析进行了探讨。首先介绍了历史数据的收集类别，然后对历史数据的统计和分析进行了研究。在研究过程中，结合大量的实际案例数据对与进度相关的几个重要参数进行了统计、分析并建模。通过构筑进度安排指南，估计工作量和实际工作量的比较，估计进度与实际进度的比较这些历史数据的统计和应用，为软件组织的历史数据统计分析提供了一套切实可行的思路，对软件过程改进工作具有较大的参考价值。     

基于车辆检测器的可变情报板诱导效果评价

通过智能交通系统中的车辆检测器比较准确地检测了交通量数据,并在此基础上提出了一种采用实地试验方法对可变情报板的诱导效果进行评价的方法。该方法通过对分流匝道处的车辆检测器交通量历史数据进行清洗融合,得到不受可变情报板影响的历史数据,再将得到的历史数据通过诱导前的交通流数据校正后形成基准数据,然后和可变情报板作用后的交通流分流比例进行对比,最后针对对比的结果给出调整方法,从而获得了更好的诱导效果。     

基于Neo4j不确定性数据处理技术的研究

不确定性是数据的本质特征,对不确定性数据的研究得到了越来越多领域的关注。在总结当前处理历史数据不确定性方法的基础上,针对缺乏处理不确定性历史数据的语义框架问题,基于Neo4j图数据库建立用于处理不确定性历史数据的通用数学模型。该模型以双时态模型、概率模型等为依托,整合了历史数据的时间、不确定性与世系三个方面。并基于Python语言实现了具有CRUD基本操作的存储系统,可动态增加节点之间的关系、存储和检索历史数据、实现了不确定性数据的筛选查询和模糊查询。通过关系型数据库与图数据库中数据的存储方式及存储系统的查询效率对比实验表明,所提出的数学模型扩展性更强,实现系统查询效率更高,在处理大规模不确定性数据的存储和检索方面优势更加明显。     

大数据融合模型的智能化网络安全检测方法

针对传统智能化网络安全检测平台处理数据效率低、误差大等问题,文章提出一种新型的解决方案;该方案基于大数据融合模型构建新型的智能化网络安全检测平台,采用卡尔曼滤波算法、采用数据融合分类算法和模糊推理算法3种方法结合构建出数据融合模型来对网络安全检测数据进行运算与处理;其中,采用卡尔曼滤波算法进行改进,对原始网络安全检测数据进行滤波降低噪声干扰,提高数据的精准度;通过SAE稀疏自动编码器自主提取网络安全检测数据的特征信息,之后K-means聚类算法对SAE稀疏自动编码器输出的数据进行处理,通过模糊推理算法调整权值;试验表明,文章所提方案克服了现有技术存在的不足,显著提高了处理数据效率和精准度,在数据量为2 TB的环境下,本研究方法的误差低至6.9％.     

基于数据监听算法的异构地籍数据网上提取技术及实现

从分布异构的地籍数据库提取数据,实现国家地籍数据总归户.传统方法是通过在数据库中创建对象,但无法保证地籍数据的安全.本次研究中采用基于文件的数据监听算法以及编制相应的中间件,通过监听数据库文件的大小、属性、最后一次更改时间,在确定文件在某一时间是否更改的情况下启动监听,调用底层的IO接口.中间件是一个与数据库平台无关的客户端程序,采用事件触发机制,实现了定时/实时远程地籍系统之间的数据交换.     

面向不平衡数据集的煤矿监测系统异常数据识别方法

异常数据识别对于煤矿安全监测系统具有重要作用,但安全监测系统中异常数据一般只占数据总量的1%左右,不平衡性是此类数据的固有特点。目前多数机器学习算法在不平衡数据集上的分类预测准确率和灵敏度都相对较差。为了能准确识别异常数据,以煤矿分布式光纤竖井变形监测系统采集的数据为研究对象,提出了一种面向不平衡数据集、基于去重复下采样(RDU)、合成少数类过采样技术(SMOTE)和随机森林(RF)分类算法的煤矿监测系统异常数据识别方法。该方法利用RDU算法对多数类数据进行下采样,去除重复样本;利用SMOTE算法对少数类异常数据进行过采样,通过合成新的异常数据来改善数据集的不平衡性;并利用优化后的数据集训练RF分类算法,得到异常数据识别模型。在6个真实数据集上的对比实验结果表明,该方法的异常数据识别准确率平均值达到99.3%,具有较好的泛化性和较强的鲁棒性。     

基于WSNs的医院环境监测系统设计

针对传统医院环境监测系统现场布线难、设备移动性差、测量精度不高的问题,提出了一种基于无线传感器网络( WSNs)技术的医院环境监测系统,并详细介绍了该系统的结构、通信机制及软件实现流程.系统由无线传感器节点依据无线通信机制形成WSNs.在分析影响WSNs能耗的主要因素和现有节能技术基础上,提出了一种基于能量均衡的数据可靠传输算法,即动态能量管理分簇算法( DPMCA),该算法把DPM技术和CA有效结合,有效解决了传统医院环境监测系统中存在的问题.     

一种企业能耗预警相关性分析的时空挖掘算法

为了挖掘工业企业能源监测点之间的预警关联规则,寻求生产过程中可能存在的能耗相关性,针对工业企业综合能耗具有的时间特征和空间特征,本文提出了一种新的基于结构化项集的时空挖掘算法,以解决传统的挖掘算法遇到的诸多瓶颈。该算法对经典的Apriori算进法行了改进,引入时间维度和空间维度,可在各个时间段和不同的空间层中,挖掘出更多的能耗关联知识。该算法通过引入时间维度和空间维度,建立最小能耗监测单元,构架分时分层的数据挖掘策略,避免传统的挖掘产生过多的候选项集。这种算法应用于国内一家大型企业工业生产过程的能耗数据分析,取得了较好的实际效果。     

基于密度的不确定性数据概率聚类

近期传感数据监测和移动对象跟踪等许多从自然界直接采集数据的新应用引发了不确定性数据管理这一新的研究课题.这些应用中相关数据的不确定性为传统的数据处理方法提出了新的挑战.探讨的重点是不确定性数据的聚类.提出了一个针对不确定性数据的基于密度的聚类算法,根据不确定性数据内在的概率分布信息进行概率聚类,并采用R树索引和概率阀值索引提高算法的效率.仿真试验表明,提出的算法在有效性和效率方面均优于当前主要的基于密度的不确定性数据聚类算法.     

基于Hadoop的输电线路在线监测数据模型及技术研究

输电线路是电力系统中关键的组成部分,输电线路在线监测技术的应用产生了海量线路运行数据,对数据的深入挖掘成为现阶段电力大数据研究的热点。随着智能电网数据应用的深入,为保证电力系统可靠运行提供了新的解决方案。在研究输电线路在线监测数据类型、数据特征、数据需求的基础上,提出了符合智能电网电力大数据结构特征的Hadoop监测数据模型设计,包含了多维度数据信息输入、分布式数据存储、分布式数据处理的三个层次。通过搭建基于Hadoop集群的大数据处理环境,在MapReduce并行运算模式下实现PCA-SVM聚类算法,以输电线路故障类型识别为例,实现了基于数据分析的输电线路故障辨识,验证该模型实现输电线路在线监测的可行性。     

基于物联网和SOM算法的信息监控系统设计

在物联网环境下进行信息监控系统设计,实现对网络信息的监控和自适应采集,保障网络安全。针对采用传统的神经网络控制方法进行信息监控的数据挖掘准确性不好的问题,提出一种基于物联网和自组织映射SOM算法的信息监控系统设计方法,首先进行信息监控系统的总体设计和功能模块化分析,然后设计改进的SOM算法,应用在信息监控的数据挖掘和分类识别中,在程序加载模块中进行算法加载,最后在物联网环境下构建嵌入式Linux内核进行信息监控系统的软件设计和开发。系统仿真实验结果表明,采用该信息监控系统进行大型物联网的数据信息监控,对数据的准确挖掘和识别性能较好。     

DBSCAN算法在桥梁健康监测预测模型中的应用

针对桥梁健康监测系统的海量监测数据,提出了一种基于DBSCAN聚类分析算法的桥梁健康监测预测模型,该算法通过对原始数据文件分段进行聚类分析预处理,有效地缓解了海量数据的存储问题。进一步对预处理后的数据,采用回归拟合算法,完成对桥梁健康状况的预测功能。     

一种基于属性的异常点检测算法

异常数据检测是数据挖掘研究的热点之一。本文在对现有异常点检测算法分析的基础上,提出了一种基于属性的异常点检测算法。简要地介绍了异常检测的现状,对基于属性的异常检测算法进行了详细分析,包括算法设计基础、算法描述、复杂度分析等。并通过与基于距离的异常点检测算法进行实验比较,表明了算法的优越性。