水利物联网数据共享平台设计与应用

为适应南水北调信息系统在地域分布特性和各个信息系统本身工程数据多样性的特点,并解决工程管理对数据集成和交换的需求,本文提出面向水利物联网的数据共享平台,依据该平台可以实现南水北调信息系统之间数据共享与交换的稳定性、高效性以及灵活性。     

基于Web日志的数据挖掘研究

针对当前Web日志数据信息越来越多的问题,传统的数据库管理系统无法对其进行有效的操作分析。采用数据挖掘技术对其进行研究,从数据挖掘的系统结构和数据挖掘的过程两个方面对数据挖掘进行描述;对Web日志挖掘的理论和过程进行了详细的分析;给出ID3算法的描述,并给出了部分核心的代码。     

基于VFP数据录入表单设计

分析了数据录入的需求,以一个数据录入表单的设计开发为例,介绍了基于VFP实现数据录入表单设计的方法和技巧。     

基于糊模ID3算法的高校学生流失数据挖掘研究

目前高校不断扩招,生源却逐渐减少,于是预防和减少学生流失正成为各高校必须面对的问题。通过对高校学生流失情况进行数据挖掘,可发现一些有价值的信息,为解决高校学生流失问题提供帮助。基于糊模理论提出了糊模ID3算法,并将该算法运用于分析高校学生流失原因之中。通过实验证明,该算法生成的决策树更加合理,分类速度更快,为解决高校学生流失问题提供了理论依据。     

大数据系统和分析技术综述

首先根据处理形式的不同,介绍了不同形式数据的特征和各自的典型应用场景以及相应的代表性处理系统,总结了大数据处理系统的三大发展趋势;随后,对系统支撑下的大数据分析技术和应用(包括深度学习、知识计算、社会计算与可视化等)进行了简要综述,总结了各种技术在大数据分析理解过程中的关键作用;最后梳理了大数据处理和分析面临的数据复杂性、计算复杂性和系统复杂性挑战,并逐一提出了可能的应对之策.     

到达数据中时空异常聚簇发现

在时空数据中有一类表示用户在某一时间到达某一地点的数据——到达数据,到达数据可以是社交网站的签到数据、轨迹数据中的停留点及公共交通中乘客抵达的位置数据,这些数据的聚簇可以反映用户的聚集行为.基于到达数据,提出一类新的时空数据查询——时空异常聚簇发现.将到达数据进行周期性划分,通过时空聚类算法对一个时间段的数据进行聚类,比较不同时间段内聚簇的差异度,发现具有最大簇异常度的前k个簇.通过该查询发现的时空异常聚簇可以应用于城市安全管理、基于位置的服务和交通调度等方面.定义了异常簇查询模型,提出了针对任意形状聚簇的簇差异度度量,将异常簇查询转化为二分图最大匹配问题,对二分图构建与匹配进行了优化并提出了高效的查询算法.利用真实数据集进行了充分实验,验证了查询结果的实际意义,评估了所提出的各查询算法在不同参数设置下的查询效率.     

THE ESTIMATION AND PREDICTION OF SUBSET BILINEAR TIME SERIES MODELS WITH APPLICATIONS

Abstract. In this paper we define subset bilinear time series models, and then describe an algorithm for the estimation of these models. It is also pointed out that for this class of non-linear time series models, it is possible to obtain optimal several step predictors. The estimation technique of these models is illustrated with respect to three time series, and the optimal several steps ahead forecasts of these time series models are calculated. A comparison of these forecasts is made with the forecasts obtained by the best linear autoregressive and threshold autoregressive models. The residuals obtained from the models are tested for independence and Gaussianity using higher order moments.     

基于无线传感器网络的水质监测系统设计

使用传统的有线水质监测系统进行水环境污染检测时,存在监测点数量多、监测时间长等问题。为此,提出一种基于无线传感器网络的水质监测系统。通过无线传感器节点对被监测水域进行水质参数的数据采集,将采集到的数据经过Zigbee网络进行汇总及处理,并经过GPRS网络及时地远程传送给监管部门,从而实现对河流水质情况的实时、有效的监督和管理。对水质监测系统的软硬件电路设计进行介绍,并实现对系统的软硬件连调。实验结果证明,该系统能够满足组网要求,可较好地应用于水质监测领域。     

实时数据仓库中一种改进的数据流更新算法

为实现数据仓库中数据的高效集成,针对数据偏斜分布现象,提出一种改进的数据流更新算法EH-JOIN。该算法对传统散列连接方法进行改进,利用索引将部分频繁使用的主数据存储在内存中,解决了高速数据流下的磁盘频繁访问问题。实验结果表明,与MESHJOIN算法和R-MESHJOIN算法相比,EH-JOIN算法的服务速率在磁盘存储关系集保持适当大小时分别提高了96%和81%,在内存大小不同时提高了57%和48%。     

数据采集系统在中间试验工厂的开发与应用

基于中间试验工厂设备多而杂的特点,为了提升中间试验工厂的管理能力和设备利用率,对中间试验工厂的设备功能进行了研究,提出了基于Framework的分布式系统方案。在方案实施中,对与Framework系统不兼容的设备进行了改造升级,成功实现了各种不同接口设备生产数据的采集。并在此基础上开发出了专用的数据采集系统,为中间试验工厂的设备运行、科研调度提供了有力的技术支撑,同时也为其他钢厂设备的引进和数据采集系统的建立提供了可以借鉴的经验。