实用的数据收集与清理模型的研究与应用①

从提高软件项目中数据收集工作效率的角度出发,在汇总当前主要数据清理方法的基础上,提出了一套完整实用的数据收集与清理模型。     

移动环境中基于规则的数据收集技术

数据收集是指在断连前把用户将来可能访问的数据预先存储到本地缓存的过程,在研究基于失效报告的缓存策略的基础上,提出了一种超图模型的自动数据收集技术。理论分析和实验结果表明,该技术开销较低,可以有效提高Cache命中率和降低平均访问时间,尤其适用于缓存较大和注意力频繁转移的情况。     

超市交易数据关联规则挖掘的研究

数据挖掘已被越来越多的应用于商业之中,作为决策支持之用。提出将关联分析用于超市交易数据,使用Apriori算法寻找频繁项集,进而找到关联规则。给出了关联规则的核心知识,并收集了一些实际的超市POS机交易数据进行挖掘．得出了许多有益的结论,对超市经营者如何采取措施提高销售额起到一定的指导作用。     

基于数据价值的无人机数据收集方法

数据收集是无线监测网络的关键环节.利用无人机进行数据收集,其本质是通过无人机的移动代替网络中的转发节点,减少数据从源节点到基站的转发次数,有效节约监测网络能量,从而成为未来发展的趋势.现有研究关注如何利用无人机有限的能量获得更多的数据,缺乏对获取数据的价值评估,从而导致无人机数据收集能效比不高.如何利用无人机最少的能量付出在监测区域获取最大的数据价值,其难点在于数据价值是针对不同应用的主观评价,而不同节点获取的数据价值如何比较,目前缺乏统一的标准.我们发现,数据相似节点的数据价值存在相似性.在此基础上,我们提出了一种数据收集方法OnValueGet,利用关键性代表节点的数据,最大程度的近似代表整个监测区域的数据,从而在能量约束下获得最大数据价值.其核心思想在于：从分析感知数据的时空相似性入手,确定数据价值较高的感知节点,本文称为数据关键节点,在应用的误差范围内,它们采集的数据可以近似表示全部网络感知节点采集的数据.无人机以数据关键节点为数据采集的核心目标,在能量有限的情况下,根据遇到的障碍物和节点感知到数据的异常与否,动态的规划数据收集路线,从而使收集到的数据具有最大价值,显著提升数据收集的能效比.     

一个基于XML的WEB数据收集模型的研究

目前研究的热门领域Web数据挖掘是从WWW资源上抽取信息(或知识)的过程,是对Web资源中蕴含的、未知的、有潜在应用价值模式的提取。其一般的过程可表示为:信息的发现、信息的选择和预处理、分析过程、产生结果犤1犦。WEB上的数据收集是对WEB数据挖掘的一种支持技术,是WEB数据挖掘的第一步。该文提出了一种基于XML技术的WEB数据收集模型,并实现了其中的一些主要功能。同时针对模型系统的不足做了一些有意义的改进探索。     

一个基于XML的数据收集与分发方法

针对一个具体项目，分析了原有方案中存在的不足，提出了新的基于XML的数据收集与分发方法，并给出了具体实现。     

基于内存数据库的HLA仿真数据收集方法研究

分析了几种常用的HLA仿真数据收集方法,设计实现了一种通用的基于内存数据库的仿真数据收集方法,重点介绍了仿真数据收集数据库的建表原则和内存数据库的使用方法。     

基于决策表的加权决策规则挖掘算法

决策规则是一种重要的知识表示方式，粗糙集理论是一种重要的数据挖掘方法。因此，随着对粗糙集理论的深入研究，利用粗糙集进行决策表中的决策规则挖掘便成了一个热点课题。通过对规则支持度提出新的定义，对现有的模型进行了扩展，并由此提出了一种新的决策规则挖掘算法，实验结果表明了其有效性。     

软件可靠性数据收集的方法和技术

软件可靠性数据是进行软件可靠性分析和估测的基础，在整个软件可行性研究中占着重要的地位。本文在汇总分析软件可靠数据的基础上，对其进行了合理的分类，从而提出一个套收集软件可靠性数据的系统化方法，并探讨了实现自动化收集软件可靠性数据的基本技术。     

面向大数据环境的决策信息需求通用描述语言

制定重大决策需要全方面的数据支持,而大数据时代的到来却让决策信息搜集更加困难。数据多样性和价值密度低的特点,让决策者耗费大量时间在信息需求的表达上。设计了一种通用的信息需求描述语言,及其为数据库、发布/订阅、搜索引擎等常见信息资源解析转换的方法,使得用户可以通过一种统一的方式将相关异构信息全部搜集到。实验表明,其基于本体的语义描述能力能够有效屏蔽数据异构性,提高信息搜集的全面性和准确性。     

网络信息审计系统中数据采集的研究与实现

数据采集是网络信息审计系统的基础组件.故而对流行的网络数据采集工具Libpcap进行了详细的分析,指出该工具只适合在普通网络环境下运行,不能满足基于高速网络的信息审计系统的需求.为此,对零拷贝技术进行了研究与试验,并成功实现了该技术,从软件上满足了基于高速网络的信息审计系统的需求.     

网络化数据采集系统的研究和设计

针对底层设备的日益复杂性以及网络技术在设备层的深入应用,基于OPC标准和Web Services技术,研究并设计了一个标准的网络化数据采集系统。首先提出了系统架构,并对服务器端和客户端的开发作进一步展开,最后给出了实例应用。这是一种新型的数据采集方法,为复杂设备的协同服务以及企业信息的垂直集成提供了技术支撑。     

基于LwIP的海洋数据采集与传输系统

针对海洋数据采集系统中串行数据传输能力不能满足海洋环境实时监测需求的现状,设计并实现了一种传输速率较高的以太网数据传输系统.系统以STM32F207VGT6处理器为核心,选择轻量级的LwIP作为以太网协议栈,将LwIP TCP/IP协议栈移植到STM32F207VGT6上,在应用层实现了一个网络、串口数据双向传输的数据传输系统.经测试,其传输速率优于同条件下RS232、RS485、CAN总线的传输速度,满足了设计要求.     

航行数据记录仪中数据采集系统的设计与实现

主要介绍了航行数据记录仪中的数据采集系统的的设计及其实现，给出了系统的硬件结构图以及软件流程。     

串行通信在实时数据采集中的应用

本文讨论了VB 6.0 MSComm控件在数据采集中的应用。利用VB6.0 ActiveX中的MSComm通信控件,实现了Windows下单台PC机与多台计量仪表的串行通信,达到了以较低的硬件成本对多路数据自动采集、计算和分析的目的。     

基于GPRS+WEB分散点工业数据采集与监控

探讨在分散式工业采集现场,如何将各种类型的传感器数据采用统一有效的数据形式,通过GSM网络的GPRS业务,传递至INTERNET上具有固定IP地址的服务器中,进行统一的数据库管理。终端授权用户可以通过WEB页浏览的方式,方便快捷地浏览数据库中的内容。完成一套实现对小数据量分散数据采集点的有效监控方案。重点讨论数据采集部分(RTU)的数据协议规划和针对恶劣工业环境下具有GPRS退出机制的服务流程。对附着于GSM网络上的GPRS业务也做相关的介绍。     

A data collection protocol for real-time sensor applications

The nature of many sensor applications as well as continuously changing sensor data often imposes real-time requirements on wireless sensor network protocols. Due to numerous design constraints, such as limited bandwidth, memory and energy of sensor platforms, and packet collisions that can potentially lead to an unbounded number of retransmissions, timeliness techniques designed for real-time systems and real-time databases cannot be applied directly to wireless sensor networks. Our objective is to design a protocol for sensor applications that require periodic collection of raw data reports from the entire network in a timely manner. We formulate the problem as a graph coloring problem. We then present TIGRA (Timely Sensor Data Collection using Distributed Graph Coloring) — a distributed heuristic for graph coloring that takes into account application semantics and special characteristics of sensor networks. TIGRA ensures that no interference occurs and spatial channel reuse is maximized by assigning a specific time slot for each node. Although the end-to-end delay incurred by sensor data collection largely depends on a specific topology, platform, and application, TIGRA provides a transmission schedule that guarantees a deterministic delay on sensor data collection.     

A decision rule-based method for feature selection in predictive data mining

Algorithms for feature selection in predictive data mining for classification problems attempt to select those features that are relevant, and are not redundant for the classification task. A relevant feature is defined as one which is highly correlated with the target function. One problem with the definition of feature relevance is that there is no universally accepted definition of what it means for a feature to be ‘highly correlated with the target function or highly correlated with the other features’. A new feature selection algorithm which incorporates domain specific definitions of high, medium and low correlations is proposed in this paper. The proposed algorithm conducts a heuristic search for the most relevant features for the prediction task.     

Garbage collection of multi-version indexed data on flash memory

Maintaining a multi-version index on flash memory could generate a lot of updates and invalid pages. It is important to have an efficient garbage collection mechanism to ensure the flash memory has sufficient number of free blocks for storing new data versions and their index structures. In this paper, we study the important performance issues in using the purging-range query to reclaim the blocks, which are storing old data versions and invalid index entries, to be free blocks. To reduce the cost for processing the purging-range query, we propose the physical block labeling (PBL) scheme to provide a better estimation on the purging version number to be used for purging old data versions. To further enhance the performance of the garbage collection process, and at the same time to maximize the deadspans of data versions and balance the wear levels of the blocks, we propose two schemes called, the sequential placement (SQ) and frequency-based placement (FBP), for placing new data versions into free pages. As illustrated in the performance studies, both SQ and FBP can effectively balance the wear levels of the blocks. The deadspans of data versions are longer under FBP than both SQ and RR, and the page reallocation cost is also lower under FBP especially when the size of flash memory allocated for the database is limited. The experimental results also illustrate that PBL can effectively minimize the number of invocations of the purging-range query to be one to reclaim the required number of blocks in each garbage collection.