基于ZigBee的海洋信息综合采集系统设计

海洋信息采集系统集成了前端信息节点、路由转发节点和信息协调节点，系统采用分布式自组网结构，可以实现对海洋海水温度、酸碱度、溶解氧含量以及电导率等海洋水质参数的实时在线监测；系统采用时间同步算法，完成每个节点的同步休眠和唤醒，以降低系统功耗。     

无线传感器网络信息时空融合模型与算法研究

信息融合是解决无线传感器网络能量和通信带宽受限的有效途径,提出了一种无线传感器网络信息时间和空间多级混合融合的结构模型。首先对距离汇聚节点较远的节点信息进行时间融合和对距离汇聚节点较近的节点信息在汇聚节点进行时空融合,然后在汇聚节点对两种节点的融合结果进行全网络的空间融合。就该模型提出了基于DS证据理论的多级时空融合算法。数据分析结果表明:该模型能够降低节点能耗,延长网络寿命。     

抵御欺骗攻击的DV-hop安全定位算法

针对无线传感器网络中距离无关的定位技术,提出了DV-Hop定位中普通节点被俘获的欺骗攻击模型,分析了这种欺骗攻击模型对DV-Hop定位过程的影响,进而提出了一种抵御欺骗攻击的DV-Hop安全定位算法.首先,在普通节点端提出了基于发送-转发信息一致性的检测机制来检测恶意节点;其次,在汇聚节点端提出了基于消息转发链举证的检测机制来确定恶意节点;最后,当汇聚节点检测出存在恶意节点进行篡改攻击后,汇聚节点通报全网弃用恶意节点转发的数据分组并重启定位.仿真结果表明,本文提出的安全定位算法可以有效滤除恶意节点,且安全定位算法的定位性能与无攻击下的DV-Hop定位性能基本相当,可以有效解决欺骗攻击对DV-Hop定位过程造成的影响.     

海洋信息综合采集系统设计

系统由数据采集节点、路由器节点和协调器节点构成,数据采集节点采用分布式自组织网络结构,实现对水体温度、pH值、溶解氧、电导率等水质参数的检测;路由器节点完成对水质参数无线传输平台的搭建,实现数据和命令的上传下达,并对系统的异常状态进行报警;协调器节点通过人机交互界面对数据进行处理、存储和分析,实现水质的远程监控。利用时间同步算法,实现全网节点的同步体眠和唤醒,大大降低了系统功耗。     

面向带状无线传感网低延迟可靠数据收集算法

带状无线传感网为长距离带状分布，现有的数据收集算法无法很好解决其数据收集延迟较大的问题。提出了一种主动定位移动Sink的数据收集算法DCFAN（Data Collection based on Forwarding of Agent Nodes），DCFAN构建移动Sink的同步代理节点以及存储同步代理节点的线节点序列，通过获取同步代理节点转发感知数据到Sink汇聚点。仿真结果表明，DCFAN算法能有效降低网络节点能耗以及数据收集延迟，同时提升数据收集率，适用于对数据收集延迟具有一定要求的带状无线传感网应用场景。     

无线传感器网络中基于多属性决策的数据转发算法

如何在严格的能量约束下均衡传感器节点能耗、延长网络生存时间是无线传感器网络数据转发研究中的一个难题.利用多属性决策理论提出了一种基于多属性决策的数据转发(multiple attribute decision making based data forwarding, MadmDF)算法来解决该问题.MadmDF算法综合评价备选数据转发节点的属性信息,从中选择最优邻居节点进行数据转发,使网络数据流量得到了合理的分配,从而均衡了网络能耗,延长了网络生存时间.仿真结果表明该算法与同类数据转发算法相比具有一定优越性.     

基于变长帧的无线传感器网络时间同步算法

为降低无线传感器网络同步过程中的能量消耗,加快实现全网络时间同步的收敛速度,提出基于变长帧的时间同步算法。利用精短同步帧结构对时间信息进行压缩,采用短帧、完整帧交替转发保证同步精度,使被同步节点自主判断接收信息的完整性,并通过请求重传机制应对同步过程中的完整帧丢失问题。分析结果表明,实现全网同步的收敛时间与同步开销成正比,变长帧时间同步算法通过去除同步时间数据中的冗余信息,可有效缩短该收敛时间。传感器节点同步实验结果表明,该算法适用于多种时间同步模型,在保证传感网同步精准度的前提下,可减少同步数据通信量,提升能量效率。     

无线传感器网络节能分簇路由协议改进

有效地降低能耗,延长网络生存时间一直是无线传感器网络的研究热点.分析了LEACH协议并提出一种改进算法,该算法通过控制网络内冗余节点休眠,采用中转节点转发较远节点的监测信息,以减少网络中的冗余节点个数和簇首的数据通信量.仿真结果表明:新算法能有效节约网络能量,平衡节点能耗,延长网络生存时间.     

基于信誉度集对分析的WSN安全数据融合

由于无线传感器网络存在资源约束问题,为了有效地减少无线传感器网络中的数据传输量以降低网络的总能耗,同时确保对感知数据进行融合操作的安全性,提出了一种基于传感器节点信誉度集对分析的安全数据融合方法.在节点分簇阶段,利用基于密度函数的减法聚类方法进行分簇,既获得了较快的分簇速度,又保证了簇头节点地理位置的合理分布,使得分簇规模更加符合节点的实际布设情况.在数据传输阶段,将簇头节点选择下一跳数据转发节点建模为多属性决策过程,综合考虑备选转发节点的信誉度、能量等属性信息,从中选择综合评价最优的簇头节点转发融合数据,不仅使网络中的数据流量分布更加均衡而且保证了数据的安全性.仿真结果表明,提出的数据融合算法在融合精度、安全性及簇头节点能耗方面与同类的LEACH算法和BTSR算法相比具有明显的优势.     

报警网络中随机信息最佳传输模型研究

在城市联网报警与监控系统的研究中,为保障报警业务数据的有效传输,在不同业务负载下如何设置合适的系统参数成为大型报警联网系统体系结构设计中的一个关键和难点问题.为解决上述问题,对大型报警联网系统中随机业务的最佳信息传输问题进行研究,利用随机过程理论分析了随机业务情况下,前端数据采集节点的个数分布参数、采集数据量分布参数、信道传输容量、数据缓存区大小对传输过程中平均丢包率的影响模型.通过对无缓存模式、有缓存模式、单数据包、复数据包情况下随机业务传输进行实验,提出的模型与仿真结果高度一致.改进算法可有效描述不同参数下的随机信息传输丢包情况,为大型报警联网系统中的节点参数设计提供指导.     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...