无线传感器网络中的改进数据聚集调度算法

针对现有聚集数据调度近似算法具有较高延时上界的问题,提出一种改进的聚集数据调度近似算法。建立一棵根在中心结点的广度优先搜索树,分层构造一个最大独立集(MIS),使MIS中相邻的2个结点相距两跳。将MIS中的结点连接起来,形成一棵根在中心结点的数据聚集调度树,使结点按数据聚集调度树进行分层数据调度。在数据聚集调度树的构造过程中,对于任意支配点,以最小的结点连接其相距两跳的支配点。对于2个相邻支配点的公共邻居支配点,通过在距中心点最近的支配点加入数据聚集树,使其在数据调度过程中将数据发送给距中心点最近的支配点,从而降低数据的聚集延时。实验结果表明,与SAS算法、Guo’s算法和IAS算法相比,该算法的数据聚集延时更低,其延时上界为14R+△?10。     

一种传输能量固定的数据聚集调度近似算法

针对现有的基于物理干扰模型的数据聚集调度近似算法具有较高的延时问题, 提出了一种改进的传输能量固定的数据聚集调度近似算法。该算法首先根据节点的通信半径构造一个网络通信图, 然后在该通信图中构造一棵数据聚集树, 使节点根据数据聚集树分层进行数据调度。在数据调度过程中, 首先将整个网络划分为若干个圆形区域, 然后对各个区域进行着色, 最后对颜色相同的区域同时进行节点的数据调度。理论分析表明, 该算法的延时上界为（X+1）²(Δ+12R+4)+R。仿真模拟结果表明, 该算法产生的数据聚集延时远低于现有算法。     

受SINR约束的最小延时数据聚集调度算法

针对现有的基于物理干扰模型的数据聚集调度近似算法具有延时较高的问题,提出了一种改进的数据聚集调度近似算法。该算法首先构造一个连通支配集作为数据聚集树,使各节点根据数据聚集树分层进行数据调度;然后将整个网络划分为若干个边长相等的正方形区域,使每个区域中最多包含一个支配节点;最后对各个区域进行着色,并从颜色相同的每个正方形区域中任选一个普通节点,使它们能同时将数据汇聚到相应的支配节点。当数据从所有普通节点聚集到相应支配节点后,则将这些正方形区域构成一个大小相同的块,并采用四种颜色对这些块进行着色,使颜色相同的各个块中任选一条通信链路能够同时进行数据传输而不会发生通信冲突和干扰。理论分析表明,该算法的延时上界为K2Δ＋8K2R-3R;仿真模拟的结果表明,该算法产生的数据聚集延时低于现有算法。     

基于物理干扰模型的无通信冲突的数据聚集调度算法

针对基于物理干扰模型的最小延时数据聚集调度问题,提出一种改进的无通信冲突的数据聚集调度算法.该算法采用簇与局部聚集树相结合的调度机制,首先在小区域范围内形成簇,当头节点聚集簇内成员节点的数据后,这些头节点再在一个较大的区域内形成新的簇.与现有算法相比,该算法不是将簇内各成员节点的数据直接传输给头节点,而是先构造一棵根在头节点的局部数据聚集树,然后将整个网络划分为若干个边长相等且只包含一个节点的正方形区域,最后对节点所在区域进行着色,使颜色相同、其孩子节点为空或已完成数据调度的簇内成员节点根据局部聚集树进行数据调度.实验结果表明,与现有算法相比,该算法的数据聚集延时更低,其延时上界为(5 +logK+1△) (K+ 1)2.     

无线传感器网络中数据融合算法的研究

本文提出一种在无线传感器网络环境下的基于最大生存周期的数据融合算法。该算法将整个网络中的节点构造成一棵以sink节点为根的树结构,算法在构造树的过程中,考虑传输距离最短,每次选择相对于sink节点偏转角最小的节点作为下一跳节点,同时也考虑了节点的剩余能量,实现了负载均衡,最大化了网络的生存时间。     

WSN中基于最小延时的数据汇集树构建与传输调度算法

针对现有的无线传感器网络数据汇集算法延时较大的不足,对最小延时数据汇集树和传输调度问题进行了研究。提出一种基于度约束的汇集树构建算法(DCAT)。该算法按照BFS方式遍历图,当遍历到每个节点时,通过确定哪些节点与汇点更近来确定潜在母节点集合。然后,选择图中度数最小的潜在母节点作为当前被遍历节点的母节点。此外,为了在给定的汇集树上进行高效的数据汇集,还提出两种新的基于贪婪的TDMA传输调度算法:WIRES-G和DCAT-Greedy。利用随机生成的不同规模的传感器网络,参照当前最新算法,对所提方法的性能进行了全面评估。结果表明,与当前最优算法相比,将所提调度算法与所提汇集树构建算法结合起来,可显著降低数据汇集的延时。     

无线传感器网络中基于最小延时的数据汇集树构建与传输调度算法

无线传感器网络的数据通信模式问题是目前的研究热点,针对现有的无线传感器网络数据汇集算法延时较大这一不足,对最小延时数据汇集树和传输调度问题进行了研究。提出一种基于度约束的汇集树构建算法(DCAT)。该算法按照 BFS 方式遍历图,当遍历到每个节点时,通过确定哪些节点与汇点更近来确定潜在母节点集合。然后,选择图中度数最小的潜在母节点作为当前被遍历节点的母节点。此外,为了在给定的汇集树上进行高效地数据汇集,还提出两种新的基于贪婪的TDMA传输调度算法：WIRES-G 和 DCAT-Greedy。利用随机生成的不同规模的传感器网络,参照当前最新算法,对文中方法的性能进行了全面评估。结果表明,与当前最优算法相比,文中调度算法与文中汇集树构建算法结合起来,可显著降低数据汇集的延时。     

数据传输延时的ZigBee网络混合路由算法研究与优化

针对当前无线传感器网络中数据传输延时的问题,提出一种改进后的基于线性和非线性路由算法的混合传输ZigBee路由算法。改进后的算法引入了路由表,在改进后的算法中进行节点选择。考虑到数据在节点之间传输的跳数问题,节点传输数据时根据节点的剩余能量和自身的深度选择子路由算法。仿真结果表明,该算法能有效地降低节点之间数据传输的延时,提高通信效率。     

无线传感器网络RaSMaLai算法的改进

针对RaSMaLai算法有可能进入无效循环和无效等待状态的问题,对RaSMaLai进行了两点改进并提出了一种新的随机转换算法NRaSMaLai:改进一在算法初始化过程中遍历树中节点进行初始化检查,防止树进入无效等待状态;改进二在更新树操作过程中对树中最大负载节点及其所有子孙节点时进行状态检测,防止树进入无效循环状态。NRaSMaLai通过增大最小负载节点及其子孙节点的负载使树平衡。仿真实验表明,使用改进一、二的算法能使树达到平衡状态或更接近预设的平衡状态。当sink节点位于区域中心时,NRaSMaLai使树平衡时所需的迭代步数减小为原来的1/5并很少出现振荡,对使数据收集树快速收敛并延长网络寿命具有重要意义。     

无线传感器网络不等规模节能分簇路由算法

在分簇的无线传感器网络中,当簇头以多跳通信方式将数据传输至sink点时,越接近sink点的簇头过路数据负担越重,可能过早耗尽能量而导致传输失效,造成网络分割。该文提出一种不等规模节能分簇路由算法,通过限制成簇范围使接近sink节点的区域产生更多更小规模的簇。在分簇时形成源于sink节点的簇间跳数场,使数据经过最少的中间簇到达sink节点,并通过动态调整对下一跳簇的选择来平衡簇间负载。仿真结果表明,该算法延长了网络生命周期,有效降低了网络整体耗能。     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

大数据的一个重要方面:数据可用性

随着信息技术的发展,特别是物理信息系统、互联网、云计算和社交网络等技术的突飞猛进,大数据普遍存在,正在成为信息社会的重要财富,同时也带来了巨大的挑战.数据可用性问题就是大数据的重要挑战之一.随着数据的爆炸性增长,劣质数据也随之而来,数据可用性受到严重影响,对信息社会形成严重威胁,引起了学术界和工业界的共同关注.近年来,学术界和工业界开始研究数据可用性问题,取得了一些的研究成果,但是针对大数据可用性问题的研究工作还很少.介绍了大数据可用性的基本概念,讨论大数据可用性的挑战,探讨大数据可用性方面的研究问题,并综述数据可用性方面的研究成果.