基于递推最小二乘和改进支持度的WSN数据融合算法

无线传感器网络(WSN)在空间和时间上均存在数据冗余问题。为了在保证精度的前提下减少冗余量,提出了基于递推最小二乘和改进支持度的WSN数据融合方法。针对单个传感器节点,采用递推最小二乘法进行数据融合。针对节点之间的冗余问题,应用分批融合思想对系统降维,将灰色接近度理论与自支持度结合改进支持度函数,对各子系统分别采用基于改进支持度函数的加权算法进行融合。采用一个包含7个传感器节点的无线传感器网络对该算法进行了检验。结果表明,该融合算法能够显著减少数据计算量与传输量。融合后的数据均方误差为0.1597,能够满足实际应用对精度的要求。     

基于异常数据预处理和自适应估计的WSN数据融合算法

针对无线传感器网络（wireless sensor network,WSN）存在节点能量受限、测量精度低、生存期短等问题,提出一种基于异常数据预处理和自适应估计加权融合算法（abnormal data-preprocessing adaptive estimation weighting fusion,ADAEWF）。为了提高算法可靠性,提出了基于异常数据检测、简单多数原则和节点综合支持度函数的数据预处理机制;为了减小测量误差对融合精度的影响,基于分批估计和自适应理论对节点测量值进行自适应估计加权数据融合;然后,建立了WSN仿真模型,并分别获得了ADAEWF、自适应预测加权数据融合算法（adaptive forecast weighting data fusion,AFWDF）和算术平均值法下融合结果的均方误差和网络有效生存期。仿真结果显示：ADAEWF算法融合精度和网络有效生存期均优于AFWDF和算术平均值法,表明ADAEWF算法在提高融合数据有效性、网络有效生存期和融合精度方面具有优越性。     

基于高斯隶属度的融合算法在改进Leach中的应用

无线传感器网络中节点采集的数据具有较高的冗余度,对数据进行融合处理后再传送到汇聚节点,能有效地降低能量消耗,延长网络生命周期.设计了一种基于高斯隶属函数的数据融合算法,并改进无线传感网络Leach协议,对传感器节点进行二级分簇,多跳通信延长网络生命周期.在一级簇头节点依据分布图法剔除疏失数据,进而利用高斯隶属函数求得权...     

一种实时目标跟踪航迹数据融合算法

在研究多传感器的目标跟踪数据融合时,针对算法都需要事先了解数据的一部分先验知识,虽然能够提高数据的跟踪精度,但只能应用到事后的数据分析中.为了使融合中心能在传感器录取目标数据的同时进行跟踪数据的融合处理,数据融合算法必须实现实时性.为了解决数据融合算法在提高精度的同时不需要以先验知识为背景的问题,提出一种利用数据间支持度函数矩阵进行多组数据加权融合的结果来替代滤波测量值进行卡尔曼滤波,并得到多组测量数据的实时动态融合跟踪.仿真结果表明,能够实时跟踪目标,同时数据融合的跟踪精度大大提高.     

基于自适应加权融合的分布式滤波算法

针对存在丢包的传感器网络中每个传感器节点对目标估计确信度不同的问题,提出一种基于自适应加权融合的分布式滤波算法.考虑节点在网络中的影响力及其节点属性,将节点重要度与传感器网络节点观测数据间的支持度线性加权,获得每个传感器节点对目标的估计确信度,并将该确信度构成的融合权值引入节点状态估计值的一致性协议中,更新传感器节点对目标的状态估计值,提高分布式滤波算法的估计精度和传感器节点估计值的一致性.仿真结果验证了所提出方法的有效性.     

无线传感器网络簇内多传感器数据融合算法

在无线传感器网络(WSNs)中,一般采用电池供电,节能是WSNs设计的研究重点。为了提高测量结果的准确度和降低网络的能耗,提出了一种两层模式数据融合方案。在传感器节点上用格林贝斯准则和顺序加权算法进行低层次数据融合,在簇头节点上用神经网络算法进行高层次数据融合。仿真实验结果表明:两层模式数据融合方案有效减少了网络中的数据传输量,提高了融合数据的精度,降低传感器节点的能耗。     

基于数据关联性的无线传感器网络簇内数据管理算法

无线传感器网络(Wireless sensor networks, WSNs)节点能量有限, 能量高效的数据管理和延长网络寿命是该领域的技术难题. 在以簇构建的传感器网络中, 利用节点的计算和分析功能, 提出了基于数据关联性的簇内数据管理算法. 簇头利用误差函数和模糊函数分析成员感知数据的关联性, 获取节点感知数据综合支持度, 由此将成员节点划分为冲突节点、补充节点和可靠节点, 对不同类别节点采用不同的调度规则以便降低簇内能耗和尽可能实现簇间节点能耗均衡, 并给出了簇头数据融合的处理方法. 仿真结果表明算法能够实现簇内数据分类管理, 并能有效降低簇内数据收发量和延长网络寿命.     

一种基于数据预处理和卡尔曼滤波的 温室监测数据融合算法

温室具有空间大、无线传感器节点易受到干扰等特点,节点采集的数据波动性较大且易出现丢失现象.为了提高温室监测无线传感网的可靠性和数据融合的精度,提出了一种基于数据预处理和卡尔曼滤波的无线传感器网络数据融合算法.经过对各传感器数据进行预处理和卡尔曼滤波估计,再将数据发送到簇头节点进行基于状态补偿策略的加权数据融合.通过对温室湿度数据进行仿真,结果表明:数据预处理能明显减小数据波动,大幅减少网络数据传输量和能耗,提高抗干扰能力.另外,针对温室无线传感器网络容易出现丢包的现象,基于状态补偿策略的加权数据融合算法可以明显提高在数据丢包情况下的融合精度.     

无线传感器网络簇内自适应融合算法研究*

无线传感器网络中采集的数据存在着较大的冗余与误差,且影响数据的可靠性。针对这个问题,分析了簇内数据误差成因,提出了一种改进后的自适应数据融合算法。该算法从节点测量数据自身着手,通过迭代得到各个节点测量数据的无偏估计值,以各个节点与估计值的欧氏距离作为各节点可信度的描述。实验证明,该融合算法提高了数据的精度和可信度。同时,通过与分批估计融合方法和传统的自适应加权融合方法的比较分析,表明该方法融合效果更好。     

基于免疫算法的无线传感器网络路由算法

针对移动代理（MA）以能量有效的方式收集相关性数据的特点,提出一种基于免疫算法的数据融合路由算法．利用免疫算法的寻优能力对MA路由进行全局优化,并根据节点数据传输和融合能量开销及节能增益,对移动代理迁移到每个节点是否进行数据融合进行选择,以提高信息收集过程中网络能量效率．实验结果表明,该算法具有更好的能量利用效率和较低延时．     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...