基于模糊集合的证据理论信息融合方法

针对证据理论应用中基本概率分配函数(mass函数)和多传感器信息融合中各传感器测量数据的可靠程度均难以确定的问题,提出了一种基于模糊集合的证据理论信息融合方法.该方法首先利用模糊理论中的相关性函数来计算多传感器的相互支持程度;然后由隶属函数得到每个传感器提供信息的可信度;再将各传感器的支持度和可信度转化成基本概率分配函数即mass函数;最后利用证据理论对多传感器信息进行融合.仿真结果表明,该方法获得的结果具有更高的精度和可靠性.     

基于改进D-S证据理论的多源空战信息博弈融合方法

多传感器系统与单传感器系统相比能够更大限度地获取被探测目标的信息量,但在空战中无人机传感器探测得到的数据在一定程度上具有欺骗性,利用博弈融合技术对多传感器数据进行融合,能够获得更加符合空战实际需要的信息。为此,研究了一种基于改进D-S(Dempster-Shafer)证据理论的多源空战信息博弈融合技术,在信息融合前采用Jousselme距离进行预处理,并利用费雪信息进行冲突数据博弈,所得策略集使空战数据更加可靠。在此基础上,根据邓熵方法对基于D-S证据理论的融合方法进行改进,与传统D-S证据理论方法相比,融合数据符合空战实际。最后对存在冲突的多源空战信息进行博弈融合仿真,仿真结果验证了该方法的可行性与优势。     

多传感器数据采集系统中的数据融合研究

针对多传感器数据采集系统的准确性与可靠性的要求,提出了单传感器分批估计融合与模糊理论中的相关性函数与加权自适应算法相结合的数据融合方法。首先,对每一只传感器进行分批估计融合,得到了较为可靠的局部决策值。然后,利用模糊理论中的相关性函数,计算出每只传感器与其它传感器的相关程度,并剔除掉那些相关程度较低的传感器的局部决策值。最后,在权的最优分配原则下,利用加权自适应算法对剩下的局部决策值进行数据融合。该方法能在数据先验知识未知的情况下,客观地反映各个传感器的可靠程度。数据分析结果表明:与同类融合方法相比,该方法具有更高的精度。     

多传感器的移动机器人可定位性估计与自定位

针对有人干扰的动态室内环境,利用可定位性估计理论提出一种RGB-D传感器辅助激光传感器的移动机器人可靠自定位方法。利用RGB-D传感器信息快速检测人的位置区域,并通过坐标转换计算激光扫描数据中的动态障碍物影响因子,结合离散化Fisher信息矩阵在线估计观测信息的可定位性矩阵;同时通过预测模型协方差矩阵评价里程计信息的可靠性,从而动态补偿观测信息对粒子集的影响。在典型含多人运动的动态室内环境中实验,结果验证了本文方法能够提高机器人自定位的准确性和可靠性。     

基于证据理论和混淆矩阵的传感器可靠性评估

在信息融合系统中,各传感器提供的信息不一定完全可靠,在融合前有必要对传感器的可靠性进行评估,进而对其提供的信息进行预处理。基于证据理论,在传感器混淆矩阵的基础上定义了后验概率向量,通过分析后验概率向量与传感器输出证据之间的关系对传感器可靠性进行评估;然后利用传感器的可靠性因子对证据进行折扣运算,实现对信息的预处理;最后利用Dempster组合规则进行融合。基于证据理论的融合识别算例表明,所提出的方法综合利用了传感器的先验信息和动态输出,可以较好地反映传感器的性能,并能够有效降低可靠性传感器的影响,具有较好的融合效果。     

多传感器数据的统计融合方法

在多传感数据融合过程中 ,各传感器的可靠程度的确定是至关重要的。利用统计方法理论 ,将各传感器的可靠程度模糊化 ,进而给出各传感器的综合支持程度指标 ,并在此指标基础上给出多传感器数据的融合结果。该方法计算简便 ,其结论较为稳定     

基于数据融合技术的矿井综合自动化系统

分析了目前已建成的矿井综合自动化系统存在的主要问题,即存在信息孤岛现象、底层传感器运行可靠性较差、系统数据融合程度不高等,指出矿井综合自动化系统建设的关键是实现各生产系统的运行可靠性检测以及数据的深度挖掘及融合;提出了矿井综合自动化系统建设的关键技术是智能传感器和数据融合功能的研究,从软件融合、系统融合、功能融合3个方面给出了数据融合问题的解决方案。采用C#编程实现的矿井综合自动化系统已在某矿成功试运行,取得了良好效果。     

基于D-S理论的震动信号目标识别研究

为了解决干扰情况下地震动信号发射源的定性问题,提出了在决策层上的多传感器数据融合的识别方法。利用定位传感器组中各个传感器得到的数据,同时考虑在同一个定位组中各个传感器所得数据的置信度不同,来对地震动信号发射源性质进行识别。实验结果证明了基于D-S证据理论的目标识别数据融合后,地震动信号发射源特性识别的可靠性明显大于单个传感器的识别效果,这也表明了多传感器融合识别的可能性和有效性。     

战场目标识别中的D-S证据理论应用

为了解决干扰情况下地震动信号发射源的定性问题,提出了在决策层上的多传感器数据融合的识别方法。利用定位传感器组中各个传感器得到的数据,并考虑在同一个定位组中各个传感器所得数据的置信度不同,来对地震动信号发射源性质进行识别。实验结果证明:基于D-S证据理论的战场目标识别数据融合后,地震动信号发射源特性识别的可靠性明显大于单个传感器的识别效果,这也表明了多传感器融合识别的可能性和有效性。     

基于相关性函数和最小二乘的多传感器数据融合

针对目前传感器数据融合过程中,各传感器的可靠度估计困难和测量数据融合结果精度较低的问题,利用模糊理论中的相关性函数,提出了多传感器的相互支持程度计算的新方法,并基于最小二乘原理,对支持程度高的传感器数据进行融合.该方法计算简单,能客观地反映各传感器的可靠程度,不需要知道数据的先验信息.仿真结果表明,相比同类融合方法,该方法获得的结果具有更高的精度.     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...