QAR数据多维子序列的相似性搜索

QAR数据的高维度以及维度之间不确定的相互关联性,使得原有低维空间上度量时间序列的相似性的方法不再适用,另一方面由于民航行业的特殊性,利用QAR数据进行相似性搜索来确定飞行故障,对相似性的定义也有特殊的要求。通过专家经验结合一种层次分析算法来确定飞行故障所关联的属性维度的重要性,对QAR数据的多维子序列进行符号化表示,并利用k-d树的特殊性质建立索引,使QAR数据多维子序列的快速相似性搜索成为可能,结合形状和距离对相似性进行定义和度量,实验证明查找速度快,准确度较为满意。     

基于聚类和拟合的QAR数据离群点检测算法

为解决从飞机快速存取记录器(QAR)数据中发现异常数据并预测飞机潜在故障的问题,考虑QAR数据量大、飞行参数数据值相对较为稳定的特点,提出一种适用于QAR数据的离群点检测算法。第一阶段采用K均值聚类对QAR数据流分区进行聚类生成均值参考点;第二阶段采用最小二乘法对生成的均值参考点进行拟合,通过计算均值参考点到拟合飞机参数曲线的距离来判断并找出可能的离群点。实验结果表明,该算法可以准确发现飞机中的故障数据,有效解决部分飞机故障的离群点检测问题。     

自然图像的无参考模糊检测与局部模糊区域分割

针对自然图像的模糊强度检测和局部模糊区域分割,提出一种无参考无训练的检测分割算法.首先对待测图像进行再模糊;然后对再模糊图像和待测图像逐点进行小邻域离散余弦变换,得到待测图像的模糊强度分布;最后结合K-Means聚类算法和形态学运算对图像的局部模糊区域进行分割提取.实验结果表明,采用文中算法得到的模糊强度分布图能够有效地检测和分割图像的清晰区域与模糊区域;与同类算法相比,对于不同模糊形式和不同复杂度的图像,该算法在查准率、查全率和F值等图像分割性能指标上表现较为优异,与人眼主观分割结果具有较高一致性,且该算法无需进行数据训练,具有较高的时间效率.     

基于分段距离和子序列匹配的飞机故障检测

针对飞机故障检测数据中重复率高数据量大,监测算法效率和准确率低的问题,本文在PAA压缩数据的基础上使用分段概率提取细分QAR数据,调整FP Growth算法创建独具特色FP Tree降低数据的重复度,提高数据的查询速度,提出了基于分段距离和子序列匹配算法,本文采用真实的飞机飞行QAR数据验证该算法的有效性和准确度。     

基于多因素模糊和灰色关联度综合的AIS与雷达数据关联

为提高多目标密集环境下AIS与雷达探测目标关联正确率,将多因素模糊判断和灰色关联度进行结合,提出一种新型关联算法。该算法将目标航迹看作四个因素的时间序列。首先利用多因素模糊判断对四个因素的时间序列集合进行初步关联判断,然后对满足初步关联条件的目标进行四个因素的灰色关联度决策,确定最终航迹相关的目标。仿真证明,该算法相较于单独使用多因素模糊判断,有效提高了关联正确率;相较于单独使用灰色关联度算法,有效缩小了关联范围。     

聚类HMM模型在QAR数据分析中的应用研究

快速存取记录器QAR(Quick Access Recorder)数据是飞机飞行过程中从传感器获取的流数据。面对大量的QAR数据,提出一种基于聚类的HMM模型。针对QAR数据特点,分析发生故障或异常时QAR数据中不同属性的变化特点,提取主要影响属性进行分析。通过对其聚类进行数据离散化,得出数据的状态趋势,即将其分为多个状态趋势。对故障或异常发生的过程进行HMM建模,以状态序列的形式描述故障或异常发生的过程,并以飞机空中颠簸故障为例,建立空中颠簸相关QAR数据的HMM模型,并检验了该模型的有效性。     

基于小波尺度系数的民航QAR数据约简及其性能分析

民航班机的快速存取记录仪(QAR)记录了大量的飞行和性能参数,QAR数据的约简是对这些数据进行数据挖掘的一个重要环节.针对民航QAR数据的特点及为数据约简后应用数据挖掘算法的需要,在小波变换相关理论分析的基础上,提出了利用小波尺度系数进行QAR时间序列数据约简的方法及其性能分析方法,确定了相应的性能评价指标.实验结果表明了该方法对QAR数据约简的正确性及时域、频域数据特征兼顾,数据的主要特征失真小等优点.     

数字水印的透明性的灰评判

鲁棒性和透明性是数字水印的两大基本特征,关于水印鲁棒性的检测一直受到人们的普遍重视,但水印透明性却没有定量的检测指标。论文将灰色系统理论中的灰关联概念首次引入水印技术中,提出了一种适用于评价水印透明性的算法。该算法把载体信号转化为参考序列,把加入水印后的载体信号转化为比较序列,通过灰色关联度的整体比较机制来对水印的透明度做出客观的定量的评价。实验证明,这种基于灰关联的评判结果与HVS判断结果一致,能够用来评判水印透明度。     

基于FP-Tree的QAR数据故障检测研究

QAR(Quick Access Recorder)数据具有高维、复杂及数据量大的特性,严重影响数据处理效率。为降低其数据量与数据复杂性,高效检索并确定当前QAR数据是否是故障数据及其故障类型,首先通过PAA表示方法对QAR数据初步压缩,然后采用FP-Growth算法思想对压缩后的数据创建FP-Tree并只保留其频繁前缀子树,最后通过子树匹配确定测试数据与故障模型数据之间的匹配度。采用真实的飞机飞行QAR数据验证了算法的有效性和准确度。     

基于灰熵并行分析法的多目标作业车间调度优化

提出利用信息熵理论与灰色关联分析法并行地处理多目标优化问题,将多目标优化的目标值构成数据序列,挖掘序列关系实现多目标优化。首先,并行的对目标值序列计算灰关联系数以及熵值权重,之后将信息熵与灰关联系数结合计算灰熵并行关联度,建立灰熵并行分析法。最终,利用灰熵并行关联度作为优化算法的适应值计算策略,以该策略引导智能优化算法进化。建立作业车间调度问题的三目标优化模型,以灰熵并行分析法为基础,分别应用差分算法、遗传算法解决三目标作业车间调度问题,验证新方法的可行性。实验表明：新方法均能使两算法收敛且得到分布均匀的 Pareto 前端,表明其有效和可靠。同时,差分算法得到的解较遗传算法的解具有明显的优势。     

A Taxonomy of Dirty Data

Today large corporations are constructing enterprise data warehouses from disparate data sources in order to run enterprise-wide data analysis applications, including decision support systems, multidimensional online analytical applications, data mining, and customer relationship management systems. A major problem that is only beginning to be recognized is that the data in data sources are often dirty. Broadly, dirty data include missing data, wrong data, and non-standard representations of the same data. The results of analyzing a database/data warehouse of dirty data can be damaging and at best be unreliable. In this paper, a comprehensive classification of dirty data is developed for use as a framework for understanding how dirty data arise, manifest themselves, and may be cleansed to ensure proper construction of data warehouses and accurate data analysis. The impact of dirty data on data mining is also explored.     

数据治理技术

随着信息技术的普及，人类产生的数据量正在以指数级的速度增长，如此海量的数据就要求利用新的方法来管理.数据治理是将一个机构（企业或政府部门）的数据作为战略资产来管理，需要从数据收集到处理应用的一套管理机制，以期提高数据质量，实现广泛的数据共享，最终实现数据价值最大化.目前，各行各业对大数据的研究比较火热，但对于大数据治理的研究还处于起步阶段，一个组织的正确决策离不开良好的数据治理.首先介绍数据治理和大数据治理的概念、发展以及应用的必要性；其次，对已有的数据治理技术——数据规范、数据清洗、数据交换和数据集成进行具体的分析，并介绍了数据治理成熟度和数据治理框架设计；在此基础上，提出了大数据HAO治理模型.该模型以支持人类智能（HI）、人工智能（AI）和组织智能（OI）的三者协同为目标，再以公安的数据治理为例介绍HAO治理的应用；最后是对数据治理的总结和展望.     

大数据可用性的研究进展

信息技术的迅速发展催生了大数据时代的到来.大数据已经成为信息社会的重要财富,为人们更深入地感知、认识和控制物理世界提供了前所未有的丰富信息.然而,随着数据规模的增长,劣质数据也随之而来,导致大数据质量低劣,极大地降低了大数据的可用性,严重困扰着信息社会.近年来,数据可用性问题引起了学术界和工业界的共同关注,开展了深入研究,取得了一系列研究成果.本文介绍数据可用性的基本概念,讨论数据可用性的挑战与研究问题,综述数据可用性方面的研究成果,探索大数据可用性的未来研究方向.     

大数据技术应用与研究的新视角

伴随着人类进入大数据时代,大数据在彰显出巨大应用价值的同时,也凸显出数据可用的科技问题。如何解决数据可用带来的挑战,成为各国政府和学界高度关注的问题。目前,针对大数据的可用性研究刚刚起步,对大数据可用性进行了探讨,并就数据可用性的研究前景进行了展望。     

数据提取、转换和装载技术研究

来自企业操作环境的数据是数据仓库的数据源，通过提取、转换、装载填充数据仓库，对数据提取、转换与装载技术进行了研究与实践。对数据提取、转换与装载要解决的问题进行了详细论述并提出了相应的解决方法，并以MS SQL Server2000为例，介绍了可用于析取数据的一些工具。在此基础上，以电信行业话单数据载入数据仓库为实例，就如何实现各步骤进行了详细说明，提出了在数据提取、转换与装载过程中需注意的一些问题。     

数据仓库系统中源数据的提取与集成

人们对数据分析的要求的不断提高导致了数据仓库的发展，而在建设数据仓库的过程中非常关键的一步就是从事务数据库或其它的数据源中抽取和集成原始数据。本文在对数据集成方法和数据获取中可能碰到的问题进行全面分析的基础上，较为详细地介绍了我们自行开发的数据仓库系统SEUwarehouse中源数据提取与集成工具的设计与实现．     

基于时效规则的数据修复方法

数据时效性是影响数据质量的重要因素,可靠的数据时效性对数据检索的精确度、数据分析结论的可信性起到关键作用.数据时效不精确、数据过时等现象给大数据应用带来诸多问题,很大程度上影响着数据价值的发挥.对于缺失了时间戳或者时间不准确的数据,精确恢复其时间戳是困难的,但可以依据一定的规则对其时间先后顺序进行还原恢复,满足数据清洗及各类应用需求.在数据时效性应用需求分析的基础上,首先明确了属性的时效规则相关概念,对属性的时效规则等进行了形式化定义;然后提出了基于图模型的时效规则发现以及数据时序修复算法;随后,对相关算法进行了实现,并在真实数据集上对算法运行效率、修复正确率等进行了测试,分析了影响算法修复数据正确率的一些影响因素,对算法进行了较为全面的分析评价.实验结果表明,算法具有较高的执行效率和较好的时效修复效果.     

数据迁移的一般原则

在应用软件及数据库开发中经常要做数据迁移工作 ,数据迁移就是将数据从一种数据环境移入另一种数据环境中。进行彻底而精确的数据转换应遵循以下关键步骤 :识别源数据、确定数据集成转换的规则以及开发转换规则代码。介绍了数据迁移的一般步骤 ,并提出了从数据转换、选择迁移方法以及从元数据管理的角度评价迁移工具的标准     

软件开发活动数据的数据质量问题

问题追踪系统和版本控制系统等软件开发支持工具已被广泛应用于开源和商业软件的开发中,产生了大量的数据,即软件开发活动数据.软件开发活动数据被广泛应用于科学研究和开发实践,为智能化开发提供支持.然而数据质量对相关的研究和实践有重大影响,却还没有得到足够的重视.为了能够更好地警示数据使用者潜在的数据质量问题,通过文献调研和访谈,并基于自有经验对数据进行分析,总结出了9种数据质量问题,覆盖了数据产生、数据收集和数据使用这3个不同的阶段.进一步地,提出了相应的方法以帮助发现和解决数据问题.发现问题是指加强对数据上下文的理解和通过统计分析及数据可视化发现潜在的数据质量问题,解决问题是指利用冗余数据或者挖掘用户行为模式进行修正.     

基于ETL工具的数据集成和交换的研究

数据的集成与交换,对企业的管理和决策意义重大.数据集成和交换必须解决抽取、转换和加载,但过去的异构系统很难实现,从需求分析、系统设计和系统实现3个方面,设计了一种针对数据抽取、转换和装载(Extract、Transform、Load)的ETL工具.根据ETL工具的综合要求,通过结构化分析需求,构建了系统逻辑模型;设计了...