粗糙集在QAR数据中的应用研究

通过研究飞机快速存取记录器(Quick Access Recorders,QAR)数据和粗糙集理论的特点,结合信息决策表的相关知识,对QAR数据中的异常数据进行检测挖掘,以辅助飞机故障检测及排除。主要工作是:应用粗糙集理论特点对QAR数据进行离散化,并建立离散化后数据的决策表,然后对决策表进行属性约简和规则提取。根据QAR数据的特殊性,给出了数据离散化和决策表属性约简的改进算法。最后通过对比项目实验及专家给出的数据证明了其可行性和有效性,提高了飞机排故效率,具有很重要的现实意义。     

基于张开角测度的数据约简

数据约简是包括数据压缩、数据调整和特征提取在内的数据挖掘技术中的重要课题,但已有的数据约简方法主要聚焦在特征或者维度的约简,而针对样本个数的约简方法,往往是针对具体的数据集开发,缺乏一般性.针对数据集中数据分布的一般特征,定义一种新的基于张开角的测度.该测度能够区分数据集中核心对象和边界对象分布的本质区别,实现数据集中以核心对象为中心的数据压缩.通过对UCI公共测试平台上20个具有不同特征的典型样本集进行数据约简和测试,结果表明:约简能够有效地提取数据集中的核心目标;通过对约简前后数据集采用经典K均值算法聚类,发现约简后数据集中聚类正确率明显高于约简前数据集.     

基于数据仓库的QAR数据分析

针对现有各航空公司分析QAR数据的平台不统一、QAR数据量大、分析和处理数据能力不足、导致海量的数据变成了信息垃圾,在对QAR数据和数据仓库技术研究基础上,结合航空公司关心的问题,设计了QAR数据仓库,给出了数据仓库模型的设计,详细阐述了QAR数据分析主题的提取方法,提出QAR数据仓库的星型模型.通过ETL设计了多维数据集,以超限事件为例展现了对QAR数据的安全分析,为航空公司改进飞行品质、提高安全系数提供依据.     

数据挖掘中数据约简的研究与应用

数据约简是数据挖掘中的一个重要领域.由于海量数据集在决策支持和数据管理方面引发很多问题,因此在数据预处理阶段通过层次分析法约简数据集中的属性,通过距离度量统计变量约简数据记录,从一个大数据集中选择一个子集,可以更加有效地进行数据挖掘.     

基于缓存结构的民机实时QAR数据译码方法

新一代通信技术的发展使得QAR数据可在飞行中实时传输。传统译码研究均针对航后QAR数据,难以高效处理实时数据。为提升实时QAR数据的译码效率,提出了基于缓存结构的译码方法,将传统的译码表转换为专门的数据结构,并进行缓存,避免了译码过程中对配置表的全表搜索,提升了译码效率;采用Go语言、Redis缓存、Influxdb2数据库,搭建了实时QAR数据译码平台;采用基于ATG网络的实测QAR数据,对译码平台的性能进行了仿真测试。针对实时QAR数据,平均译码延迟约为5ms,测试结果表明基于缓存结构的译码方法能够高效处理实时QAR数据。     

基于QAR数据的高高原航线民航发动机分析

QAR可以监控的飞行参数多达上千种,为航空发动机状态监控和故障诊断提供丰富的数据,基于典型的民航飞机QAR数据对发动机进行性能分析.在地面滑行阶段,通过燃油控制系统对燃油流量进行小幅度微调,降低燃烧室温度上升率,提高高温部件的寿命;起飞阶段平原地区的燃油流量大于高原地区的燃油流量;爬升阶段采用换算转速能够较好地反映出燃油流量换算值变化规律;通过分析滑油量在某一航段的变化规律,对监测滑油的方式有一定的指导作用.     

飞行时序数据相似性挖掘算法研究

提出了一种基于时间序列数据挖掘的飞行数据处理方法,结合大量 QAR 数据和领域专家经验知识,采用基于离散傅立叶变换的数据挖掘算法,将时间序列相似性匹配的方法引入到数据挖掘的研究中,并在时序搜索数据时考虑了噪声、幅度和孤立点等问题。     

QAR数据仓库在Hive中的构建

分析QAR数据是一种非常有效的监控飞机状态的方法。但随着民航领域的快速发展,QAR数据的规模急剧增大,现有基于关系型数据库的QAR数据仓库不足以支撑海量数据下的存储与分析,导致海量的QAR数据因无法处理变成了信息垃圾。因此,针对现有数据仓库的不足,提出基于Hive的QAR数据仓库。通过对Hive特点及QAR数据结构分析,设计了基于Hive的QAR数据仓库的总体架构和存储结构。通过将现有数据仓库中的数据移植到基于Hive的QAR数据仓库,实现了对已有数据仓库的兼容。实验结果表明基于Hive的QAR数据仓库在面对QAR数据剧增的情况下,处理所需时间依然保持着线性增长。     

基于HBase的QAR数据存储设计与实现

为解决传统关系数据库存储QAR数据可扩展性低、可用性差的问题,设计一种基于HBase的QAR数据分布式存储方法。根据QAR数据的特点,设计HBase表结构,将QAR参数划分为安全、航迹、燃油、发动机、预测、飞行员操作及其它共七大主题,构建基于航班号、航班日期、参数主题三者组合的MD5散列值行键结构,根据行键散列值对QAR数据值表预分区,通过行键散列机制和预分区技术相结合的两级优化策略实现QAR数据文件分布式存储。真实QAR数据集上的实验结果表明,该QAR数据存储模式能使数据均衡分布在集群中,避免了写热点和数据倾斜问题,有较高的存取性能。     

数学建模中的高维数据挖掘技术优化研究

高维数据挖掘由于特征空间占用开销较大,挖掘的复杂度较高,挖掘精度不高,为了提高对高维数据挖掘的准确性能,提出一种基于相空间重构和K-L变换特征压缩的高维数据挖掘数学建模方法。采用集成学习技术,对高维数据信息流进行相空间重构处理,考虑类间的数据不平衡性,求得高维数据的关联维特征参量,根据数据的链距离进行稀疏性融合,计算高维数据流模型的最大Lyapunove指数谱,根据谱分析方法实现数据聚类,对聚类后的数据采用K-L特征压缩方法进行降维处理,降低数据挖掘的内存及计算开销。仿真结果表明,采用该方法进行高维数据挖掘,数据挖掘的准确概率较高,占用内存消耗较少,计算开销较小。