航空飞行试验工程大数据管理与应用思考

飞行试验是航空装备研制的重要环节之一,形成和产生的工程数据具有明显的大数据特征。传统的以试验测试数据为主的数据管理思想,难以保证试飞工程数据及其关系的完整性和准确性,无法全面表征飞行试验全过程,不利于试飞数据的再利用。在分析航空飞行试验复杂系统工程的有机组成及其工程大数据的本质特征和逻辑结构的基础上,结合近年来在飞行试验数据管理和处理研究中取得的技术成果和实践经验,提出了基于试飞工程全生命周期的航空飞行试验工程大数据管理思想,以试验对象为中心的一体化大数据采集和系统化大数据结构模型,和面向业务的基于SOA的分布式系统框架,便于建立一个综合、全面、开放的试飞工程大数据管理和挖掘应用平台,促进航空产品试飞数据处理效率的提升和试飞工程大数据在航空科研中的挖掘和广泛应用,发挥试飞工程大数据的发展助推作用。     

飞行试验工程大数据治理思考

飞行试验工程大数据是典型的工业大数据,是试飞工程规划、设计、执行、评估以及开展航空科学研究的最重要的基础。文章分析了试飞工程大数据的质量特性及其影响因素,学习借鉴国际标准化《数据治理白皮书》提出的数据治理思想体系与模型,针对试飞工程大数据管理与应用特点,结合多年来在试飞工程中的大数据管理应用的实践经验,提出了以飞行试验大数据标准化体系为基础,以涵盖试飞工程全过程和全业务流程的试飞数据质量监控系统和一体化的试飞大数据管理与应用系统为并行相互支持的大数据治理技术平台,将试飞业务流程、业务策略、业务标准、业务逻辑以及组织管理有机有效地融入到数据管理与治理体系中,形成能够不断自我完善、自我更新、自我规范、开放共享的试飞工程大数据治理体系,对飞行试验工程以及航空科学研究步入“大数据科研范式”奠定数据基础。     

典型大数据仓库-飞行试验数据仓库设计

在现代数据仓库技术思想的指导下,围绕试飞数据的非结构化大数据的特点,面向型号工程对试飞数据的统一管理和高效处理需求,分别针对试飞大数据的粒度描述和综合管理,设计了飞行试验元数据标准和特有的基于二进制文件的数据库管理服务,解决了飞行试验数据仓库设计中结构化与非结构化大数据的统一维度建模和数据关系维护的关键技术问题,为基于数据仓库的试飞大数据在线管理与分析系统的建立提供了基础,满足了型号工程对试飞数据的高效分析需求.     

基于4G通信的民机试飞遥测监控技术架构

民机适航审定试飞时需要传输海量的测试数据,由于试验科目的苛刻要求,试飞任务需在多地同时开展。针对这种需求,提出一种基于4G通信的民机试飞监控技术架构,构建多地试飞一体化测试网络,并通过了飞行试验数据传输测试,该技术架构可满足试验机试飞数据高速传输需求,满足试验数据多地传输需求。该技术的应用增强了安全监控能力,提高试飞效率。     

云技术在飞行试验数据处理中的应用

针对飞行试验数据的海量非结构化的特点以及当前所面临的处理与应用问题,研究分析当前新兴的云技术,提出了飞行试验数据云计算应用架构的3个组成要素:设备系统、云存储和云计算。面向试飞数据工程应用,以试飞科目、试验动作段为频度矩阵建立试飞元数据存储阵列,实现海量非结构化试飞数据的云存储应用;以SOA架构为基础,结合面向应用的处理功能组件,实现分布式网络计算调度和计算群集,为用户提供高效的云计算服务。工程实践应用表明,该系统以灵活架构有效地解决了非结构化大数据信息的高效存储、统一管理和共享应用,实现了海量试飞数据的快速分析处理,展示了云计算技术的先进特点。     

基于IRIG 106固态记录器记录标准的PCM数据处理技术研究

IRIG 106第十章是美军方靶场定义的固态记录器数据记录标准,已成为当前飞行试验主要记录技术;针对位流记录模式下PCM类型测试数据,文章提出PCM动态位流分析、即时PCM数据处理的新思路,并以miniR 700和MDR-8记录器卸载下的原始飞行数据文件为例,使用软件技术实现多PCM通道数据分路、PCM动态位流分析和数据处理;试飞数据处理结果表明,PCM数据动态位流分析、即时PCM数据处理思路可行,打破了传统PCM数据处理模式,数据处理效率比较高,可用于飞行试验数据处理。     

试飞数据平台数据架构设计与应用

试飞数据是民机飞行试验的重要产物,具有测量参数数量大,数据体量大,飞行试验数据与试飞任务信息关联性强等特征,支撑飞机型号取证与设计优化等任务。试飞数据平台数据架构对多源异构数据集成接入、多类形态数据存储管理、多种层次数据处理分析等技术进行了研究,采用湖仓一体的关键技术和方法打造试飞数据全集。试飞数据接入采用流批一体的数据处理技术,融合Spark和Flink主流数据处理引擎,具备试飞数据快速入库能力。提出按秒聚合方法,具备PB级多维度试飞数据压缩存储功能,存储性能提升近10倍；采用以秒为索引条件支持快速检索,强化数据湖查询能力。研究数据仓库技术,设计试飞数据多层数据模型,具备多维信息精细查询,多层数据灵活钻取,多功能自定义函数集成等功能,并成功应用在某型国产民机的飞行试验数据管理中,服务于试飞数据用户,提高了试飞数据管理效率与试飞数据应用价值。     

试飞数据查询引擎设计

试飞数据是飞行试验的核心产品,具有参数量多,数据体量大,信息复杂程度高,查询响应快等特征,支撑飞机设计、制造、试飞、运营等阶段任务；试飞数据查询引擎旨在提供PB级多维度试飞数据快速查询服务,对试飞数据特征深度分析,采用大数据交互式查询关键技术,基于试飞数据处理与分析平台,研究了存算分离技术和异构计算技术,设计试飞数据查询引擎,具备多源数据汇聚,多维信息精细查询,多层数据灵活钻取,多功能自定义函数集成,多类指标数据自适应输出等功能,创新试飞数据查询与可视化方式,并成功应用在某型国产民机的飞行试验数据管理与分析中,服务于试飞工程师、飞机设计人员、课题工程师,提高了试飞数据管理效率与试飞数据应用价值。     

通用飞机验证试飞智能辅助测试系统需求研究

根据当前通用飞机验证试飞测试的实际需要,针对通用飞机体积小、重量轻、试飞周期短等特点,基于人工智能技术提出了一套适用于通用飞机验证试飞的智能辅助测试系统需求,为通用飞机验证试飞智能辅助测试系统构架研究提供支撑。智能辅助测试系统需求包括从采集记录、座舱影像记录等环节提取的机载试验设备需求和从数据传输、数据存储、数据处理等环节提取的地面智能辅助系统需求两大部分,依据该需求构建的系统可实现对测试数据进行实时综合分析评估并反馈,辅助试飞工程师和试飞员全面掌握验证飞行情况,及时调整飞行状态、操作程序,从而为试飞适航验证提供技术支持,并实现提高试飞效率、缩短CCAR23部类通用飞机型号科研试飞与适航验证试飞周期、降低试飞成本的目的。     

飞行试验综合安全监控技术

在新型飞机飞行试验任务中,遥测监控技术是保证试飞安全,提高试飞效率的重要手段。针对目前地面实时监控技术面临的问题和挑战,提出采用基于故障树的多类型告警技术、试飞任务的嵌入式准实时数据处理技术及应急处置辅助决策技术等先进监控技术,引入试飞安全决策库理念,建立应急处置辅助决策机制,构建飞行试验综合安全监控系统,实现飞机各系统试飞状态监控和综合故障告警、复杂试飞科目的准实时计算评估和应急处置决策支持。实际飞行试验结果表明,应用此技术开发的综合安全监控系统,可以使试飞指挥员和工程师在第一时间及时准确地获取试验机故障告警、试飞科目评估结果和应急处置决策方案,极大地提高了试飞效率和安全性。     

航天器试验大数据系统实现与典型应用

航天器试验数据具有大数据特征,对于航天器研制中所做的评价和决策具有至关重要的作用。为实现航天器试验数据的高效且有效采集、存储、处理、分析和应用,提高航天器研制水平,分析了航天器试验数据的典型特征;借助大数据技术成果构建了用于航天器试验的大数据系统,描绘了系统部署位置,基于Hadoop、Flume、Kafka、MongoDB、HDFS、Spark Streaming、Presto、Kylin等技术构建了由数据采集层、数据存储层、数据处理层、数据分析层、数据访问层和数据应用层共6层构成的系统架构,阐述了系统各层的主要技术实现途径;探讨了系统在实时监测、健康评估、试验有效性评价、可靠性评估与寿命预测、发现知识、虚拟试验等方面的典型应用与展望。     

大数据分析平台建设与应用综述

大数据分析平台是开展大数据处理与分析应用所必需的基础设施。文章基于课题组开展大数据分析平台建设的科研成果与实践经验,结合大型企业实施行业应用项目的切身感受,从大数据分析平台设计、主流热点技术、行业应用案例三个方面进行介绍。文章首先分析了大数据分析平台的主要功能和体系架构,然后介绍了大数据分析平台的关键技术,重点介绍了 Spark技术的体系架构及核心组件,最后介绍了大数据技术在大规模制造业、零售业和智能电网三个领域的应用案例。     

大数据分析中的计算智能研究现状与展望

随着产业界和科学界数据量的爆炸式增长,大数据技术和应用吸引了众多的关注.如何分析大数据,充分挖掘大数据的潜在价值,成为需要深入探讨的科学问题.计算智能是科学研究和工程实践中解决复杂问题的有效手段,是人工智能和信息科学的重要研究方向,应用计算智能方法进行大数据分析具有巨大的潜力.对大数据分析中的计算智能方法进行综述,结合大数据的特征,讨论了大数据分析中计算智能研究存在的问题和进一步的研究方向,阐述了数据源共享问题,并建议利用以天文学为代表的数据密集型基础科研领域的数据开展大数据分析研究.     

教育大数据在高等教育中的应用研究

近年来,计算机技术的进步,新的应用不断涌现,数据的规模呈爆炸式的增长,大数据、教育大数据引起了政府部门、教育部门的关注。在教学过程中充分利用教育大数据,可以预测学习、判断在教学过程中的问题,进行个性化的指导,提高教学效果。本文对教育大数据对高等教育产生的影响及带来的挑战进行了分析。     

高性能计算集群的Linpack测试及其在大数据中的应用

高性能计算集群用于高效并行计算,具有很高的性价比和良好的可扩展性,如何测试和评价集群系统性能成为一个关键问题。本文基于6个节点的集群进行Linpack测试,测试不同问题规模、计算节点数、求解矩阵数据分块NB、处理器网格拓扑P×Q、网络通信等重要因素,将单机与集群的计算性能进行对比,测试集群性能,结果表明：该集群的并行计算性能良好,可扩展性强,但硬件通讯能力需进一步改善。应用该集群到实际的地震大数据计算中,该集群的并行计算能力得到了很大的提升。     

工业大数据分析技术与轮胎销售数据预测

工业大数据是在工业领域信息化应用中所产生的海量数据,作为决策问题服务的大数据集、大数据技术和大数据应用的总称。首先分析工业大数据4V特性与工业数据的特有特征,以及工业大数据来源;从多源异构工业数据集成与数据融合方法、工业大数据计算架构、大数据带来的信息安全等三方面论述工业大数据面临的挑战与潜在价值。探讨了工业大数据分析与挖掘方法,提出了工业大数据平台的计算架构与大数据处理平台,构建轮胎企业大数据资源中心、大数据分析与决策应用系统。从销售数据分析和宏观数据趋势两个层面进行轮胎销售大数据分析与预测。采用多个不同领域的销售数据源来解决销售预测历史数据特征空间稀疏的问题,使用LASSO（The Least Absolute Shrinkage and Selectionator Operator）方法的多任务学习方法来解决高维样本空间的缺点,实验数据验证能够提升轮胎销售预测的准确率。     

位置大数据隐私保护研究综述

大数据时代移动通信和传感设备等位置感知技术的发展形成了位置大数据,为人们的生活、商业运作方法以及科学研究带来了巨大收益.由于位置大数据用途多样,内容交叉冗余,经典的基于“知情与同意”以及匿名的隐私保护方法不能全面地保护用户隐私.位置大数据的隐私保护技术度量用户的位置隐私,在信息论意义上保护用户的敏感信息.介绍了位置大数据的概念以及位置大数据的隐私威胁,总结了针对位置大数据隐私的统一的基于度量的攻击模型,对目前位置大数据隐私保护领域已有的研究成果进行了归纳.根据位置隐私的保护程度,可以把现有方法总结为基于启发式隐私度量、概率推测和隐私信息检索的位置大数据隐私保护技术.对各类位置隐私保护技术的基本原理、特点进行了阐述,并重点介绍了当前该领域的前沿问题：基于隐私信息检索的位置隐私保护技术.在对已有技术深入分析对比的基础上,指出了未来在位置大数据与非位置大数据相结合、用户背景知识不确定等情况下保护用户位置隐私的发展方向.     

浅谈大数据

大数据是这两年非常热门的词汇,大数据应用已经开始被人们所关注。本文试着介绍大数据的由来、大数据的特点以及大数据的应用,并对大数据给信息技术带来的问题及大数据的发展趋势进行分析。