航空飞行试验工程大数据管理与应用思考

飞行试验是航空装备研制的重要环节之一,形成和产生的工程数据具有明显的大数据特征。传统的以试验测试数据为主的数据管理思想,难以保证试飞工程数据及其关系的完整性和准确性,无法全面表征飞行试验全过程,不利于试飞数据的再利用。在分析航空飞行试验复杂系统工程的有机组成及其工程大数据的本质特征和逻辑结构的基础上,结合近年来在飞行试验数据管理和处理研究中取得的技术成果和实践经验,提出了基于试飞工程全生命周期的航空飞行试验工程大数据管理思想,以试验对象为中心的一体化大数据采集和系统化大数据结构模型,和面向业务的基于SOA的分布式系统框架,便于建立一个综合、全面、开放的试飞工程大数据管理和挖掘应用平台,促进航空产品试飞数据处理效率的提升和试飞工程大数据在航空科研中的挖掘和广泛应用,发挥试飞工程大数据的发展助推作用。     

飞行试验数据管理探讨

飞机试飞测试数据是验证飞机性能和作战效能的基本数据,是宝贵的历史资料,也是进行航空高技术发展研究的重要物质基础。本文对建立飞行测试数据库的紧迫性和必要性进行了探讨,然后对飞行试验数据的结构、管理以及应用前景进行了分析。     

飞行试验大数据技术发展及展望

现代航空武器装备综合化和信息化程度越来越高,飞行试验测试数据的种类增多,测试数据量剧增,飞行试验进入了大数据时代;试飞大数据的来临,对试验数据的获取、记录、传输和处理等传统技术及模式产生了强大的冲击,也提出了严峻的挑战;文章在简要介绍大数据概念及国外研究应用现状的基础上,通过总结分析飞行试验数据的新特征、新需求,提出了“试飞大数据”的概念,得出飞行试验数据是典型大数据的结论;按照试飞测试流程和大数据技术范畴,重点分析了试飞大数据技术中的数据获取、交换、记录、传输、监控、处理、存储等关键技术,最后,对试飞大数据技术的应用前景进行了展望.     

典型大数据仓库-飞行试验数据仓库设计

在现代数据仓库技术思想的指导下,围绕试飞数据的非结构化大数据的特点,面向型号工程对试飞数据的统一管理和高效处理需求,分别针对试飞大数据的粒度描述和综合管理,设计了飞行试验元数据标准和特有的基于二进制文件的数据库管理服务,解决了飞行试验数据仓库设计中结构化与非结构化大数据的统一维度建模和数据关系维护的关键技术问题,为基于数据仓库的试飞大数据在线管理与分析系统的建立提供了基础,满足了型号工程对试飞数据的高效分析需求.     

大数据背景下高职院校数据治理体系的构建与实践

高职院校信息化建设积累了大量的数据资产,但数据质量也成为高职院校信息化发展的瓶颈,需要建立面向全校的数据治理体系以有效地提升数据质量。本文在分析DAMA数据治理框架、桑尼尔·索雷斯大数据治理框架和我国制定的《数据治理白皮书》国际标准研究报告的基础上,结合高职院校的特点,从数据治理的管理和技术两大核心要素出发,提出了一种基于大数据的高职院校数据治理框架体系,并对该体系主要内容及实施方法进行了详细阐述,希望能为高职院校数据治理的实践提供思路。     

大数据社会治理中的数据管理、运行与信息安全研究

人类正从"互联网时代"进入"大数据时代",数据已经渗透到社会的每个行业,对于每天产生的海量数据,不同利益方都预进行挖掘和运用,这为大数据社会治理中的数据管理、运行带来了难题,也涉及用户信息安全的问题.本文研究大数据社会治理中的数据管理的形式和数据运行的过程,从大数据开发、管理到运行中分析信息安全的制约因素,以及如何更有效的保护隐私数据,保证信息安全.     

云技术在飞行试验数据处理中的应用

针对飞行试验数据的海量非结构化的特点以及当前所面临的处理与应用问题,研究分析当前新兴的云技术,提出了飞行试验数据云计算应用架构的3个组成要素:设备系统、云存储和云计算。面向试飞数据工程应用,以试飞科目、试验动作段为频度矩阵建立试飞元数据存储阵列,实现海量非结构化试飞数据的云存储应用;以SOA架构为基础,结合面向应用的处理功能组件,实现分布式网络计算调度和计算群集,为用户提供高效的云计算服务。工程实践应用表明,该系统以灵活架构有效地解决了非结构化大数据信息的高效存储、统一管理和共享应用,实现了海量试飞数据的快速分析处理,展示了云计算技术的先进特点。     

面向科技前瞻预测的大数据治理研究

从模仿到创新、从跟随到引领,不仅是现阶段我国科学技术发展需要完成的重大转变,更是国家发展的重大战略需求.近年来,国内外相关学者陆续开展了科技发展趋势分析和热点跟踪等方面的研究,但由于缺乏系统的大数据采集与治理体系,其数据分析与挖掘范围往往局限于科技文献这一单一数据样本.文中面向科技发展前瞻预测这一目标,全面分析了影响科...     

大数据时代下对统计工作的思考

大数据时代是推动经济社会变革的重要力量。对传统统计工作的方式、方法以及社会重要性将产生重大的影响。本文从大数据的视角下全方位对统计工作的变化进行了探讨,并结合统计工作实际提出大数据背景下统计工作应该做相应的变革,对促进统计工作能效具有重要意义。     

大数据时代下对统计工作的思考

大数据时代是推动经济社会变革的重要力量。对传统统计工作的方式、方法以及社会重要性将产生重大的影响。本文从大数据的视角下全方位对统计工作的变化进行了探讨,并结合统计工作实际提出大数据背景下统计工作应该做相应的变革,对促进统计工作能效具有重要意义。     

直升机试飞试验管理和数据处理软件系统架构探讨

根据直升机试飞试验的特点,基于当今先进的信息技术、网络技术和计算机软件技术,讨论了试飞试验试验管理和数据处理软件系统的设计架构.     

通用试飞数据处理查询语言FTSQL

给出了一种通用数据处理用工程数据库查询语言FTSQL。该语言可入高级程序设计语言,提供了工程数据的标准访问接口,采用该语言可使数据处理部件化,支持数据处理软件系统的集成化、规范化以及系统的可重要性要求。     

Jump Filter: A Dynamic Sketch for Big Data Governance

With the rapid development of information technology, the volume of data maintains exponential growth, and the value of data is hard to mine. This brings significant challenges to the efficient management and control of each link in the data life cycle, such as data collection, cleaning, storage, and sharing. Sketch uses a hash table/matrix/bit vector to track the core characteristics of data, such as frequency, cardinality, and membership. This mechanism makes the sketch itself metadata, which has been widely used in sharing, transmission, update, and other scenarios. The rapid flow characteristic of big data has spawned dynamic sketches. The existing dynamic sketches have the advantage of expanding or shrinking the capacity with the size of the data stream by dynamically maintaining a list of probabilistic data structures in a chain or tree structure. However, there are problems with the excessive space overhead and time overhead increasing with the increase in the dataset cardinality. This paper designs a dynamic sketch for big data governance on the basis of the advanced jump consistent hash. This method can simultaneously achieve the space overhead that grows linearly with the dataset cardinality and the constant time overhead of data processing and analysis, effectively supporting the demanding big data processing and analysis tasks for big data governance. The validity and efficiency of the proposed method are verified by the comparison with traditional methods on various synthetic and natural datasets.     

跳跃滤波:一种面向大数据治理的动态数据摘要设计

随着信息技术的迅速发展,数据体量维持指数增长,数据价值挖掘困难,这为数据采集、清洗、存储、共享等数据生命周期中各环节的高效管控带来极大的挑战.数据摘要技术利用哈希表/矩阵/位向量对数据的频数、基数、成员关系等核心基础特性进行追踪,使得数据摘要自身成为元数据,并在共享、传输、更新等场景得到广泛应用.大数据的快速流转特性更是催生了动态数据摘要技术.现有的动态数据摘要技术通过动态维护链状或树状结构的概率数据结构列表,具有其容量随数据流大小而扩增或缩减的优势,然而也存在空间开销过大以及时间开销随数据基数增加而增长的缺陷.基于先进的跳跃一致性哈希理论,设计了一种面向大数据治理的动态数据摘要技术.该方法可以同时实现随数据基数线性增长的空间开销以及数据处理分析常数级别的时间开销,能够有效地支撑要求苛刻的多种大数据处理分析任务.在多种合成和真实数据集上,通过与传统方法实验对比,验证了所提方法的有效性和高效性.     

基于大数据的分布式社会治理智能系统

近年来,推动社会治理的协同化、智能化,完善共建共治共享的社会治理制度,是国家的重要发展方向.数据作为一种生产要素,在社会治理中起着愈发关键的作用.如何实现多方海量数据的安全查询、协同管理、智能分析,是提升社会治理效果的关键问题.在新冠疫情防控等重大公共事件中,分布式社会治理面临着安全计算效率低、多方可信协同差、复杂任务决策难的三大挑战.针对以上挑战,基于安全多方计算、区块链技术与精准智能理论,提出了一种基于大数据的分布式社会治理智能系统.所提出的系统能够支撑社会治理的各类应用,为新时代社会治理水平的提升提供决策支撑.     

企业大数据治理研究

介绍了面对大数据的数据量大、种类多、速度快和高价值的处理技术挑战,企业应当如何建立可靠的大数据平台。利用信息架构原则和实践,实现大数据与企业数据的灵活集成,通过结合使用分布式文件系统、NoSQL与关系型数据库,企业可以获取、组织和分析其所有企业数据(包括结构化和非结构化数据),从而做出最科学的决策。     

模型飞行试验数据采集存储系统研制

为了解决模型飞行试验中狭小空间内多种气动测试技术同时应用的难题,并满足模型飞行试验对数据获取可靠性、有效性的严苛要求,采用模块化设计方法研制了一套模型飞行试验数采集存储系统。针对多种气动测试技术分别设计了相应的信号调理、采集板卡,摒弃了外置信号调理模块,减少系统体积的同时提高了系统可靠性;采用模块化设计,堆叠式连接的方法,可以实现多种测试模块的灵活使用,系统的可扩展性、可维护性大大提高;针对存储模块采用逻辑互锁的软件设计及多种外部硬件防护措施,实现数据可靠记录及完整回收。系统研制完成后经历了严格的环境试验考核,并于2018年在两次气动模型飞行试验中实现成功应用,既满足测试精度要求又可灵活扩展实现,参数获取完整有效。