改进型空中交通流量预测算法的验证与实现

为了提升管制现场运行数据挖掘效率,改善现有空管流量预测系统存在系统结构与算法设计复杂性,提出一种基于空中交通管制自动化系统综合航迹数据和基础飞行数据交换报文处理的,能够实时修正航空器航迹4D剖面预测模型的流量预测算法。主要通过计划航迹和雷达航迹匹配关联算法模型以及利用航向角平面投影匹配算法提高流量预测的精确性。通过与当前主流的优秀算法对比和验证,方法能够全面、真实反映目标航迹当时运动态势和管制区域流量预测信息,工程实现较为简洁,具有一定的工程实践意义。     

Hadoop大数据平台安全问题和解决方案的综述

大数据时代的到来,更强的计算机和更成熟的大数据平台工具让企业从海量数据中挖掘数据价值成为了可能,尤其是基于Hadoop的大数据平台,甚至利用廉价的商业硬件处理TB、PB级别的数据. 在最初Hadoop大数据平台落地建设的过程中,往往功能先行,而忽略了安全的管控策略,直到2009年Yahoo团队提出了基于Kerberos的身份验证方案,才带动了Hadoop大数据平台安全管控工作的全面开展. 本文介绍了Hadoop大数据平台的基本历程,描述了2009年之前Hadoop大数据平台存在的传统安全问题,并尝试着将目前行业内Hadoop生态系统组件的安全性和每个组件的安全解决方案做一次系统的梳理,希望为构建Hadoop大数据平台管控方案时提供参考意见,以便合理利用先进的安全管控方案保护好企业、用户的隐私数据.     

基于数据敏感性的大数据访问控制模型研究

最近大数据的增长正在引发安全和隐私问题,传统的访问控制模型难以对海量数据提供动态的访问控制。针对Hadoop云平台的数据安全问题,提出了一个基于数据敏感性的Hadoop大数据访问控制模型。模型利用数据内容、使用模式和数据敏感性来强化访问控制策略,在评估数据敏感性上用户干预最小,能根据数据集的增加和删除所引起的数据敏感性变化来调整访问控制策略。实验结果表明,该模型能够以较少的开销增强对非多媒体数据集的访问控制,解决了现有Hadoop平台中访问控制模型安全性的不足。     

基于Hadoop的云计算模型

Hadoop是一个更容易开发和并行处理大规模数据的分布式计算平台,也是目前最为广泛应用的开源云计算软件平台。在对Hadoop平台上的分布式文件系统HDFS和计算模型Map／Reduce进行深入分析和研究的基础上,给出基于Hadoop的云计算模型和实现步骤。     

基于决策树挖掘算法的气象大数据云平台设计

大数据、云计算技术的迅猛发展为挖掘气象数据丰富的科研和经济价值提供了技术支撑,促进了Hadoop及其包含的文件存储系统(HDFS,Hadoop Distributed File System)和分布式计算模型在气象数据处理领域广泛应用。由于气象数据具有大数据的4V特征,还需要引入新的数据处理算法来提高气象数据处理效率。通过对决策树算法原理的研究,基于Hadoop云平台,创建随机森林模型,为数据挖掘算法在云平台上的应用提供一种新的可能性。基于决策树(CART,Classification And Regression Trees)挖掘算法的气象大数据云平台设计,采用Hadoop系统架构和MapReduce工作流程,对气象大数据云平台采用集群部署。平台总体架构分为基础设施层、数据管理与处理层、应用层,减少了决策树建立的时间,实现了气象数据高效加工和挖掘分析等平台功能。     

基于Hadoop的企业知识管理系统

基于Hadoop的知识管理系统可以增强企业海量知识存储与处理的能力,实现面向管理决策的知识发现.通过研究Hadoop平台及其特点,分析了基于Hadoop的知识管理系统的优势,构建了基于Hadoop的企业知识管理框架模型,并设计了基于Hadoop的知识管理系统的逻辑架构,最后利用基于MapReduce的协同过滤算法对知识推荐模块进行了详细设计.应用Hadoop等大数据技术及推荐系统技术构建知识管理系统既能实现知识管理的个性化和智能化,又能满足企业知识管理系统的扩展性和经济性的需求.     

HDFS可视化管理系统设计与实现

Hadoop工具核心模块包括分布式文件系统(Hadoop Distributed File System,HDFS)和分布式编程模型Map Reduce,其中HDFS是Hadoop数据存储处理的核心模块,但目前缺乏有效的HDFS可视化管理工具,因此设计实现了一套可视化管理工具,该工具基于Java Swing组件开发。以此工具为基础,搭建了一套基于Hadoop的海量遥感数据云存储系统。实验表明,该系统界面友好,易于部署,可以很好地支持HDFS可视化管理。     

基于卷积LSTM模型的航空器轨迹预测

采集空管大数据,根据空管大数据的特点,对数据进行数据融合,利用改进的聚类算法处理航迹数据,对得到的各类航迹数据分别构建模型,提高模型的预测精度.分别构建Stack LSTM和基于卷积LSTM的航空器轨迹预测模型,以真实雷达数据为例进行仿真实验,对仿真结果进行对比,其结果表明,基于卷积LSTM的航空器轨迹预测模型可以将预...     

基于IFC标准的建筑信息模型分布式大数据平台存储技术研究

随着建筑信息模型的规模和复杂性不断增加,利用单台计算机处理海量BIM数据的存储和分析变得越来越困难。传统的关系数据库、面向对象数据库等已经无法满足当下建筑业海量和多样化的数据存储和管理的需求。而大数据技术的出现为建筑信息模型海量数据的存储、管理和分析带来极大的潜力。利用大数据技术管理BIM结构化和非结构化数据的优势,探讨分布式大数据平台Hadoop和HBase数据库整体架构和存储模型;制定基于HBase数据库存储IFC(工业基础类)结构化数据和非结构化数据的策略及数据表格的设计;建立基于Hadoop和HBase大数据环境的建筑信息模型存储系统,实现对IFC数据的基本管理操作。通过实际案例验证该系统的可行性。     

基于IRGAN模型和Hadoop的电影推荐系统的设计

随着近几年人工智能技术的飞速发展,深度学习技术在推荐系统领域中的应用也已经成为研究热点之一。尤其是生成对抗网络(GAN)作为无监督学习中最具前景的方法之一,在图像处理和自然语言等领域取得突破性进展。针对目前存在的电影市场规模扩大、观影用户数量增长过快以及电影资源更新频繁等带来的数据利用率低、系统压力大、实时性差等弊端,结合Hadoop、Spark和Kafka等大数据处理技术,设计基于IRGAN算法模型的离线推荐模块和基于在线用户行为数据收集处理的在线推荐模块。实现了基于IRGAN模型和Hadoop的电影推荐系统。测试表明,该系统具有良好的推荐准确性、稳定性和实时性。