基于Hadoop的在线网络日志分析系统研究

网络日志分析对网络安全管理具有重要意义,但现有的网络日志分析系统具有无法处理海量日志数据、采用离线模式、处理时延较长等弊端。因此,提出网络日志数据的分级归档机制,实现海量数据的分级优化存储功能。通过将传统的网络日志分析模式和基于Hadoop的离线处理模式相结合,设计基于Hadoop的在线网络日志分析系统,并深入分析系统的功能架构和业务处理流程。实验结果表明:该系统具有良好的可扩展性,可以有效存储处理海量日志数据,具有较快的请求响应速度,并能够满足在线处理的要求。从而验证了系统设计的可行性和有效性。     

基于WebGis的态势表达解决方案探讨

网络地理信息系统(WebGis)实现了Internet环境下地理空间信息的有效管理与处理,是地理信息系统(GIS)走向社会化、大众化、服务化的有效途径。态势表达涉及复杂的业务逻辑处理和海量标绘的渲染,基于WebGis的态势表达往往需要权衡性能与效果,在满足需求的情况下提升页面性能和显示效果。从AJAX、Flex、Silverlight富客户端技术和WebGis服务器、空间数据库等服务器端技术及聚类分组、屏幕网格算法等方面进行了探讨和分析,为WebGis页面性能提升和态势显示效果改进提供解决思路和方法。     

支持HLA的战场态势仿真系统设计与实现

采用共享内存的方式,设计一种支持高层体系结构的战场态势仿真系统体系结构。通过引用“快照”概念,在逻辑层面消除了静态与动态态势目标的区别,以内存结构一致的方式管理。分析系统实现中仿真数据更新流程、轨迹数据实时插值、动态图层可视化优化等关键技术。在实验与实际应用中证明了该仿真系统的可行性与合理性。     

海量船舶自动识别系统中数据检索系统的设计与实现

针对船舶自动识别系统( AIS)数据的发送周期快,中国沿海的船舶数量多的问题,利用键值对技术和分布式数据库构建海量船舶自动识别系统。通过船舶的移动通信业务标识码( MMSI)和船舶的AIS信息组成键值对,实现单船长期轨迹的存储和快速检索利用四叉树数据结构实现了区域数据的快速检索,实验结果表明本文构建的系统实现了海量AIS数据的存储并且对长期船舶数据查询速度提高6倍以上。     

基于Openlayers3和Cassandra的船舶碰撞风险识别系统

为提高船舶交通管理服务系统(VTS)智能化水平,保障航运安全,利用上海港水域内海量AIS数据,建立船舶领域模型,应用改进的聚类算法,识别船舶碰撞风险。利用开源地图框架Openlayers,实现碰撞风险可视化,利用Cassandra数据库,实现海量AIS数据存储和高效检索。设计实时船舶可视化显示,单船、区域船舶历史轨迹回放,模拟船舶航行等功能。最后使用上海港2015年全年AIS历史数据进行碰撞风险识别实验,结果和历史高危区域较为吻合,可作为辅助分析系统供海事人员决策参考。     

基于LOD控制与内外存调度的大规模网络态势数据节点处理算法

针对网络空间海量态势目标数据的动态、实时绘制需求,本文在细节层次(LOD)控制技术的基础上提出了一种数据分片标记与内外存动态调度相结合的态势数据处理算法。首先在底图上建立多尺度显示模型,然后将网络态势数据节点进行分层、分块标记,最后在交互时基于用户当前视口进行动态加载调度,提高内存的使用效率。经验证,该算法可以减小内存开销,提高海量态势数据绘制的实时性,提供较好的用户体验。     

基于集群的Web并行超高分辨率显示技术

如何有效地快速显示超高分辨的互联网资源一直是卫星遥感、城市环境监控预警、智慧城市管理中心等领域的研究热点和难点.本文提出了一种基于集群的Web并行超高分辨显示技术,完美结合Web技术和集群并行处理技术,克服了传统集中信息处理显示和采用DLP投影拼接技术存在显示分辨率有限、系统拼接困难、信息显示处理速度慢、无法异地共享显示等问题,实现Web资源的实时超高分辨显示.通过对比实验,本文研究的基于集群的Web并行超高分辨率显示技术能够高效地、高清晰度的显示网页资源,为海量的Web信息内容的实时、超高分辨显示提供了有效的解决方案.     

海量物联网数据安全处理模型研究

物联网已经成为信息技术发展的重要趋势.如何处理海量物联网数据并且确保这些海量数据的安全变得越来越重要.本文针对互联网的海量数据处理及其安全应用,提出一个海量物联网数据的安全处理模型.该模型主要由海量物联网数据采集、数据存储、基于规则的海量数据处理及其物联网数据安全管理等组成.通过该模型可以较好地实现物联网所产生的海量数据的安全传递、存储及其基于规则的处理等等,达到支撑各种应用的目的.该模型可以应用于各种基于规则的海量物联网数据监测系统如:基于物联网的湖泊水质监测系统、基于物联网的PM2.5监测系统及基于物联网的智能交通监测系统等.     

透视超级计算机发展历程（三）

共享内存和海量并行处理 采用足够的内存和网络带宽,就可以有效地将共享内存多任务和海量并行计算结合在一起。在共享内存多处理器机器或者SMP上编程的模型,假定有足够的内存带宽,可以保证单个任务的关联数据能够以比完成计算少得多的时间从共享内存读     

海量数据图像快视系统的软件开发设计

为了实现卫星监控、海洋探测等领域海量数据的实时采集、显示、存储和分析,该文设计了一个海量数据图像快视系统,系统综合运用海量数据分块、图像金字塔、图像高速缓冲和磁盘阵列等技术来满足用户对海量数据的实时调度、显示、存储的要求。实际应用证明系统的实现极大提高了海量数据处理的效率,具有很高的军事和工业应用价值。     

电子海图系统研究与设计

电子海图系统(Electronic Chart System,简称ECS)能够综合处理海上地理信息、本船航行状态信息、目标船动态信息和航行环境信息;可以接入GPS、舰船自动识别系统(AIS)、罗盘和测深仪等传感器;具有完善的海图显示、航线设计、船舶导航、避碰辅助和航行管理功能。     

基于云计算技术的电信经营分析系统中对海量数据的研究

电信经营分析系统承担着决策支撑的重要职能,面对越来越多的海量数据,如何有效处理这些海量数据从而提取有价值信息是面临的一大突出问题,利用云计算技术解决这些问题是一种新的有效的途径。针对电信经营分析系统中(简称BASS)现有存储、处理和ETL算法的不足,结合云计算技术提出了分布式海量数据存储、Hbase海量数据管理、Map/Reduce编程模式、以及基于拆分机制的海量数据处理(简称SMB-DP)算法和基于任务运行时间和优先级的ETL任务调度(简称AGB-ETL)贪婪算法,本文着重从这几个方面对现有经分系统进行改进和优化。     

综合战场态势仿真系统设计与实现

为了满足海军诸兵种一体化作战模拟系统从整体上展现综合战场态势的需求,基于高层体系结构( HLA)技术,提出了综合战场态势仿真系统的设计方案,分析了系统所需的功能,阐述了系统实现时所涉及的5个关键技术,重点解决了在态势中如何显示矢量军标的难题,并优化了数据更新流程及态势显示处理方法,极大地提高了态势显示刷新的速度与效率,最后用仿真实验验证了该设计方案的可行性与合理性.     

海战场态势实时三维显示系统研究与实现

针对当前舰载指挥控制系统只能基于二维图形、图标显示战场态势的问题，提出和开发了基于UDP的海战场态势实时三维显示系统，将虚拟现实技术应用到作战指挥控制系统中，用三维视景实时显示战场态势变化过程、战场态势发展以及双方兵力对抗过程。系统对战场实体位置进行了从经纬度坐标到直角坐标的转换，并为战场实体建立了简单的行为模型。为满足实时渲染和实时显示的需要，系统对模型、场景范围、显示方式等都做了优化处理，减少计算量，同时减少对硬件的依赖。     

二三维联动战场可视化系统的研究与实现

采用动态分页调度算法结合LOD技术实现了海量三维地形数据的加载与显示,研究三维军标绘制技术,提出了一种基于可视范围动态计算投影区域的方法,解决了三维线、面标号纹理模糊不清问题。采用MVC设计模式搭建二三维联动战场可视化系统框架,实现了二三维在视域范围、态势标号、地理信息查询之间的联动。     

海上平台水文气象数据监测系统的设计与实现

基于.NET开发平台和云存储、并行计算、多线程和应用程序托管等技术设计并实现了面向海上平台水文气象数据的监测系统。系统集海量数据的采集、发送、处理、管理和可视化于一体,解决了海上平台的风、海流、波浪、泥温和盐度等海量水文气象数据难以采集、无法远程快捷智能传输、难以进行有效处理和挖掘以及难以可视化的问题。为长期有效获得并处理海量连续水文气象观测数据,进而提供有效水文气象信息指导给出了解决方案。     

基于共享内存的多处理器系统间通信技术研究

在硬件系统设计中,在有大量运算量的应用同时需完成控制任务的过程中,往往把DSP作为目标系统负责复杂的运算,而使用单片机对整个系统的运行进行控制。本文提出了一种基于共享内存的ARM＋DSP的双核处理系统,该系统具有高运算量、高效率和高实时性。     

一种高速流量聚合方法的设计与实现

本文运用数据仓库原理,设计了一套基于NetFlow的高速流量分级聚合方法.基于四个时间粒度将原始数据进行聚合处理并转存到数据库,达到对高速网络环境下的海量流量数据进行有效缩减和归并整理的目的,同时,结合对细节级数据的压缩处理策略,提高了流量分析的效率.流量聚合处理采用多线程技术加以实现,提高系统性能.     

一种OLAP海量数据载入技术的研究

在数据仓库、数据挖掘和联机分析处理系统中,海量数据的载入虽然不是时时发生,但是海量数据的载入效率直接影响着系统性能,如何高效地进行海量数据的载入十分重要.提出了两种技术,即基于UB-Tree的海量数据的初始化载入技术以及海量数据的增量载入技术,阐述了基于UB-Tree的海量数据载入的技术及其算法,提出了海量数据载入模型,建立基于UB-Tree的初始化载人,以及如何在已有的UB-Tree上做增量载入.经过性能分析,算法减少了I/O和CPU代价,为一种有效的海量数据载入方法.     

基于组播技术的共享内存网络设计与实现

针对反射内存网络存在的成本高,不适合大型分布式交互仿真的问题,提出了一种基于组播技术构建共享内存网络的方案.该方案将组播技术和共享内存管理技术相结合,实现了网络中各节点的内存数据共享.组播共享内存网络不仅成本低,而且传输效率高,可靠性好,具有通用性.