海量数据管理平台统一接入访问工具的设计与实现

简要介绍了实时数据库的特点及数据在实时库中的存储结构,利用关系数据库和实时数据库的核心技术,实现了海量数据管理平台对准实时数据的统一接入、存储、共享及访问;着重介绍了3种海量数据接入方式的设计与实现,并分析了各种数据接入方式的适用范围.     

实时数据库异步增量数据处理方法与性能分析

对实时数据库海量数据的高效处理技术一直是企业数据管理与分析工作面临的挑战性问题.文中针对实时数据库中的海量历史数据,设计了对其进行统计分析的异步增量数据处理方法,从方法应用层面给出了用户事件驱动和定时服务两种调用方式.实验结果表明,该方法减少了海量实时数据的统计计算时间,有效地提高了数据分析的响应性能.     

海量地层数据管理与可视化实现

国内外对海量地形数据的研究比较深入,但对具有一般意义的海量地层数据研究较少.针对油气田勘探、开发领域的数据特点,建立海量地层数据组织和管理的一种途径,为大规模的三维地质建模、实时显示作数据准备.基于数据分区、八叉树索引、访问预测等相关技术,实现海量数据的快速访问、快速检索、空间算法等.     

面向数字地球的海量地形技术研究

海量地形技术对于数字地球的实现起着举足轻重的作用．本文探讨了面向数字地球的海量地形技术中的两个关键问题——多分辨率地形的建模与实时绘制以及分布式海量地形的实时绘制.在此基础上提出了混合LOD算法,并给出了分布式海量地形实时绘制的框架．实验表明,采用该框架和混合LOD算法可以解决海量地形的实时绘制．     

一种基于海量信息处理器的辨云相机系统设计

针对星上数据实时处理系统设计发展需求,以可见光遥感卫星载荷实时云量覆盖估算应用需求为背景,以七七一所所产抗辐照海量信息处理器与CMOS可见光传感器分别为处理核心和成像单元设计了一款星上实时辨云相机系统。同时,设计了一种面向运算资源受限的空间多核处理器的在轨云判方法,采用神经网络分类器算法实现,在此基础上,通过并行与流水相结合的计算架构,结合海量信息处理器的核间共享内存机制,完成算法的处理器部署,实现了系统云判功能,为星上数据实时处理系统设计进行积极的技术探索。     

基于外存的大规模地形可视化框架

为了解决地形模型由于受内存限制而无法进行实时绘制的问题,作者提出了一个有效的基于外存的海量地形数据实时可视化框架,该框架由三层体系结构构成:管理层、调度层、自适应LOD活动地形渲染层.利用该框架进行海量地形的实时绘制,理论上可以达到绘制速度与地形规模基本无关.并给出了该框架一个实现,通过对36块具有500万个三角片的地形进行测试,平均可以达到25帧/s以上的实时绘制速率,验证了该框架的有效性.     

红外图像采集与控制系统研究

针对红外图像采集中的非均匀校正及图像存储等问题,构建多通道红外图像采集与控制系统,通过神经网络算法实现非均匀校正,并实现海量图像实时存储等功能。系统能快速有效实现非均匀校正功能,在采集过程中能稳定保存图像数据。     

基于Storm的实时用户日志管理系统

研究并开发了具有实时响应的大数据用户日志管理分析平台。采用Storm流式计算框架,完成用户日志分析的实时处理平台架构;采用Elastic Search作为实时搜索引擎,完成实时响应处理;使用Flume、Kafka技术完成海量日志采集、聚合和传输等功能。以某城市监狱管理系统的用户日志信息为实验数据,系统取得了良好的实验效果。为同时处理海量数据和实时响应用户请求的系统提供了可行性解决方案。     

基于Hadoop的鼓风机工业数据处理和存储系统

针对现有工控网系统不能高效稳定地接收并处理来自工业现场的海量传感数据问题,基于Hadoop框架,采用消息队列遥测传输(MQTT)作为数据接入协议、EMQ消息队列服务器提供订阅发布接口、Flink作为流计算平台、Kafka作为消息队列缓存分流以及OpenTSDB数据库作为数据存储,设计并实现鼓风机工业大数据处理和存储系统。实验表明,此系统消除了工业制造过程中产生的海量数据信息孤岛,实现生产设备状态动态监测及实时预警。     

Hadoop构建的银行海量数据存储系统研究

针对目前国内银行的OLAP(Online Analytical Processing)技术滞后于海量数据处理需求的情况,研究了海量数据存储、处理的关键技术,设计并实现了用Hadoop平台和关系型数据库架构的银行海量数据处理系统.介绍了系统架构、文件存储层次设计、数据迁移方案、任务调度算法等关键技术的实现.通过实验验证,系统能够实现数据的高可靠性与数据的高可用性目标,既能满足业务数据实时处理的需求,也能满足海量数据统计分析的需求.     

一种面向实时显示的海量空间数据存取技术

总结海量数据存取技术相关成果;建立海量空间数据的全球四叉树层次细节模型．以一致的逻辑模型和编码方式管理各类空间数据;基于IP网络分布式存储海量数据,设计客户一服务器模型下的数据读取算法;分析磁盘工作原理以确定效率瓶颈,并据此设计了高效的空间数据存储结构。该系统经实践证明,完全满足海量空间数据实时可视化的需要。     

基于层次块的大地形实时细节合成及渲染算法

为解决渲染真实大地形场景面临的数据获取困难问题,减轻海量地形数据存储与调度的压力,提出了基于层次块实时生成可控的地形细节,完成地形渲染的新方法。采用了层次块结构组织采样数据。给出了基于层次块生成可控细节的方法,使用块网格细分增加采样点,提出了基于Perlin噪声的可控多重分形算法计算细节,保证了生成的细节受真实采样点属性控制。采用统一的细节选择标准完成了细节合成与LOD方法集成,其结果与原始地形块共同构成了动静结合的双层自适应层次结构,实现了视相关的大地形渲染。面向GPU实现了实时合成算法。实验分析表明了该方法能够利用有限的真实地形数据实时产生与实际地形特征相近的细节,完成大地形渲染。     

基于分块的大规模地形实时渲染方法

将地形数据分块技术、层次细节模型（LOD） 技术、改进的ROAM 算法和数据预取技术等相结合,提出了一种超大规模地形数据实时渲染方法.通过分块策略对规则网格进行区域分割,采用空间填充曲线对分块网格进行多分辨率排列,并建立三角形节点顺序与剖分点之间对应关系的快速检索,实现数据快速调度;视见体投影简化分块裁剪算法降低可见性判断的复杂度,提高了计算效率;改进的四队列ROAM实时构网算法,很好地利用了相邻帧的相关性,有效地提高了渲染速度;基于视点预测、部分数据常驻内存的多线程数据预取实现了场景规模基本不相关的连续LOD实时渲染.实验结果表明,该算法高效可行,适合于海量地形场景的快速渲染和交互漫游应用.     

管道漏磁检测数据压缩技术

漏磁检测系统属于海量数据采集系统,针对该系统中电子硬盘存储数据量较少的问题,利用LZW算法和Hash表理论,提出了一种漏磁检测数据实时无损压缩算法.采用LZW算法对漏磁检测数据进行无损压缩,并根据Hash表管理LZW算法的字符串表,设计了基于ARM处理器为核心器件并嵌入Linux操作系统的硬件系统对算法进行实现.实验结果表明,该系统实现了漏磁检测数据采集、压缩和存储的全过程,得到了2倍以上的实时数据压缩结果.     

海量数据采集系统硬盘控制器

为了在海量数据采集系统中能够使用几百路传感器对模拟信号进行高速采集并将数据实时存储,设计了一种在FPGA内部实现硬盘控制的方法.通过PIO传输模式进行以扇区为单位的数据传输,将异步FIFO内的数据存入硬盘,平均写入速度达到12.56Mb/s,以状态机为核心,分析了使用VerilgoHDL语言实现硬盘寄存器读写和PIO数据传输的过程.在目标板上进行硬盘存储实验,通过SignalTapⅡ Logic Analyzer逻辑分析仪对硬盘控制器的功能进行验证,采集数据可达到0.8Mb/s的实时存储.     

基于MongoDB的海量电能质量数据存储方案设计与实现

在研究非关系型数据库Mongo DB的基础上,设计实现了基于Mongo DB的海量电能质量数据存储方案,并与基于关系型数据库的存储方案进行了性能比较测试。测试结果表明:该存储方案具有更好的数据存储和查询性能,可为海量电能质量数据的存储与处理提供借鉴。     

基于频繁模式挖掘的实时供应链数据分析

为了从海量的供应链实时数据中发掘隐性的、重要的业务关系,将频繁模式挖掘(FPM)引入到供应链实时数据分析,有利于提高决策的科学性与效率.提出了实时供应链体系结构,包括数据采集层、实时数据处理层与实时供应链应用层,阐述了实时数据采集与处理、频繁路径选择及频繁模式挖掘的方法.详细论述了频繁路径选择、工作流立方建立及频繁模式挖掘3个阶段实时数据处理的内容、原理与方法.结合某服装供应链分销管理,应用DBMiner工具进行了实证研究,结果表明,应用FPM技术进行供应链实时数据分析,可以高效地挖掘与利用实时数据,提高供应链运作的效率与供应链决策水平.     

Skyline在Web三维GIS中的应用研究

首先介绍了Skyline软件的概况及其在Web三维GIS中的应用,其次重点研究了XML、Ajax、TerraGate等技术,以此为基础实现Web上三维可视化和海量数据的实时传榆,最后以反恐系统为实例,阐述了基于Skyline的Web三维GIS的实际应用．     

海量开源情报信息实时监控及全频道服务

正颁奖词发正顺(北京)文化传媒有限公司实施的"海量开源情报信息实时监控及全频道服务"项目,利用先进的内容管理框架、文档查找信息、Web服务器等软件,对网站、博客、Youtube、Twitter、Facebook等信息源进行大规模海量信息实时抓取,实现了网站、微站、微信、APP及小程序的"五合一"开发,提供信息的主动推送服务与个性化服务,以便于科研人员实时查找、随时随地利用相关信息。     

一种高速磁记录设备的设计与实现

研究设计一种专用高速硬盘阵列存储设备，应用于海量数据的实时采集／回放。这种存储设备可以独立于微机平台实现将IDE硬盘高速数据写入或读出，并可以根据记录数据的速度和安全性的需要，进行多种模式的磁盘RAID的组建，具有良好的应用灵活性。