基于云计算的海量图片存储管理系统研究

随着网络信息容量的膨胀,如何高效地存储和管理海量图片数据,传统的数据管理技术难以满足这些应用所提出的对数据管理的需求。针对云计算应用的特点和需求,借鉴传统数据管理技术的理念,提出了一种基于CouchDB的高可扩展、高可靠的海量图片存储管理系统。系统采用分布式文件系统、分布式数据库等技术,支持海量数据存储、资源目录和交换体系以及并行程序处理,可提供从数据到处理功能的一体化服务。实验证明,本系统具有可行性,能满足空间信息服务的多种需求。     

基于InfluxDB与Grafana的物联网监测系统设计

随着监测系统使用时间的增加与物联网设备的不断接入,系统内数据量增长十分迅速,现有的单一存储模式已无法满足海量数据的存取需求。文中针对物联网异构数据海量性、时序型、低修改性和高写入性等特点,提出使用时序型数据库InfluxDB作为数据持久层存储核心业务数据的新思路。在此基础上,视图层增添Grafana组件用于业务数据可视化展示,并提出一种具备设备接入、设备监控、数据分析与展示功能的物联网监测系统。该系统易于操作,耦合程度低,可使用容器化部署方式降低后期运维成本。实验结果表明,系统存储海量物联网数据后,仍可在极短时间内提供服务,实现了海量物联网数据的高效存取,具有较高的研究价值与现实意义。     

基于Hadoop的轴承监测海量数据的存储与管理

针对高速机车转向架滚动轴承监测数据的格式多样化、数据量激增带来的管理和存储问题,在分析监测数据特征和数据量大小的基础上,构建了树形索引结构对滚动轴承状态监测海量数据进行管理。利用研究所当前的软硬件环境,搭建了分布式集群系统存储海量监测数据,并对集群系统在存储和管理海量数据时的可用性和稳定性进行了探讨。通过对实际数据的测试和分析,结果表明基于树形索引结构的分布式集群系统能在一定程度上满足滚动轴承状态监测非结构化海量数据存储和管理的要求。     

基于AWS微服务架构的车联网大数据分析系统的设计

本文探讨了车联网大数据分析系统的整体设计与实现。车联网行业正面临实时数据源的爆发式增长,大数据和云计算的应用可以实现平台和用户实时监测业务动态并运用智能分析辅助决策。系统通过在微服务架构下使用AWS组件进行数据采集、处理、存储、分析、机器学习预测和可视化等,实现海量数据源下的实时数据分析和智能决策。     

基于HDFS的云存储在高校信息资源整合中的应用

研究如何将基于HDFS的云存储应用于整合高校信息资源,旨在通过合适的构建基于HDFS的云存储服务系统,解决高校的海量数据存储问题。通过对概念的解析,结合高校信息资源存储的特点,构建了一个低成本、高效率、高安全性的分布式信息资源整合解决方案,并给出了系统结构图。     

海量数据存储模型的研究

随着互联网上信息量的爆炸式增长,海量网页数据的存储出现了难题.针对海量网页数据进行存储的问题,传统的集中式存储和管理方案已经难以提供高效、可靠和稳定的服务.本文设计并实现了一种针对海量网页数据进行存储的分布式平台模型.该模型利用Ha-doop集群和基于HDFS分布式文件系统的Hbase数据库实现高效率地分析、计算和存储海量数据,以MapReduce计算模型和Zookeeper同步协同系统保持数据写入的高效性和一致性.最后通过实验测试,该存储模型可以克服传统的存储模型存储时存在的读写效率低、数据写入不一致的问题,同时具有良好的扩展性、可行性、稳定性和可靠性.     

基于Spark Streaming的海量日志实时处理系统的设计

在网络系统日志信息规模不断增长的情况下,结合运维中的实际需求,通过大数据技术,提出了一种基于Spark Streaming的海量日志实时处理系统,并详细地介绍了系统的底层日志数据收集、 传输、 计算、存储、 查询存储等一系列功能的设计与实现.该系统不仅能够准确、 实时地解析日志信息,对数据进行统计分析,而且能对历史日志数据进行实时存储和离线计算处理.     

大数据场景下基于HDFS的云存储服务系统设计

本文通过构建大数据场景下基于HDFS的云存储服务系统,能够有效地存储海量数据,实现用户的文件数据进行分布式存储,并达到降低分布式文件系统成本的目的。     

海量图书检索信息的快速查询系统优化设计研究

以往依据关键词的检索方法,在对海量图书检索信息进行查询过程中,无法满足海量信息的大批量检索需求,存在查询效率低和误差高的缺陷。因此,设计基于分布式架构的海量图书检索信息的快速查询系统,系统中的各组件通过并行数据库和分布式存储实现交互。该系统的功能模块包括用户管理模块、数据抽取模块、索引创建模块、文本查询模块及索引检索模块。分析了系统各功能模块的设计和实现过程,这些功能模块共同对外提供图书信息的快速查询服务。实验结果表明,所设计系统可实现海量图书检索信息的快速、精确查询,并且具有较高的索引创建和索引检索性能。     

基于大数据平台的信令数据采集技术研究

针对现有信令数据采集技术所面临的海量数据采集需求以及存储困难等问题,文中研究了基于大数据平台的信令数据采集技术。设计了基于大数据平台的信令监测系统架构,并分析了信令监测系统的大数据解决方案。另外,文中进一步划分了基于大数据平台的信令数据采集架构,主要包括大数据信令采集架构、大数据信令采集模式以及大数据信令采集内容3部分。所设计的面向大数据平台的信令数据采集技术架构可以有效适用于海量信令数据采集场景,为实现大规模分布式信令数据采集提供了工具。     

基于MapX的卫星遥感影像地图导航系统设计

针对现有的无人机矢量地图导航系统图像不直观、高程数据缺失和矢量点线位置精度有限等不足,基于MapX开发平台,设计了无人机地图导航系统的结构与功能方案。对卫星遥感影像地理信息关联及海量检索处理、矢量图层与栅格图层综合显示处理等关键技术进行了研究,并利用VC++6.0工具开发了一套地形地貌直观丰富、数据处理方便可靠的无人机卫星遥感影像地图导航系统。     

遥感卫星地面接收系统总体设计探讨

遥感卫星地面接收系统包括天伺馈系统、跟踪接收信道分系统、数据记录处理和快视分系统、遥测遥控分系统、任务管理分系统、测试标校分系统。在对接收系统进行方案设计时 ,应针对不同遥感卫星的轨道、数据速率、成像方式等 ,重点解决多星适应性、卫星过顶跟踪、双通道实时合成及快速反应等关键技术 ,并对系统主要指标进行计算。介绍了遥感卫星地面接收系统总体设计的方案、关键技术及解决途径、系统主要指标的计算方法     

卫星地面站接收与处理系统关键流程分析

以广东海洋大学建设海洋遥感与信息技术实验室为背景,详细介绍了卫星海洋遥感数据接收与处理系统的组成,分析了卫星数据处理流程,并探讨与分析了安装、调试和运行中的常见问题,以期为建站同行提供帮助。     

遥感卫星接收系统接收软件工程化的应用

遥感卫星信息技术的发展与国家安全、军事环境监测、电子对抗等军事高科技有着十分密切的关系,接收软件是控制遥感卫星接收系统稳定工作的关键因素。结合软件工程化的方法,详细介绍了遥感卫星接收系统接收软件的功能、开发方法、接收软件的设计过程,以及在不同阶段软件开发的重点;并根据接收软件开发的实践,指出了在软件开发过程中应注意的问题。     

频率复用高码速率遥感卫星数据接收系统设计

针对双圆极化频率复用、高码速数据接收等关键技术,分析了影响系统交叉极化鉴别率、高码速数据接收链路误码性能的主要环节,提出了天馈、高码速数据接收链路的体系结构和设计方案.据此设计并建成的频率复用高码速率遥感卫星数据接收系统已成功接收了国内首颗双圆极化频率复用遥感卫星(“资源三号”卫星,数据速率450 Mbit/s×2)的...     

一种支持多星多任务遥感卫星地面系统综合处理的运行控制技术

该文以遥感卫星地面系统信息处理的运行控制需求为背景,在分析现有多种技术方案的基础上,提出了一种基于消息队列中间件IBM WebSphere MQ的地面系统信息处理运行控制方案,并进行了成功的工程实践,指出该技术方案可直接应用于多星多任务遥感卫星星座地面系统综合处理的运行控制。     

光学遥感立体测绘技术综述及发展趋势

介绍了国内外光学遥感测绘卫星技术现状,总结了高精度光学遥感卫星立体测绘领域中的关键技术,分析了测绘有效载荷、时间同步、卫星定轨定姿、几何定标、立体测图以及影像压缩与质量评价技术,给出了技术发展趋势,为国家高精度光学遥感立体测绘卫星技术发展提供参考。     

HJ-1C卫星实时软件帧同步算法研究与实现

传统软件帧同步算法在处理不包含同步字的大量连续无效数据时,效率较低,为了提高帧同步处理速度,满足HJ-1C 及后续高码率卫星实时处理要求,该文提出一种基于逆向搜索的实时软件帧同步算法,该算法通过数据分组和逆向搜索,避免了对大量连续无效数据的同步字检测,大大提高了帧同步处理速度,HJ-1C 卫星数据最大处理速度可达15445.9 Mbps。目前,该算法已成功应用于遥感卫星地面接收站HJ-1C 快视系统中。      

机动遥感卫星接收系统发展

介绍了国内外遥感卫星地面接收系统相关产品的发展现状及趋势，在此基础上提出了一种新的机动式遥感卫星地面接收系统。该系统的应用将为国防现代化及国民经济带来显著的社会及经济效益。     

卫星大气多角度偏振遥感系统方案研究

偏振遥感作为一项新技术将在大气探测中发挥作用。通过偏振测量,不仅得到了辐射度测量值,而且能够得到大气偏振态参数。基于多角度偏振信息,能够提高大气特性参数反演精度,并为精确大气校正服务。讨论了偏振遥感探测方式及其研究进展情况,从大气偏振信息特点考虑,提出了一种卫星大气偏振信息获取方式,简要给出了卫星大气遥感的多角度偏振遥感系统总体方案,旨在积极推进多角度偏振遥感技术在卫星大气遥感中的应用。