基于Hadoop的鼓风机工业数据处理和存储系统

针对现有工控网系统不能高效稳定地接收并处理来自工业现场的海量传感数据问题,基于Hadoop框架,采用消息队列遥测传输(MQTT)作为数据接入协议、EMQ消息队列服务器提供订阅发布接口、Flink作为流计算平台、Kafka作为消息队列缓存分流以及OpenTSDB数据库作为数据存储,设计并实现鼓风机工业大数据处理和存储系统。实验表明,此系统消除了工业制造过程中产生的海量数据信息孤岛,实现生产设备状态动态监测及实时预警。     

Hadoop构建的银行海量数据存储系统研究

针对目前国内银行的OLAP(Online Analytical Processing)技术滞后于海量数据处理需求的情况,研究了海量数据存储、处理的关键技术,设计并实现了用Hadoop平台和关系型数据库架构的银行海量数据处理系统.介绍了系统架构、文件存储层次设计、数据迁移方案、任务调度算法等关键技术的实现.通过实验验证,系统能够实现数据的高可靠性与数据的高可用性目标,既能满足业务数据实时处理的需求,也能满足海量数据统计分析的需求.     

基于MongoDB的海量电能质量数据存储方案设计与实现

在研究非关系型数据库Mongo DB的基础上,设计实现了基于Mongo DB的海量电能质量数据存储方案,并与基于关系型数据库的存储方案进行了性能比较测试。测试结果表明:该存储方案具有更好的数据存储和查询性能,可为海量电能质量数据的存储与处理提供借鉴。     

实时数据库异步增量数据处理方法与性能分析

对实时数据库海量数据的高效处理技术一直是企业数据管理与分析工作面临的挑战性问题.文中针对实时数据库中的海量历史数据,设计了对其进行统计分析的异步增量数据处理方法,从方法应用层面给出了用户事件驱动和定时服务两种调用方式.实验结果表明,该方法减少了海量实时数据的统计计算时间,有效地提高了数据分析的响应性能.     

基于MongoDB的海量遥感影像大数据存储

随着科技的发展,遥感影像照片在质量及数量上急剧增加,如何安全并高效地将其存储已成为当前研究的一个热点问题.应用NoSQl非关系型数据库,提出一种基于MongoDB的遥感影像大数据的存储方法.用基于GridFS的大文件存储方式存储影像,再将其有关的属性信息以一条文档的形式插入MongoDB数据库,两者之间用相同的ID编号连接.通过与关系型数据库PostgreSQL在大文件以及传统海量文档存储方面进行性能测试比较,结果表明基于MongoDB的海量遥感影像大数据存储方法在各方面性能均明显优于基于关系型数据库的存储方法.     

基于CAN总线的实时数据库设计

介绍了实时数据库构建的硬件平台,给出了实时数据库在CAN总线教学实验系统中的总体设计方案,选取Visual C＋＋作为开发工具,充分的利用了Visual C＋＋中并发多线程技术和数据库应用程序的接口ADO技术,实现了对所要监控数据的实时采集、处理和存储。并且从实时调度、实时并发控制与数据管理三方面给出了实时数据库内核的设计方法,并将此软件应用于高校教学实验系统。     

Java存储过程在异构数据库访问中的应用

异构数据服务技术主要用于实现跨数据平台的数据共享.提出了一种在Oracle数据库上采用Java存储过程来实现异构数据服务技术,由数据提供者开发用于共享源数据资源的Java类,数据使用者负责在目的数据库上将Java类部署为Java存储过程.这种技术体现出以数据提供者为主导的特征,容易将各种异构数据资源无缝接入到Oracle数据库中.实践证明,这种技术具有更安全可控及符合业务应用特征的优点.     

基于NoSQL数据库的地学大数据高效存储方法

为解决传统的关系型数据库在海量数据的存储和访问效率中存在的瓶颈问题,提出了一种基于非关系型（NoSQL：NotonlySQL）数据库的地学大数据高效存储方法。同时以MongoDB为代表,通过C#语言编写测试程序,与SQLServer在地学大数据的存储、查询等方面进行了性能对比。结果表明,与传统关系型数据库相比,NoSQL数据库的增、删和查询耗时明显降低,尤其是针对海量的非结构化、半结构化数据,其性能优势更加明显。     

红外图像采集与控制系统研究

针对红外图像采集中的非均匀校正及图像存储等问题,构建多通道红外图像采集与控制系统,通过神经网络算法实现非均匀校正,并实现海量图像实时存储等功能。系统能快速有效实现非均匀校正功能,在采集过程中能稳定保存图像数据。     

公路交通气象观测站监控系统的设计与实现

设计了一种新型高效的公路交通气象观测站监控系统.该系统主要包含两个方面的内容,一是采用多线程编程技术设计开发实时气象报文数据入库程序,二是对开源Zed Graph制图控件的修改和重新封装使用,并以Oracle10g大型数据库作为后台数据库,最终构建成由实时气象数据入库的程序和数据提取展示程序组成的监控系统.该系统不仅实现了对海量气象数据的存储备份,而且其监控展示功能可以更高效地为交通气象的监测预警决策提供依据.通过具体应用,证明了该系统在减少气象灾害对交通的影响方面是可行的、有效的.     

面向海量无线电监测数据的分布式存储系统研究

提出了一种针对海量无线电监测数据的分布式存储系统的体系结构。结合Hadoop云计算平台和HBase分布式数据库的存储特点,在Linux平台下设计了针对海量无线电监测数据的分布式存储系统。该系统旨在对海量分布式无线电监测数据进行快速、高效、可靠地处理,用以满足无线电监测管理部门对监测数据的存储、检索和分析的需求。     

基于SQL Server 2000的组态软件实时数据库

为了能在监控软件中实时监控数据,系统采用物理内存作为实时数据库的主存储区,在内存中完成对数据的存储、管理和实时操作．使用SQL Server 2000数据库管理历史数据,给出了基于商用数据库组态软件实时数据库的结构.整个系统采用多线程面向对象的编程方法,在查找方法上采用直接定位指针的搜索方法,解决了与Windows操作系统相融合的问题．测试结果表明该系统能达到监控实时性的要求．     

SOFC集成监控系统设计与优化

在SOFC集成监控系统中,提出一种采用数据通讯层、数据处理层和人机交互层三层结构的优化设计方法.该方法将海量数据分类、存储分配与数据调度作为系统监控质量的关键因素,重点对数据处理层的实时数据库和历史数据库备份等实施优化设计.将实时数据库分为虚拟数据库和内存数据库两个部分,分时调度高频数据和低频数据,按紧迫性调度高优先级和低优先级数据.在数据通讯层,通过解析不同设备所特有定制协议的特征参数,为系统提供了自适应识别设备的自动搜索和链接功能.SOFC集成监控实际运行表明,优化设计后的系统能够长期稳定运行时间超过4000h,测量数据完整准确,达到了SOFC测试要求.     

综合智能电力系统动态监视平台及其应用

提出基于虚拟中心数据库的多数据源综合智能电力系统动态监视平台,该平台基于虚拟中心库实现不同应用系统的界面统一和数据共享,而不需对数据进行大量的转移和复制;采用考虑电力系统数据特点的高效无损数据压缩技术,提高平台对海量数据的实时存储和处理能力.并以该平台为基础开发基于PMU动态测量数据的各种电力系统监视和分析应用功能,主...     

基于云数据库的公共自行车管理软件平台

针对公共自行车租、还不便,信息未及时反馈给工作人员以及用户等问题,提出了基于云数据库的公共自行车管理软件平台. 该平台包括管控终端,中心控制网关、数据监控服务以及公共自行车管理系统四大模块. 公共自行车管理系统采用J2EE、Struts、Spring、Hibernate等框架来设计,并在数据库层采用云数据库存储的技术来管理和处理数据. 云数据库将底层的关系型数据库抽象成一系列的服务节点,并给予定制的结构化查询语言进行数据库访问,同时云数据库对外提供一个有效的统一资源定位符（URL）,用户通过这个URL可以很方便的访问云数据库,进而实现租、还自行车的操作. 研究表明将各个自行车站点的信息部署在云数据库中来进行统一的管理,可以有效地提高信息的访问效率,方便用户租、还自行车,满足系统的应用需求.     

基于ASP．Net应用系统的网络安全研究与设计

介绍了基于ASP．Net平台B／S架构的应用系统网络安全的设计,分析了B／S三层网络架构的安全机制,给出了通过身份验证、权限控制、数据加密、存储过程访问数据库等手段实现系统的安全性的技术要点。     

虚拟化环境下的NoSQL数据库评测

为高效存储和处理海量数据,需要在实施虚拟化的数据中心上部署NoSQL数据库系统．针对NoSQL数据库以开源为主、种类繁多而造成选型困难的问题,采用YCSB测试框架,对在Vmware产品构建的虚拟化平台上部署的两种NoSQL数据库系统性能进行了三组测试实验结果反映了这两种NoSQL数据库在不同读写场景、不同数据负载以及不同集群大小下的性能差异,对数据中心的数据库选型工作有一定的参考价值