基于物联网海量数据处理的数据库技术分析与研究

随着物联网发展速度的不断加快,对海量数据处理技术也提出了更高的要求。物联网数据具有实时性、海量性与多态性、异构性等特点,因此其海量数据处理技术也具有一定的特殊性。针对物联网海量数据的新需求,本文首先对物联网数据海量性、异构性、数据多维性与数据关联性、实时性与动态化等特点进行了分析,在此基础上主要分析与研究了物联网海量数据处理的数据库技术,包括分布式内存数据库技术与分布式实时数据库技术两种。     

基于GemFire的海量数据计算性能实验分析

针对交通领域多源动态海量数据高性能计算的实时性、动态扩展性处理要求,提出了一种基于GemFire的分布式内存数据库实验平台。采用键-值数据存储结构和分布式动态成员关系,通过加载浮动车系统的真实数据在完整的云计算架构下,进行了计算性能测试与分析。实验结果表明,平台可将千万级以上大数据量的计算时间缩短至原系统的10%以内,满足了交通物联网云平台整合利用各子系统数据资源的应用需求。     

云计算数据库在海量用电信息采集系统的应用研究

本文主要探讨如何将云计算技术应用在海量用电信息采集系统中,从而解决海量用电信息数据实时并发采集入库的速率问题、历史大数据的秒级查询和计算问题,提高了系统数据的实时性和可用性,满足了用电信息采集系统自治区级集中模式下的各盟市、县级操作人员对实时采集数据的查询、统计和分析工作,提高了工作效率。     

基于数据库抽样的海量数据分类算法研究

本文对目前比较优秀的各种分类方法进行了介绍、分析和比较.在此基础上,借鉴决策树方法的快速分类特性,提出了一种基于数据库抽样的海量数据分类算法,给出了算法的设计思想和实现原理,并对多处理环境下的优化进行了探讨.实验研究表明,该算法可以明显提高海量数据库的分类效率.     

基于Oracle数据库海量数据的查询优化研究

系统数据库数据量大时,常常会遇到系统响应时间过长、占用系统资源过多等一系列问题。因此对海量数据查询技术的研究就很必要。文中基于Oracle数据库,采用各种措施和方法来提高响应速度：合理设计数据库结构、使用索引、分区、SQL语句优化等手段优化数据库。另外,分页显示查询结果也能很大地提高查询速度。实验证明,优化后速度明显提高了很多。因此可见,文中采用的优化方法对海量数据的查询优化是正确有效的。     

海量物联网数据安全处理模型研究

物联网已经成为信息技术发展的重要趋势.如何处理海量物联网数据并且确保这些海量数据的安全变得越来越重要.本文针对互联网的海量数据处理及其安全应用,提出一个海量物联网数据的安全处理模型.该模型主要由海量物联网数据采集、数据存储、基于规则的海量数据处理及其物联网数据安全管理等组成.通过该模型可以较好地实现物联网所产生的海量数据的安全传递、存储及其基于规则的处理等等,达到支撑各种应用的目的.该模型可以应用于各种基于规则的海量物联网数据监测系统如:基于物联网的湖泊水质监测系统、基于物联网的PM2.5监测系统及基于物联网的智能交通监测系统等.     

基于MatLab的海量数据处理方法

MatLab是MathWorks公司推出的一种科学计算软件,在使用MatLab进行数据处理过程中,常常会用到循环语句逐点处理数据,当数据量巨大时,经常会出现耗时长久的情况。将循环运算转换为矩阵运算,充分利用MatLab高效率的矩阵运算特点,可以缩短数据处理时间。通过一个算例分析了创建大容量矩阵的方法：如扩大内存空间、采用短字节数值数据类型等。算例运行结果表明,通过分配更多的内存空间进行大容量矩阵运算,可以显著缩短数据处理的时间,从而实现空间换时间的目的。     

海量数据快速批量处理的研究与实现

对海量数据快速大批量抽取和大批量处理进行研究,给出根据不同要求指定的具有一定共性特征的数据集进行交互式批量处理和批量加工的实现方法。     

基于云计算的图书馆海量数据存储研究

基于云计算的数据存储技术改变了现代图书馆的管理模式,也更新了传统的信息服务方式。现代数字图书馆系统的构建将沿着网络信息服务产业的发展方向搭设,对以往的数据存储模式形成较大的冲击。该文就云计算环境下的图书海量数据存储技术进行研究,剖析现代数字图书馆的主要特征,以及对于云计算技术手段在图书馆数据管理中的应用现状做出分析,并且提出相应的指导性意见。     

面向物联网海量传感器采样数据管理的数据库集群系统框架

物联网是目前国际和国内新兴的一项热门技术,正在给人们的生产和生活方式带来深刻的变革.物联网在带来诸多好处的同时,也给软件乃至整个信息技术领域带来了前所未有的挑战.该文针对物联网传感器采样数据管理中所面临的数据海量性、异构性、时空敏感性、动态流式特性等问题,提出一种面向物联网海量传感器采样数据管理的数据库集群系统框架IoT-ClusterDB.实验结果表明,IoT-ClusterDB具有良好的传感器数据接入与查询处理性能,为物联网海量异构传感器采样数据的存储与查询处理提供了一种可行的解决方案.     

基于云计算的图书馆海量数据存储研究

基于云计算的数据存储技术改变了现代图书馆的管理模式,也更新了传统的信息服务方式。现代数字图书馆系统的构建将沿着网络信息服务产业的发展方向搭设,对以往的数据存储模式形成较大的冲击。该文就云计算环境下的图书海量数据存储技术进行研究,剖析现代数字图书馆的主要特征,以及对于云计算技术手段在图书馆数据管理中的应用现状做出分析,并且提出相应的指导性意见。     

基于云计算的海量数据挖掘研究

为了实现高效率低成本的海量数据挖掘,为企业决策提供参考,提出了基于云计算的海量数据挖掘模型。该模型中海量数据的处理和存储都是在云计算环境中进行的,首先对海量的数据进行一定的预处理,形成结构一致的数据后,应用云计算平台上的MapReduce模型进行高效的并行数据处理,最后得到所需的数据挖掘结果。基于云计算的海量数据挖掘的效率明显高于传统的数据挖掘,并且数据挖掘结果的准确性有了一定的提高,而且随着数据量的增多,该模型的优势会愈发明显。     

基于数据库编程语言的海量邮件数据分类技术

针对海量邮件数据的处理需求和实际业务需要,设计了基于数据库编程语言的海量邮件自动分类系统。该系统由特征学习模块、数据库查询模块和贝叶斯分类模块3部分构成。结合贝叶斯分类算法,利用PL/SQL语言与数据库交互时的高效性特点,在ORACLE PL/SQL存储过程中完成对未知邮件的特征提取和表示,实现对海量邮件数据的有效分类。     

基于数据库编程语言的海量邮件数据分类技术

针对海量邮件数据的处理需求和实际业务需要,设计了基于数据库编程语言的海量邮件自动分类系统.该系统由特征学习模块、数据库查询模块和贝叶斯分类模块3部分构成.结合贝叶斯分类算法,利用PL/SQL语言与数据库交互时的高效性特点,在ORACLE PL/SQL存储过程中完成对未知邮件的特征提取和表示,实现对海量邮件数据的有效分类.     

基于云计算的海量数据挖掘研究

随着科学技术的发展,云计算可以实现对海量数据的低成本、高效率挖掘.借助云计算上的Map Reduce模型能够对海量数据进行高效的并行处理,不仅可以提高海量数据信息的获取效果,而且还可以确保数据挖掘结果的准确性.     

GIS中海量栅格数据的处理技术研究

综合介绍了近些年来采用的针对GIS海量数据的处理策略及技术,指出了这些技术的优缺点;并在GeoScene软件的开发过程中得到了很好的应用。     

基于Map-Reduce的海量数据高效Skyline查询处理

Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查...     

改进Apriori算法处理海量数据的研究

随着Internet的迅猛发展和日益普及,各种数据信息急剧膨胀,各行各业积累的数据量急剧增长,如何从海量的数据中提取有用的信息成为当务之急。文章讨论海量数据处理中的机器学习算法——关联规则挖掘Apriori算法,针对Apriori算法需要多次扫描数据库的缺点,对数据库进行划分,从而提高海量数据挖掘的效率。     

基于模拟信息转换器的物联网海量数据处理研究

针对大规模物联网应用的海量数据处理信息获取效率低、硬件成本昂贵的问题, 依据压缩感知(compressed sensing, CS)理论, 建立了一种模拟信息转换器(analog to information converter, AIC)数据处理系统模型。模型以MATLAB/Simulink为平台, 分别设计了信号的解调、过滤、采样、重构等功能模块, 并对不同频率分量的信号进行处理。实验结果表明, 该模型可以较低采样率、高压缩比精确重构稀疏信号, 重构效率与观测数M、抽取行数K以及信号频率分量相关。     

物联网感知层实时数据处理技术研究

在科学技术高速发展的今天,物联网逐渐融入生活成了迫在眉睫的事情.而物联网最基础但也是最关键的环节便是采集智能信息和识别环境,因此物联网感知层作为物联网的重要组成因素则肩负着这一重大责任.然而,物联网感知层有着繁杂的种类,多变的应用环境、以及拥有着巨大的部署数量,给实时数据处理技术增加了难度,也提出了更高的要求.为了推动我国物联网的高速发展,使之不断进步,本文针对物联网感知层实时数据处理技术进行了一定的研究.