一种基于文件缓冲方式的操作大数据量数据的方法

行缓冲和表缓冲是对数据库中记录操作的常用方法,但在处理大数据量数据的时候其效果通常不很理想。为有效的对大数据量数据进行处理,本文介绍了一种用文件缓冲的方式来处理大数据量数据的方法。     

基于Drools规则引擎的物联网数据查询方法设计

物联网(IoT)数据具有数据量大和实时性好的特点。通过复杂事件处理技术处理物联网数据时需要设置复杂的规则,但规则往往会随着业务的变化而变化。Drools规则引擎可以通过分离的配置文件设置规则,在不修改设备数据或管理平台代码的情况下,筛选到匹配规则的数据或事物。为解决DRL规则文件架构和决策表文件架构筛选数据产生的重复匹配的冗余问题,设计了一种修正数据库的数据查询方法。在不同数据量、不同规则数的查询环境下,对DRL规则文件架构、决策表文件架构和修正数据库架构进行了数据查询性能分析。实验结果表明：修正数据库架构在大数据量查询时时间损耗更少,可有效减少冗余。     

PLE编码在关联数据挖掘中的应用

在关联数据挖掘领域利用RLE(Run-Length Encoding)编码可有效减少动态数据库计算时的数据量,提出了一种新的数据前处理算法,直接对存储器中的编码数据进行数据挖掘,并且在数据快速变化时能够有效更新编码数据,提升处理效能。     

大数据技术在环境信息中的应用

在“辽河流域水环境管理技术综合示范”项目中,随着时间的累积,环境监测数据处理系统采集到的数据量越来越大.然而目前辽宁省环境监测数据处理系统无法有效处理日益增长的海量数据.研究运用大数据技术,改进环境监测数据处理系统中的数据中心.利用HDFS强大的数据存储、管理功能,以应对数据量的增长,利用MapReduce及Hadoop其他相关工具,快速处理海量数据,降低数据规模,最后将数据存储到数据库中.     

基于Hadoop的FP-Growth关联规则并行改进算法

大数据环境下,传统的串行FP-Growth算法在处理海量数据时,占用内存过大、频繁项多,适用于大数据情况的PFP(Parallel FP-Growth)算法存在数据量增大无法处理的缺陷。针对这些问题,本文提出了基于Hadoop的负载均衡数据分割FP-Growth并行算法。在Hadoop平台下,本文使用负载均衡和数据分割相结合的方式对原始事务数据集分片实现并行化。实验证明基于Hadoop的负载均衡数据分割FP-Growth并行算法在处理数据量和效率上有所提高。     

大数据时代的新速度

在讲求信息安全的IT时代，最具有标志性的口号莫过于“速度就是一切”。在过去的十年中，我们见证了防火墙技术的不断演进，数据量从1G、10G的数据级到40G的数据级，防火墙正在不断地突破自身的数据量上限。那么问题来了，是不是处理的数据量越多，处理数据的速度更快就是未来技术的发展方向呢？恐怕我们今天还暂时不能这么说。     

基于格拉布斯准则的DS证据理论在WSNs中的应用

为了延长无线传感器网络（ WSNs）的使用寿命,在确保数据的有效性和准确性的前提下,采用一种两层的数据融合算法来对数据进行处理,减小传输的数据量。通过联合使用这两种算法,格拉布斯和DS证据理论的联合来对数据进行加权和压缩处理。实验数据表明：算法的使用有效地减少了数据量传输,提高了数据的传输效率,节省了数据传输过程中耗费的能量。     

亚马逊云科技助力传统行业数字化转型

<正>在如火如荼的数字化转型进程中,企业不仅要处理海量、多种类型的数据,还必须管理不同生命周期的数据,打破解决数据孤岛。从Byte、KB到我们熟悉的MB、GB、TB,再到PB、EB、ZB,存储数据基本单位的快速变化,标志着人类社会数据量的爆发式增长。从1956年IBM公司提出Byte概念至今,     

基于数据生命周期的DW大数据量处理方式

通过数据生命周期、数据分段处理的方式以低成本的方式解决数据仓库中大数据量的性能优化和存储优化的问题。     

Hadoop的虚拟化之恋

高速增长的数据量和日益增加的竞争压力,让越来越多的企业开始思考如何挖掘这些数据的价值。传统的BI系统、数据仓库和数据库系统都不能很好地处理这些数据,原因包括：1）数据量太大,传统数据库不能有效存储并维持可以接受的性能;2）新产生的数据往往是非结构化的,而传统方式都是为处理结构化数据而设计的;3）传统数据处理所需的硬件往往相对昂贵,     

基于数据生命周期的DW大数据量处理方式

通过数据生命周期、数据分段处理的方式以低成本的方式解决数据仓库中大数据量的性能优化和存储优化的问题。     

SaaS模式下大数据量统计框架的研究和实现

与传统软件相比,在软件即为服务（SaaS）模式下做大数据量统计需要应对海量数据和高并发处理问题。针对实际SaaS项目中大数据量统计框架的设计和实现,研究如何解决大数据量实时统计的性能瓶颈问题,如何提高框架的可扩展性以应对多变的业务需求,以及如何保障框架的健壮性。实际项目运行表明设计的框架能处理SaaS模式下的海量数据和高并发,并能高效地实现统计数据的实时计算查询。     

OCR在大数据量文档处理系统中的应用

OCR技术在文档数据的大数据量 (如人口普查 ,考卷处理 )处理领域中的应用越来越广。本文对于这种应用特点进行了一般介绍。实际应用中 ,处理过程必须满足对大数据量的质量和速度要求。本文针对文档表格的设计 ,图像的定位 ,图像字符分割和识别所要注意的问题进行讨论并提出处理方案。最后 ,针对不同的数据结果精度的要求 ,提出了后续处理的原则和方法。     

大数据下的机器学习算法综述

随着产业界数据量的爆炸式增长,大数据概念受到越来越多的关注.由于大数据的海量、复杂多样、变化快的特性,对于大数据环境下的应用问题,传统的在小数据上的机器学习算法很多已不再适用.因此,研究大数据环境下的机器学习算法成为学术界和产业界共同关注的话题.文中主要分析和总结当前用于处理大数据的机器学习算法的研究现状.此外,并行是处理大数据的主流方法,因此介绍一些并行算法,并引出大数据环境下机器学习研究所面临的问题.最后指出大数据机器学习的研究趋势.     

基于哈希算法的增强编码位图数据方体索引的研究与实现

随着信息技术的蓬勃发展,信息技术应用领域的数据量也越来越大,数据仓库的运用也越来越广泛和普遍,特别是在大数据时代,随着数据量的增加,数据仓库管理的数据也越来越多,数据方体的数据量也越来越大,因此也给数据方体的存储和查询带来了巨大的挑战,怎样能够支持对大型数据方体的快速查询,又能减少存储空间,在联机分析处理系统将是非常关键的一环,通过基于哈希算法的增强编码位图索引技术能够有效地减少存储空间并且提高查询效率。     

云计算在物联网中的应用

现阶段,物联网正在大规模发展,其产生的数据量将会远远超过互联网的数据量,海量数据的存储与计算处理需要云计算技术。本文从云计算的基本概念、服务层次、关键技术及应用范围几个方面对云计算在物联网中的应用进行了探讨。     

引入信息预处理的多状态二进制改进算法

针对多状态二进制防碰撞算法通讯数据存在冗余的情况,引入信息预处理与阅读器部分接收机制。在识别过程只处理冲突位,阅读器只接收并记录标签部分数据,尽量避免数据重复发送与接收,状态标志根据不同指令做变化,减少交互次数,从而降低通讯数据量。采用Java进行算法模拟仿真,结果表明,在碰撞位不连续,碰撞位冲突率低于25%时,算法在减少通讯量方面,具有明显优势。若不计入预处理过程,该算法在任何碰撞位冲突率下通讯数据量都有较大优势。     

基于一种文件缓冲方式操作大数据量数据研究

众所周知,在大数据量环境下,数据库服务器的资源是昂贵的,混合核心数据和过程数据的后果就是资源被不重要的数据占用,导致整个系统性能缓慢、堵塞和资源的浪费.基于此,文中针对大数据本身特点和在实际应用过程中大数据量数据的管理和处理方面的问题,对大数据特点和管理方面进行了有效阐述和分析,同时针对大数据处理方面存在的问题,提出了...     

在数据库应用程序中轻松实现信息的智能化处理

数据的采集、录入和修改是数据应用的前提。数据库应用程序不仅要界面美观,而且数据的处理应具有快速、方便和系统的易用性。简化数据处理过程．是提高工作效率的最好途径。信息的智能化处理为简化数据量,提高系统的数据处理速度提供了保障。     

应用OCR技术的大数据量文档处理系统模型

OCR技术在文档数据的大数据量文档处理 (如人口普查 ,考卷处理 )领域中的应用越来越广。处理过程必须满足对大数据量的质量和速度要求。针对不同环境和性价比要求的系统模型方案给予了讨论。为发挥模型的最大功能对数据流中的流水线控制进行了介绍。