面向海量数据的数据一致性研究

复制是实现海量数据管理的关键技术之一,多副本之间的数据一致性维护是提高分布式系统的容错能力与性能的重要保证。强一致性确保并发的修改操作不会发生冲突,但是限制了系统的可用性、连通性以及副本数量;弱一致性确保副本的最终一致,提高了系统的容错能力。本文从已有的一致性维护方法出发,结合海量数据的特点,对一致性维护过程中所涉及的更新发布、更新传播方式、更新传播内容以及更新冲突解决等几个方面进行了分析,提出了相应的解决方法。     

经济、安全的海量数据生命周期管理方案

介绍了一种海量数据生命周期管理的解决方案.该方案采用三级存储架构,以数据库与文件相结合的方式存储数据.该方案自主管理数据备份、数据恢复、数据迁移、介质检查、介质修复等任务,并将生命周期管理的压力从服务器分解到工作站,使硬件配置更灵活.该方案节省了开发成本,提高了数据的安全性.该方案正应用于某军工项目,性能稳定运行良好.详细介绍了自主管理过程的设计与实现.     

智能电网海量信息数据检测关键技术分析

为满足智能电网对海量信息数据的检测需求,对基于调控云的智能电网海量数据检测的关键技术进行了研究,电网海量信息数据的检测基于对流通和传输的电网数据的分析结果.针对智能电网数据节点的电压和电流间的关系通过潮流计算方法的使用完成分析过程(以电网的导纳和阻抗为依据),电流与功率则根据电网的有功及无功注入完成计算,进而得到海量数...     

海量数据冲进数字图书馆

在海量数据对数字图书馆的冲击下,要求厂商不仅要有很强的实力,更要有非常强的本地化服务和支持能力。信息化的大潮中,山东体育学院的数字图书馆建设是先行者。早在1998年山东体育学院图书馆就已经开始实施信息化管理。2000年,山东体育学院图书馆便采用了1.7TB的存储系统,在将馆藏数字化的同时,更采购了6万册的数字图书,形成了数字图书馆的雏形。提出新要求经过几年的建设,特别是学院的数字信息资源加入“中国知网”之后,山东体育学院图书馆感觉到,原先的计算系统和架构已经日益“不堪重负”。具体到存储系统,山东体育学院图书馆提出,新的…     

海量数据袋中藏

最新上市的这些移动硬盘不仅拥有庞大的容量，还有丰富的新功能。让我们瞧瞧这种小型存储设备到底是什么样。     

数据空间中时间为中心的集合实体识别策略

数据空间是一个异构的环境,并且数据及模式具有随时间演化的特性。已有的实体识别技术很少考虑时间信息在识别中所起的作用,并且没有考虑实体随时间演化的特性。针对数据空间中具有时间信息的实体识别,提出了一个四阶段的时间为中心的集合实体识别策略(time-centered collective entity resolution,T-CER)。T-CER在实体识别过程的不同阶段都考虑了时间信息所起的作用,在识别阶段提出了基于时间的聚类算法(time-based clustering,T-Clustering),并使用基于时间的约束对识别结果进行检查,以获得更精确的识别结果。在真实数据集上的大量实验结果表明了T-CER的可行性和有效性。     

IT经济使经济学家尴尬

一些经济学家面对快速发展的中国IT经济，缺乏深入分析、研究和创新的学术精神，从而在社会大众面前显得口齿不清。     

海量数据查询优化算法的研究

当前,越来越多的业务部门都需要操作海量数据,如规划部门的规划数据,水利部门的水文、水利数据,气象部门的气象数据,这些部门处理的数据量通常都非常大。它包括各种空间数据、报表统计数据、文字、声音、图像、超文本等各种环境和文化数据信息。我们需要从大规模的、没有关系的数据中,在存储、管理、处理、优化等各个环节中注重效率,并提取出所需要的信息。海量数据存储管理在各行业的信息化过程中很重要,受到广泛的关注。本文综述了海量存储管理技术的研究及应用现状,以及结合大型收费系统同,介绍了一些关键的优化技术,包括数据库的存储,数据的管理,SQL语句,页面分割等,最后,结合当前海量数据存储管理技术,指出了海量数据存储管理面临的一些新的发展方向。     

面向RFID海量数据的数据挖掘研究

自20世纪90年代以来,射频识别技术RFID开始在各种领域得到应用。近几年,RFID凭借其方便快捷、使用寿命长等优点,在各行业的使用范围迅速扩大,物联网的提出更是加速了RFID的发展,RFID已经成为了20世纪最重要的技术之一。面对RFID产生的海量数据,传统的数据挖掘方式已不再满足信息获取的需要。该文简单介绍了RFID系统,并通过分析RFID数据的特点,对RFID海量数据挖掘做了一些探讨。     

海量数据搜索

目前,信息化建设存在的问题是:数据信息利用不充分,大量的数据仅以物理状态被简单地存储着.同时由于无法实现海量数据的高效搜索,使得这些数据无法为企业的发展提供决策支持.如何突破海量数据存储和搜索的瓶颈,让数据为企业决策提供支持已经成为信息化建设的重点.通过数据"变革"使得数据能够更合理的存储、更高效的搜索,智能地使用企业的数据财产来制定出更好的商务决策,以提高企业的竞争力.     

基于Hadoop框架的海量数据运营系统研究

本文基于Hadoop框架设计了海量数据运营系统。首先简要介绍Hadoop框架,其次设计系统整体架构,再次详细分析系统关键技术,然后详细设计数据流程、功能模块、数据库结构,最后进行系统测试与实现。结果表明,此系统可兼顾潜在与既有电力客户,实时更新动态数据,且可通过大数据思维充分挖掘企业数据资产价值,为企业作出正确决策奠定坚实基础,以此推动企业实现长远健康发展。     

促进信息技术于教育领域深层次应用的科学提问——关注“李克东难题”的前前后后：弦音激荡，余音绕梁

蒸汽机的发明推动了工业革命的到来,计算机的发明引领了第三次科技革命,进入新世纪,网络的广泛应用、信息技术的发展,更是带来了无数的改变．在改变的同时,也引出了许多新的思考、新的难题。     

网商竞争力的清明上河图

网商在信息革命中的地位，一点不亚于工厂在工业革命中的地位。     

海量数据处理中的网格技术应用

网格是继Internet和Web之后第三次信息技术革命,最终将改变分布式资源的共享和服务方式。该文主要讨论了海量数据的产生、存储、处理,以及其对数据网格技术的需求,分析了欧洲数据网格和LHC计算网格的功能,并探讨了网格技术研究的最新情况。     

论大数据时代的计算机信息处理技术研究

随着科学技术的进步,计算机信息处理技术和互联网技术几乎同时得到迅速可观的发展.当今,人们收到的各类信息逐渐增多,对新信息的存储需求也相应上涨.伴随着信息和数据的"大数据"时代已经到来,计算机处理技术已成为大众的眼中焦点,这有利于促进网络技术的进一步发展.因此,研究"大数据"时代的计算机信息处理技术就显得格外重要.本文根据计算机信息处理技术和大数据时代等等进行分析!     

面向海量数据应用的物联网信息服务系统研究综述*

物联网信息服务系统整合了基础设施层获取的海量数据,是面向各类物联网应用提供跟踪、监测和控制等信息服务的关键平台。阐述了物联网海量数据处理技术,包括存储、预处理和数据挖掘;总结了物联网信息服务系统在系统安全、隐私保护和可信性方面的安全保障机制;从系统架构、实现技术和系统实践三个方面,探讨了物联网信息服务系统的设计。最后,展望了这一领域面临的挑战和有待进一步研究的方向。     

一种海量数据生成方法

目前还没有得到广泛认可的DBMS数据生成框架.本文发展已有的数据生成方法,建立一种海量数据生成框架.提供了自定义的函数和表达式,在数据序列的基础上进行迭代操作,并在数据序列迭代和RDBMS间建立联系,加入数据非一致性程度控制机制,分析了多个迭代节点简单引用和复杂引用的情况,建立起迭代模型,给出了多个迭代节点有多个引用的解决方法,尽管有一个附加的负载,但可以避免缓冲.提出把迭代可转换为SQL的数据生成语言,可灵活生成不同的数据模式以及多粒度非一致性数据.实验参照测试基准数据模式,结果表明方法是有效的.     

大数据时代管理模式的创新

在“大数据”时代,数据不仅仅由互联网产生,汽车、物流、工业设备、道路交通监控等设备上装有无数的传感器,其产生的数据信息也是海量的,从TB级别跃升到了PB级别,这也就是说传统的数量级已经无法衡量如今社会各行各业产生的庞大数据了。对于大数据,更重要的含义是指处理这些海量数据的技术——如何挖掘出这些数据蕴含的巨大的商业价值,如何实现本行业的价值增值。     

MDM：掘金海量数据

企业机构需要一个单一、完整、可信的客户数据视图,为销售、营销和客户服务等团队提供动力。