大数据环境下的软件测试研究

软件测试是为了发现软件运行周期中出现的错误而执行软件的完整过程.传统软件测试主要数据类型是结构化的二维表,大数据环境下的软件测试体现在含有更富有价值的非结构化数据和半结构化数据.首先阐述二者测试各个方面的差异性;随后论述了大数据环境下软件功能性测试和非功能性测试的步骤环节,其中功能性测试包括了数据预处理验证、MapRe...     

大数据检索及其在图像标注与重构中的应用

随处可见的云储存与计算功能,这样的一种背景加快了大数据的发展速度,所以,在网络管理时,要求进行相关大数据信息内容的获取,让人们能够更快更好的完成数据信息检索,按照具体的调查结果显示,大数据里有超出半数都是一种非结构化的数据内容,并且当前很多非结构化的数据形式都是文字和图像形式储存。大数据整体被分成了很多各异的内容,分别保存在不同的服务器里,在主服务器上也会出现与其相对的储存元数据,基于此本文主要针对大数据检索及其在图像标注与重构中的应用进行分析,希望能够促进我国科学技术的发展。     

数据仓库与大数据融合的探讨

针对传统企业对非结构化数据缺乏有效利用的问题,探讨了基于数据仓库与大数据融合的企业大数据解决方案.根据数据仓库建设理论和下一代企业级数据仓库架构,利用Hadoop技术进行非结构化数据的收集、处理及存储,通过与传统数据仓库和BI工具共同协作,解决企业大数据应用困难的问题.数据仓库与大数据技术的融合解决了传统企业数据处理的障碍,从而推动大数据项目的实施.     

云计算下非结构化大数据存储系统设计

当前云计算下非结构化大数据存储系统设计方法是通过使用分布式数据库存储跨区域的云计算数据和全局数据存储管理目录实现的,运行系统复杂,成本高昂。为此,提出基于HBase的云计算下非结构化大数据存储系统设计方法,首先对云计算下非结构化大数据进行分析,完成云计算下非结构化大数据提取,为云计算下非结构化大数据存储系统框架设计创造条件,并介绍HBase的特点,得到基于HBase非结构化大数据存储系统架构及运行流程,然后进行云计算下非结构化大数据存储结构模型总体设计及非结构化大数据分布式结构分析,采用负载均衡控制方法进行云计算下非结构化大数据存储系统冗余数据特征压缩及信息存储优化算法设计,完成云计算下非结构化大数据存储系统设计。通过仿真实验证明,所提方法能够有效降低云计算下非结构化大数据存储花费的时间,保证存储的数据可用、不丢失,方便云计算下非结构化大数据的使用,具有较强的使用价值。     

舆情监控系统的设计与实现

本文初探舆情监控系统的设计与实现,从开源框架Heritrix技术着手,对互联网新闻、论坛、微博、网站等数据源进行数据抓取;研究了正则表达式技术,基于DOM规范的网页树实现对网页数据的噪音过滤,抓取有价值的结构化数据;随着爬取数据的不断递增,研究当前大数据环境下的Lucene全文搜索引擎技术,实现海量非结构化数据的高速检索.     

试论大数据在无线网络优化中的应用

大数据是指海量、复杂的数据集合,采用现有的软件工具还不能进行提取、存储和处理。由于大数据包含结构化的信息,也包含非结构化的信息,所以使用一般的技术不能正常的进行管理。将其应用在无线网络中,可以有效地提升网络运行的质量,可以建设更加优化的网络平台,大大增强网络平台的多样化功能。     

游戏大数据平台研究与实践

立足于游戏平台数据快速处理需求,构建基于分布式+关系数据混合多元的大数据处理架构,针对高价值密度的结构化数据采用关系数据处理;大量无序的非结构化数据采用分布式机制处理.两种类型数据实现有序化后,统一交予传统关系数据库构建关系化模型并展示,既能实现关键经营分析数据的高效处理,又能满足无序的日志数据规模化处理需求.通过剖析其总体架构、主要功能和关键技术,从而为其他业务平台大数据分析建设和改造提供借鉴和参考.     

基于Hadoop的气象数据分布式存储技术研究

针对目前气象数据存储所面临的海量扩张、高并发读写、结构化和非结构化数据并存以及长时间序列和大数据集检索效率低下等问题,提出了以Hadoop开源框架为基础的气象数据分布式存储方案.通过对气象数据自身属性和特点进行分析,得出了气象数据在经过充分优化的基础上,在分布式存储框架中具有很强的适应性和规模化应用的潜力;并在HBas...     

基于关系数据库的XML映射和数据导入算法

XML是一种典型的半结构化数据,它既能表示关系、对象等结构化的数据,也能表示Web这样的半结构/非结构的数据,在数据交换和集成中得到大量应用.关系数据是一种最常见的结构化数据,许多数据库厂商都提供了关系数据<->XML映射中间件.文章研究了XML到关系数据库的映射算法以及在此基础上基于SAX的XML数据到关系数据库的导入算法.     

面向大数据的数据服务中心设计与应用研究

大数据管理对传统的基于关系数据库管理系统为核心的数据管理服务平台提出了挑战,研究开发支持结构化和非结构化数据统一管理的数据管理与服务中心成为一项非常迫切并且重要的任务,汇总分析出大数据服务中心四项关键技术,采用可配置泛化表模型等技术,设计了基于Hadoop平台的数据服务中心系统原型BIG-DMS和基于BIG-DMS的数据综合服务平台应用方案,支持结构化和非结构化数据的统一存储、管理和访问服务。     

以基于组件的协同设计推进新型产品系统工程体系建设方法的研究

文中主要阐述了基于组件的协同设计思想,采用显性化和结构化手段,将新型产品设计的技术要素以一种计算机可识别、可计算、可关联、可认知的形式,结构化地表达成人们可直接使用的各种模板,实现产品技术知识的快速转化、高效率传递及设计工具的重用,形成基于组件的协同设计框架,推进新型产品系统工程研发体系建设的相关研究思想。     

浅谈基于Hadoop平台的大规模数据排序

据IDC统计,2011年全球处理的数据量达到1.8 ZB,预计到2020年达到40 ZB.如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一.商业数据、科学数据和网页数据这3类海量数据的异构性(充满着非结构化、半结构化和结构化数据)进一步增加了海量数据的处理难度.海量数据排序是海量数据处理的基本内容之一.Hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序,获得Daytona类GraySort和MinuteSort级别的冠军.本文在设计层面上对Hadoop平台上海量数据排序策略进行分析.     

基于数据中心的公安大数据应用研究

面对公安业务产生的海量结构化和非结构化数据,需要研究新型的大数据处理方法.按照公安行业技术规范,研究数据中心平台架构,并完成平台设计与实现.针对各警种业务对大数据定制服务、模型研发的需求,构建匹配公安业务场景的大数据系统.结合应用实例,构建基础设施云环境和混合存储环境,实现对大数据资源存储、整合、管控、共享服务及应用的支撑,并通过大数据资源服务对内外部数据资源进行汇聚、清洗、管理、挖掘分析.最终实现公安大数据的智能信息处理,达到公安大数据实战应用的目的.该研究成果已成功应用于全国公安数据标准化试点城市河北省邯郸市公安局大数据平台建设项目,能够为公安大数据应用提供借鉴.     

基于粒子群算法的高压电缆通道大数据监测系统设计

受到冗余的、非结构化的大数据影响,高压电缆通道大数据监测精准度较低,为了解决该问题,提出了基于粒子群算法的高压电缆通道大数据监测系统设计.通过CAN现场总线进行嵌入式上位机人机交互,在LPC2292型号监测控制器中添加一片NOR型Flash,实现系统复位;引入提取粒子群算法,滤除异常大数据,找到最优解,避免受到冗余数据...     

探讨大数据时代的高清视频监控存储

作为云时代海量数据的来源之一,安防视频监控行业产生了海量的非结构化视音频数据和相关数据的存储、管理、分析等应用的要求。文章介绍了大数据下的云存储技术,同时对视频安防监控行业的新技术——云直存技术做了简要介绍。     

基于车联网的大数据应用研究

大数据技术具有数据处理量大、可处理非结构化数据、实时性高等特点.针对交通安全问题,提出将大数据技术应用于车联网中数据采集、数据分析和数据处理的问题.基于大数据技术,管理所有系统数据资源,并进行各种智能化数据分析处理.立足于为车联网提供智能支撑,让用户体验到交通管理智能化.     

探索云数据中心在证券行业的网上证券中的应用

对券商的网上证券业务来说,云数据中心除了可以提供类似IDC托管机房的互联网接入、主机托管等传统服务外,还可以提供虚拟化主机及云计算、大数据处理等高科技服务;网上证券系统需要从海量的结构化、非结构化数据源中筛取并形成满足客户需求的成品数据：网上证券的量化资讯系统需要大数据处理,特色交易系统需要云计算,行情系统需要虚拟主机;具有云计算、大数据处理的云数据中心在网上证券的应用,不但可以快速、高效满足客户需求,通过服务外包,还有利于券商优化管理、节约成本,让券商专注于核心业务的开拓发展。     

大数据技术发展趋势及灯塔大数据行业应用平台

指出大数据发展的趋势:混合数据存储是大数据技术的基础;融合数据库架构是大数据发展的趋势;异构数据关联是大数据平台的关键;行业知识库是产业互联网应用发展的要素;深度标签是大数据挖掘的核心技术之一。介绍了中国电信灯塔大数据行业应用平台的架构,及所采用的关键技术和行业应用,认为该平台的使用可以充分发挥运营商数据与外部数据相结合的优势,加速产业升级和商业模式创新。     

云平台下的NoSQL分布式大数据存储技术与应用

随着移动互联网云计算、大数据的快速发展,以图片、视频等组成的数据存储急剧增加,目前已有存储方式无法满足系统需要,而No SQL分布式大数据存储技术因其具有可扩展、快速读取、海量处理等特点,其在云计算领域如雨后春笋般被广泛应用。采用基于Hadoop平台和No SQL的Mongo DB数据库技术设计非结构化数据云存储架构,证明云存储的非结构化数据存储技术可缓解当前非结构化数据存储面临的难题,提升非结构化数据存储服务质量。     

投资统计大数据处理关键技术

大数据主要包括结构化数据、非结构化数据两部分,目前已具备应用价值大、数据量大、速度快等特点,这些特点对今后投资统计数据处理技术将带来颠覆性变化,为此,本人结合从事多年统计数据处理经验,重点阐述投资统计大数据在数据采集、存储和分析涉及的主要关键技术。