基于SQL-on-Hadoop的分布式广电数据仓库的设计与实现

为解决传统数据仓库扩展能力弱,不支持非结构化数据的问题,江苏有线结合实际应用情况,基于SQL-on-Hadoop技术实现了分布式的广电数据仓库TRAF。TRAF融合了传统数据仓库与Hadoop技术,可以同时存储结构化和非结构化数据,具备良好的扩展能力。TRAF在HBase框架之上构建支持多重查询嵌套和多级索引ANSI SQL标准的查询接口,实现海量用户行为的实时分析;采用通用x86服务器替代原有小型机存储,大幅降低了系统构建成本。测试结果表明,数据量在10亿条时,TRAF的处理速度比传统关系型数据仓库提升了5倍,同时构建成本降低了50%,有效提升了广电数据分析系统的应用水平。     

数据仓库技术在成人高校招生系统中的应用

讨论了如何建立成人高校招生录取数据仓库,如何根据分析主题的不同去设计不同的多维数据模型及实现的过程,给出了成人高考数据分析系统的需求分析,提出了系统的总体设计方案、数据仓库模型设计和O-LAP模型设计,并使用VB和SQL Server实现了该分析系统,为今后制定宣传策略、设置专业类别和专业人数等方面提供参考和依据。     

基于数据仓库的数据分析系统研究

在介绍了数据仓库、联机分析处理 (OLAP)、数据挖掘技术理论的基础上 ,提出了一个基本的基于数据仓库的数据分析系统模型 ,并简要阐明了它的实现方式。     

数据处理技术在CRM系统中的应用

针对国内电信运营商在CRM(客户关系管理)系统中对数据处理要求的日益提高及数据处理技术的重要性,分析数据仓库技术在通信领域的应用前景。详细介绍数据仓库技术的特点和体系结构,并对数据仓库系统的设计、OLAP(联机分析处理)技术以及基于Hadoop架构的大数据处理技术进行探讨。     

基于Hadoop技术的加速器大数据安全存储与高效分析系统设计

为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬件架构以及将数据从现有数据库抽取、转换和加载到数据仓库的方案。特别是针对系统归档数据的存储和分析需求,根据实际应用场景设计一个基于HBase的存储解决方案。在系统部署完成后,进行了吞吐量测试,并与当前使用的传统数据库进行性能对比。测试结果显示,基于Hadoop的数据仓库系统在海量数据存储、高性能查询以及数据分析处理方面都表现出明显的优势。这一改进为加速器控制系统提供了更强大的数据管理和处理能力,有望为加速器在未来的发展提供更多可能性。     

基于Hadoop的交通数据分析系统

为了保证交通数据处理的实时性和存储的扩展性,文中设计并实现了一种交通大数据分析系统,其中Hadoop平台利用MapReduce并行分布式计算对车辆数据进行统计分析;另一个Storm平台利用其流计算组件对实时路况进行分析,两个模块协同作用,能对缓解城市交通拥堵起到一定的作用。通过测试表明,系统可靠性
较高、计算速率快,能达到支持决策的作用。     

基于客户咨询的手机邮件营销系统设计与实现

提出一种基于中国移动10086客户咨询数据的手机邮件营销系统的设计及实现方案,该系统由数据归一化、邮件生成、业务办理、统计分析4个关键模块组成,有效贯通了10086客服系统、大数据分析系统及业务办理系统,实现全流程闭环管理.使用效果表明,该方案可以有效提升客户服务感知,节省营销成本,提高业务收入.     

基于OLAP的高校数据分析与决策支持系统研究

基于Mahout的高校数据分析与决策支持系统,存在高校数据处理速率低、用户满意度差的弊端,设计基于OLAP的高校数据分析与决策支持系统,采用雪花模型根据不同主题设计数据仓库模块,缩短维表与反应表的连接用时,实现对高校数据仓库信息的高效查询处理;通过联机分析处理OLAP模块采用切片、切块、钻取和旋转操作实现面向高校数据的分析、归纳和总结;系统软件部分通过OLAP多维引擎,采用切片模块、立方体模块和表示模块将多维分析请求的分析结果以报表或图形的形式发送给用户,实现用户对高校数据分析与决策分析的需求。实验结果表明,所设计系统在更新关联内容用时、查看分析结果用时和文档导出用时均较短,且实际用户的满意度较高。     

云计算在电信行业数据分析领域的应用

文章首先介绍了当前最热门的计算机技术之一——云计算技术,然后分析了将云计算应用于电信数据分析领域的可能,对Hadoop云计算平台作了描述,阐述了基于Hadoop的电信业务数据分析系统的构建及其优势。     

基于Hadoop架构可信云平台评估与预警机制研究

针对基于Hadoop架构云平台客户端接入服务中行为的不可靠性问题,设计了云平台中安全管理模块,包括身份认证模块、行为监控模块、风险评估模块和系统预警模块四个模块,可以有效防止群体拒绝服务攻击,提高云安全平台的服务质量。     

基于FPGA的报文数据分析模块的设计

网络报文数据的记录和分析在智能化变电站中尤为重要,通过对整个通信过程的记录可以为事故分析及运行维护提供依据。本文提出了一种基于FPGA技术、结合相关通信协议的报文数据分析系统的设计方案,实现了报文数据分析系统的各功能子模块,通过仿真运行验证了系统良好的处理能力。     

基于数据仓库的公共财政数据分析系统设计

<正>公共财政数据包含各个业务流程操作积累的大量数据信息，比如客户信息、资料、账目、订单、账目、交易信息等，数据分析系统利用数据仓库技术，以便更好的协助公共财政业务发展，为上层决策提供快速判断依据。本文针对公共财政数据分析系统设计中数据仓库的应用做出分析，首先介绍数据仓库的定义及该技术的应用机制；其次介绍数据仓库技术基础，并且从系统设计与建构、系统配置、系统测试三个方面做出分析，建构系统设计方案，发挥数据仓库技术优势，建立健全数据分析系统，旨在提高公共财政数据分析效率。自从我国开始实施财政改革，     

基于Hadoop的Web医疗咨询数据分析系统的实现

相对传统的分布式数据库和数据仓库技术,Hadoop和MapReduce技术以其简单性、良好的可扩展性和容错性成为当前大规模数据处理的主流技术之一.而Hive等软件产品在Hadoop基础上实现了与关系数据库的接口模式,从而进一步改善了Hadoop的易用性.数据存储使用Hadoop分布式存储,使用Hive特有的数据库语言HiveQL实现数据的查询以及分析操作.最后使用Java JFreeChart实现结果可视化,将结果以柱状图的形式显示出来.由于使用Hadoop作为基础,数据的查询分析速度更快,能够更好地与系统后台对接,方便管理者操作.     

高校毕业生就业大数据分析系统的设计与实现

大数据背景下如何指导高校毕业生就业,预测就业趋势,是高校和毕业生所关心的问题。本系统采用平台软件和后台数据库,基于Hadoop建立多模块数据读取机制,采用HDFS分布式存储系统对海量毕业生就业数据进行存储,使用B/S模式结构实现多路径的设置,通过SQL代码的数据读取模式设置,实现多路径读取就业信息,并通过hive数据仓库和MapReduce计算模式进行大数据分析的预测系统设计。该系统对某高校近三年毕业生就业情况的分析,给出本年度的就业形势预测,为职能部门和毕业生的就业提供指导。平台设计采用开放式体系结构,使系统具有更好的可移植、可扩展、可互操作、可剪裁性,提高了系统的可集成性和集成效率,方便升级。     

银联数据仓库系统中ETL的设计和实现

针对银联数据的特点，设计实现了银联数据仓库ETL系统。该系统采用模块化的设计方式，增强了系统的可控性和灵活性。元数据模块使ETL系统能够灵活地适应银联业务逻辑的频繁变化；调度模块采用线程池技术．改进了以往多线程技术，提高了数据抽取的效率和系统资源的使用率；日志、监控信息及通知模块解决了系统出错快速恢复的问题。测试表明该ETL系统很好地满足了银联的需求。     

基于数据仓库的电信行业经营分析系统关键技术探讨

基于数据仓库的电信行业经营分析系统关键技术探究,明确了经营分析系统以及数据仓库的基本概念,通过建立数据仓库模型、ELT设计以及具体实现,探索了基于数据仓库电信行业经营分析系统的关键技术,对系统的发展和优化有着重要的作用,具有较高的实际意义和研究价值。     

基于Hadoop的网络行为大数据安全实体识别系统设计

为解决大数据网络的负载拥塞问题,设计基于Hadoop的网络行为大数据安全实体识别系统。在Hadoop分布式框架中,规划网络行为大数据接收模块与识别发送模块的从属位置,实现网络行为大数据安全实体识别系统的硬件运行环境搭建。在此基础上,分析实体识别地址,在保持良好均衡处理结果的条件下,对识别信息进行导入导出与存储处理,实现系统软件运行环境搭建,结合基础硬件执行条件,完成基于Hadoop的网络行为大数据安全实体识别系统设计。对比实验结果表明,与理想状态下的识别系统相比,应用基于Hadoop的安全实体识别系统后,大流网络通道的占用率明显下降,单位时间内分流转发的安全信息总量提升,大数据网络的负载拥塞现状得到有效缓解。     

基于大数据平台的瓶装液化石油气信息管理系统设计

常规AP信息管理系统信息管理能力较差,不能适应瓶装液化石油气贸易产业的发展。基于此设计了基于大数据平台的瓶装液化石油气信息管理系统。硬件设计中,设计了Hadoop芯片与Web集成器;软件设计中,建立瓶装液化石油气信息功能管理模块;在此基础上,基于大数据平台设计管理系统数据库,完善液化石油气的信息管理数据;进而实现瓶装液化石油气的信息管理。实验结果表明,提系统运行良好,信息管理能力较好。     

基于XML的监测系统数据转换接口的设计与实现

采用XML数据交换方法,设计了一种基于R&SARGUS频谱监测系统的数据转换接口,实现了监测参数和监测结果数据从ARGUS监测系统到用户设计的数据分析系统的转换。     

一种面向Hadoop中间数据存储的混合存储系统

针对Hadoop的Reduce阶段的I/O性能瓶颈,设计了针对Hadoop中间数据存储的设备同层混合存储系统。该系统包含数据映射和数据迁移两大模块,其中数据映射模块主要负责I/O请求重定向及维护元数据,数据迁移模块利用闲时进行数据迁移,提高SSD的利用率。实验结果表明,该混合存储系统能够缓解Hadoop的Reduce阶段的I/O瓶颈并提升该阶段的整体性能。