基于频率评估系统的ETL优化与小区性能评估研究

针对频率评估系统中的ETL处理过程效率较低的问题,在分治算法和贪心算法思想的基础上,提出了一种优化算法——DC-Greedy算法.通过在评估系统中对小区数据进行处理后,基于主成分分析法,研究了单个小区综合性能的评估策略.ETL处理时间和小区综合性能评估值的仿真结果表明,对比一般情况下ETL的穷举处理过程,经过优化后ETL处理效率明显提高;对小区评估策略的评价结果表明该评估方法可以完整地反映小区的综合性能,评估结果图能较直观地呈现小区综合性能水平,达到了预期研究目标.     

一种基于改进的链式MapReduce的并行ETL应用

介绍了并行ETL 的相关工作和常见的处理多MapReduce 作业流程的方法;提出一种改进的链式MapReduce 框架,并将此框架应用于一个并行ETL 工具,同时提出一些针对ETL 处理的流程级优化规则,使ETL流程产生更少的MapReduce作业,从而减少I/O以及网络传输的消耗;利用某省份手机上网数据与Hive进行了大数据对比实验,结果表明,本ETL工具的性能平均比Hive快10%～20%。     

基于Hadoop的电信大数据采集方案研究与实现

ETL是数据仓库实施过程中一个非常重要的步骤,设计一个能够对大数据进行有效处理的ETL流程以提高运营平台的采集效率,具有重要的实际意义.首先简单介绍某运营商大数据平台采集的主要数据内容.随后,为提升海量数据采集效率,提出了Hadoop与Oracle混搭架构解决方案.继而,提出一种动态触发式ETL调度流程与算法,与定时启动的ETL流程调度方式相比,可有效缩短部分流程的超长等待时间;有效避免资源抢占拥堵现象.最后,根据Hadoop和Oracle的系统运行日志,比较分析了两个平台的采集效率与数据量之间的关系.实践表明,混搭架构的大数据平台优势互补,可有效提升数据采集时效性,获得比较好的应用效果.     

一种改进的分布式ETL作业调度方法实现

针对如何有效地处理、分析和管理大数据的问题,研究提出一种基于大数据场景中的分布式ETL作业调度方案,将多源异构的数据统一抽取,进行清洗、转换、集成加载到数据仓库,改进后的ETL比传统的开源工具提升了性能和可靠性.     

ETL技术的装备大数据治理应用

文章针对ETL技术下的装备大数据治理应用进行研究,获取相关的数据信息,主要目的就是帮助军用和民用装备领域能够更好地处理数据融合方面的问题.基于此,文章提出一套较为详细的治理方案,涵盖清洗服务、数据抽取和加载等方面的内容,同时在现有技术基础上提出标准统一和增量抽取等应用技术,这些都将为数据高效融合提供重要的途径.     

商业银行稽核系统的ETL设计及改进方法

在数据仓库项目的实施中,为了实现整个ETL过程的顺利执行,需要针对单个ETL过程和整个数据流程进行协调调度处理,以保证数据按照我们的转化规则和业务逻辑正确地进入数据仓库.本文介绍某银行稽核系统ETL的设计方法,并给出一些改进的建议.     

智能电网环境下电能计量大数据智能多维分析

针对目前现有的电能计量数据分析系统处理效率低下、计算周期过长和性能差等问题,设计出一套基于大数据技术的计量装置智能多维分析系统。该系统SQL分析通过Spark SQL实现,来弥补复杂HQL转换成Map Reduce任务后计算时间长的问题;数据采集预处理方面采用基于合区聚合法ETL技术,解决了传统ETL技术处理效率差的问题;多维分析方面则采用基于关联规则的What-if分析方法,解决了传统多维分析性能差的问题。实验表明,该方案具有效率高、编程简单、易操作、性能好等优点,保证了电能计量数据分析系统稳定性。     

数据仓库ETL任务调度的一种改进算法

本文提出了一种基于遗传算法的ETL任务调度改进算法。由于ETL调度子任务之间具有先后顺序的限制,传统遗传算法不能很好的适应。本文通过对传统遗传算法的各个步骤进行相应处理,得到一种改进的ETL任务调度算法;实际应用结果表明调度算法显著提高了处理ETL子任务的效率。     

基于数据关联分析的ODN弱光处理研究与应用

ODN网络是连接局端OLT和用户ONT之间的光路通道,该链路质量直接决定用户有线业务感知.为优化网络质量,需要对ODN弱光,即ODN光路损耗过大进行处理.原有处理方法缺乏有效预判和指导,处理过程中耗费大量人力和时间.结合ODN网络结构的特点和网管系统采集的网络质量数据,提出一种基于数据关联分析的ODN弱光处理方案.经过...     

移动增值业务讲座 第1讲 基于ETL的彩铃经营分析系统设计与实现

在研究ETL(Extract,Transform,Load)流程的基础上,结合电信运营数据的特点,分析了ETL思想在彩铃业务数据分析领域中的应用,设计和实现了彩铃经营分析系统。该系统利用数据采集和处理的思想进行架构设计,支持可扩展的营销数据分析和呈现。试运行表明,该系统可以对运营数据资源进行充分挖掘,提升电信客户价值。     

非结构化数据的ETL设计

为了实现非结构化数据的ETL处理,分析了数据整合的发展现状和业务需求,描述了目前国际流行的公共仓库元模型（CWM）以及在ETL实现中的作用,详细分析了结构化数据和非结构化数据的不同特点。针对两种数据的差异,提出了解决非结构化数据的属性提取和数据打包的方法,为非结构化数据形成元数据奠定了基础,从而实现了非结构化数据的ETL设计,设计完全满足标准的数据整合要求。     

基于Hadoop的分布式ETL系统研究

针对传统数据抽取、转换及加载(ETL)工具集中式执行的不足,设计实现了一种基于Hadoop平台的分布式ETL系统。该系统采用分布式文件系统存储和映射-规约并行处理海量数据架构,实现了ETL作业的分布式执行,提高了ETL效率,为大数据环境下的基础数据加工提供了解决方案。     

采用云计算技术的网络流量检测

为了实现对现网大数据网络流量的实时、有效检测,提出了一种基于云计算的网络流量检测方案。该方案充分利用Hadoop平台Map/Reduce编程模型在海量数据处理方面的优势,采用分层化的设计思想,克服了传统检测方案在海量数据应用环境中效率低下、可扩展性与安全性不足的缺点。重庆移动DPI平台应用表明,该方案较为有效,流量检测效果良好,在大数据处理时效率较普通分布式处理有明显提高。     

5G低轨卫星两步随机接入方案及其FPGA实现

为了实现低轨卫星通信系统高效率低时延的用户接入,提出了适用于低轨卫星系统的两步随机接入方案,对随机接入信道的数据发送、信道结构、前导码设计以及映射关系进行了设计,并进行了现场可编程门阵列（Field Programmable Gate Array,FPGA)实现。针对传统MAX-LOG-MPA算法FPGA处理时延长的问题,提出了一种节点并行迭代更新的FPGA接收机设计来降低处理时延。仿真结果验证了所设计的信道结构以及FPGA实现的可行性,相比传统接入方式可接入的用户数量更多,同时采用并行节点迭代更新的接收机将迭代处理时延降低为1/6。     

Design considerations for databus charge recovery

The charge recovery databus is a scheme which reduces energy consumption through the application of adiabatic circuit techniques. Previous work gives a solid theoretical analysis of this scheme, including quantitative data assuming random bus values. We extend this earlier work by presenting a quantitative analysis of the charge recovery databus using 15 benchmarks and four high level bus coding schemes. We show that a very simple implementation of the charge recovery databus is capable of reducing average energy consumption by 28% beyond traditional high-level bus encoding techniques. In addition, we examine delay and energy consumption in the added hardware     

MPGE4视频解码过程中图形处理的实现和优化

介绍了MPEG4编解码标准、MPBG4视频解码流程、播放器的架构以及播放数据的流程.重点介绍了在视频解码的过程中图形处理部分的实现以及优化方案。数组存储的方式和部分IPP函数的移植是有效的优化方式。通过图形处理部分测试数据可以整体评测。优化后的视频已经达到了流畅播放的产品级要求。