共查询到16条相似文献,搜索用时 140 毫秒
1.
2.
3.
基于Hadoop的电信大数据采集方案研究与实现 总被引:1,自引:1,他引:0
ETL是数据仓库实施过程中一个非常重要的步骤,设计一个能够对大数据进行有效处理的ETL流程以提高运营平台的采集效率,具有重要的实际意义.首先简单介绍某运营商大数据平台采集的主要数据内容.随后,为提升海量数据采集效率,提出了Hadoop与Oracle混搭架构解决方案.继而,提出一种动态触发式ETL调度流程与算法,与定时启动的ETL流程调度方式相比,可有效缩短部分流程的超长等待时间;有效避免资源抢占拥堵现象.最后,根据Hadoop和Oracle的系统运行日志,比较分析了两个平台的采集效率与数据量之间的关系.实践表明,混搭架构的大数据平台优势互补,可有效提升数据采集时效性,获得比较好的应用效果. 相似文献
4.
支文瑜 《信息技术与标准化》2021,(4):32-35
针对如何有效地处理、分析和管理大数据的问题,研究提出一种基于大数据场景中的分布式ETL作业调度方案,将多源异构的数据统一抽取,进行清洗、转换、集成加载到数据仓库,改进后的ETL比传统的开源工具提升了性能和可靠性. 相似文献
5.
数据从来源端经过抽取、转换、加载至目的端的过程称为ETL。在三网融合和5G移动业务广泛开展,运营支撑系统数据库数据量日益增大及数据个性化需求增多的背景下,海量数据自动化处理及可视化实现成为迫切的需求。本文介绍了当下主流数据ETL的过程节点与技术方案,并经过多种方案的综合对比,最终选取Python+Kettle+Streamlit模块技术方案的开发应用。该方案解决了数据ETL依赖人工及时效性不高的问题,减少了数据开发人员重复编写大量SQL及数据脚本工作量,节省了大量运营维护时间,实现数据结果集直观展示。 相似文献
6.
商业银行稽核系统的ETL设计及改进方法 总被引:2,自引:2,他引:0
熊志正 《微电子学与计算机》2005,22(3):159-161
在数据仓库项目的实施中,为了实现整个ETL过程的顺利执行,需要针对单个ETL过程和整个数据流程进行协调调度处理,以保证数据按照我们的转化规则和业务逻辑正确地进入数据仓库.本文介绍某银行稽核系统ETL的设计方法,并给出一些改进的建议. 相似文献
7.
针对目前现有的电能计量数据分析系统处理效率低下、计算周期过长和性能差等问题,设计出一套基于大数据技术的计量装置智能多维分析系统。该系统SQL分析通过Spark SQL实现,来弥补复杂HQL转换成Map Reduce任务后计算时间长的问题;数据采集预处理方面采用基于合区聚合法ETL技术,解决了传统ETL技术处理效率差的问题;多维分析方面则采用基于关联规则的What-if分析方法,解决了传统多维分析性能差的问题。实验表明,该方案具有效率高、编程简单、易操作、性能好等优点,保证了电能计量数据分析系统稳定性。 相似文献
8.
本文提出了一种基于遗传算法的ETL任务调度改进算法。由于ETL调度子任务之间具有先后顺序的限制,传统遗传算法不能很好的适应。本文通过对传统遗传算法的各个步骤进行相应处理,得到一种改进的ETL任务调度算法;实际应用结果表明调度算法显著提高了处理ETL子任务的效率。 相似文献
9.
ODN网络是连接局端OLT和用户ONT之间的光路通道,该链路质量直接决定用户有线业务感知.为优化网络质量,需要对ODN弱光,即ODN光路损耗过大进行处理.原有处理方法缺乏有效预判和指导,处理过程中耗费大量人力和时间.结合ODN网络结构的特点和网管系统采集的网络质量数据,提出一种基于数据关联分析的ODN弱光处理方案.经过... 相似文献
10.
通过梳理证券公司典型实时数据应用场景,归纳了实时大数据系统ETL、数据展示、算法模型等技术需求,提出了组件选型与架构设计方案,结合各类典型实时数据应用场景为证券行业大数据应用实践提供参考. 相似文献
11.
非结构化数据的ETL设计 总被引:1,自引:0,他引:1
为了实现非结构化数据的ETL处理,分析了数据整合的发展现状和业务需求,描述了目前国际流行的公共仓库元模型(CWM)以及在ETL实现中的作用,详细分析了结构化数据和非结构化数据的不同特点。针对两种数据的差异,提出了解决非结构化数据的属性提取和数据打包的方法,为非结构化数据形成元数据奠定了基础,从而实现了非结构化数据的ETL设计,设计完全满足标准的数据整合要求。 相似文献
12.
13.
14.
为了实现低轨卫星通信系统高效率低时延的用户接入,提出了适用于低轨卫星系统的两步随机接入方案,对随机接入信道的数据发送、信道结构、前导码设计以及映射关系进行了设计,并进行了现场可编程门阵列(Field Programmable Gate Array,FPGA)实现。针对传统MAX-LOG-MPA算法FPGA处理时延长的问题,提出了一种节点并行迭代更新的FPGA接收机设计来降低处理时延。仿真结果验证了所设计的信道结构以及FPGA实现的可行性,相比传统接入方式可接入的用户数量更多,同时采用并行节点迭代更新的接收机将迭代处理时延降低为1/6。 相似文献
15.
Bishop B. Lyuboslavsky V. Vijaykrishnan N. Irwin M.J. 《Very Large Scale Integration (VLSI) Systems, IEEE Transactions on》2001,9(1):104-106
The charge recovery databus is a scheme which reduces energy consumption through the application of adiabatic circuit techniques. Previous work gives a solid theoretical analysis of this scheme, including quantitative data assuming random bus values. We extend this earlier work by presenting a quantitative analysis of the charge recovery databus using 15 benchmarks and four high level bus coding schemes. We show that a very simple implementation of the charge recovery databus is capable of reducing average energy consumption by 28% beyond traditional high-level bus encoding techniques. In addition, we examine delay and energy consumption in the added hardware 相似文献