大数据分析中的关联挖掘磁

在这个信息量爆炸的年代,大数据越来越贴近我们的生活。论文从大数据从何而来、如何研究大数据入手,通过对大数据分析流程框架进行阐述,提出了大数据分析中关联挖掘的重要性。并通过对大数据关联挖掘给出了相应的研究方案,通过系统对其关联模式进行分析,同时也可通过人为的参数选择对研究的参数进行分析、筛选和保留。在大数据分析的过程中,若能很好地利用关联规则的挖掘,将会带来更广阔的实际价值。     

大数据在机场综合管理数据库建设中的应用研究

把数据仓库、数据挖掘和可视化等大数据研究的关键技术应用到机场综合管理数据库建设中。利用数据仓库、数据挖掘和可视化等大数据研究的关键技术,实现机场在建设综合管理数据库过程中,各类型海量数据处理、数据仓库建设、数据的分析及价值发现。进而为机场建设综合管理数据库提供了设计方案。     

基于数据仓库技术的成本预算与控制系统设计

针对目前ERP成本系统面临的新问题,介绍ERP成本预算与控制的相关知识和决策支持系统的前沿技术--数据仓库、操作数据存储、数据挖掘和联机分析处理,并在此基础上,提出了以数据仓库为中心、数据挖掘和联机分析处理为手段的基于ERP系统的ERP成本预算与控制系统模型框架,描述了ERP成本数据操作流程和数据仓库等技术在其中所起的重要作用.     

基于Spark的航空信息服务平台

针对大数据时代下,海军航空部队存在的种种数据治理问题,设计了一种基于Spark的航空信息服务平台,平台实现了航空数据的存储,分析与挖掘等功能.平台采用4层体系架构,使用了HDFS分布式文件存储框架和Hive数据仓库工具实现了数据的存储和管理.最后,通过仿真实验,比较在不同数据量下航空信息服务平台与传统航空数据仓库的性能优劣.通过海军航空信息服务平台建设,可以有效为海军航空部队实训提供数据支撑,为平台使用者提供辅助决策.     

试谈企业大数据安全保障及应用技术

随着大数据时代的来临,传统的大型企业需要从和谐发展的角度出发开展大数据的研究与应用工作.在分析了国内外研究与应用现状的基础上,梳理了大数据的重要概念,归纳了企业在构建大数据的安全保障机制时面对的问题及解决方法,提出了基于大数据知识发现的通用流程框架,总结了4种典型的数据挖掘技术的基本概念与应用场合,为企业适应并参与到大数据时代提供一些思路.     

电力企业大数据体系架构的研究与应用

电力行业是国民经济以及国家发展战略的重要支撑行业,随着信息技术与电网建设的快速融合与发展,电力大数据已经成为电力行业未来发展的核心。文章从电力企业大数据的需求、处理及应用角度出发,基于计划预算、电网运营、核心资源、关键流程、专题监测等实际开展业务的全流程进行技术和理论研究。以横向协同业务应用构建为突破,构建业务应用与技术统筹机制,建成“数据干净透明,模型规范统一,分析灵活智能”的全业务统一数据流程,以数据需求为导向,以数据深度挖掘、分析、筛选为手段,实现“全业务协同,全流程贯通,全数据共享”。通过全面解析电力企业大数据体系架构,强化全业务数据汇聚与整合,深化总体架构管控,为打造世界一流能源互联网企业提供可靠的技术支撑。     

大数据环境下的软件测试研究

大数据的本质在于研究不同数据类型和数据集之间潜在的规律.当前的信息社会中,物联网、互联网等技术在不断创新,大数据技术与电子商务、社交、交通、医疗等行业不断融合,从而源源不断地产生了海量数据.由于大数据系统的数据特点具有数据量大、种类多样等特性,涉及的数据类型包含了各类的结构化和半结构化的数据,导致大数据应用服务系统前所未有的复杂.从而使得传统的软件测试在当前大数据环境下已经不再适用.大数据环境下的软件测试步骤分为:数据预处理验证、MapReduce验证、数据仓库验证和分析报表验证,并具体表现在数据的种类、样本、方式、测试工具的硬件需求、结果验证和测试人员专业性的差异上.如何进行有效的软件测试成为众多学者和科技人员研究关注的焦点.本文针对大数据背景下的软件测试研究对于当前软件测试的思路扩充具有借鉴意义.     

典型大数据仓库-飞行试验数据仓库设计

在现代数据仓库技术思想的指导下,围绕试飞数据的非结构化大数据的特点,面向型号工程对试飞数据的统一管理和高效处理需求,分别针对试飞大数据的粒度描述和综合管理,设计了飞行试验元数据标准和特有的基于二进制文件的数据库管理服务,解决了飞行试验数据仓库设计中结构化与非结构化大数据的统一维度建模和数据关系维护的关键技术问题,为基于数据仓库的试飞大数据在线管理与分析系统的建立提供了基础,满足了型号工程对试飞数据的高效分析需求.     

银行信用卡系统的数据仓库模型研究

数据仓库(Data Warehouse,DW),作为信用卡系统和数据挖掘的中间模块,由于对其及时性的要求,数据仓库的概念更接近于是一个过程,而不是一个静态概念.本文中所研究的数据仓库模型是建立在某知名信用卡业务系统的大量业务数据基础之上,基于大型机OS390操作系统,由COBOL和JCL语言开发完成的.分析了当前数据仓库模块流程存在的缺陷,提出了新的流程,并按照所提出的流程重新开发.新的流程充分利用了现有的系统资源,并减少了运行时间,降低了运行成本,提高了生产聂率.     

大数据环境下的数据清洗框架研究

在大数据环境下会不可避免的存在一些脏数据,严重的影响了数据质量,而数据清洗是提高数据质量的重要方法,对数据清洗框架的研究可以帮助大数据的系统决策。提出了一个大数据环境下数据清洗的一般框架,并对核心的数据清洗模块中的三个子模块进行详细的分析,包括不完整数据清洗子模块、不一致数据修复子模块和相似重复记录数据清洗子模块,且讨论了其清洗的具体流程。     

大数据分析中的计算智能研究现状与展望

随着产业界和科学界数据量的爆炸式增长,大数据技术和应用吸引了众多的关注.如何分析大数据,充分挖掘大数据的潜在价值,成为需要深入探讨的科学问题.计算智能是科学研究和工程实践中解决复杂问题的有效手段,是人工智能和信息科学的重要研究方向,应用计算智能方法进行大数据分析具有巨大的潜力.对大数据分析中的计算智能方法进行综述,结合大数据的特征,讨论了大数据分析中计算智能研究存在的问题和进一步的研究方向,阐述了数据源共享问题,并建议利用以天文学为代表的数据密集型基础科研领域的数据开展大数据分析研究.     

大数据时代股票数据信息可视化的研究

随着网络时代的迅速发展以及我国对数据信息可视化的深入研究,大数据的资源提供对于各个行业也变得越来越重要。尤其是对于股票数据的分析,如何更好地进行各股之间的相关性分析已经成为当今股票分析的重中只重。希望通过此次分析,可以为股票数据信息可视化技术的发展以及对于股票预测的训练提供一定的帮助。     

大数据环境下的电力客户服务数据分析系统

作为电网企业对外服务窗口,电网客户服务中心需要整合企业内部各种异构数据资源、存贮和分析海量的客户服务语音信息和 WEB 服务信息。如何对电网企业各类数据进行高效、可靠、低廉地存储,并快速访问和分析,是当前重要的研究课题。首先分析了大数据的特征和大数据的关键技术,其后,设计了大数据时代下的电力客户服务数据分析系统,提出了系统的数据体系架构,设计了系统功能,总结了系统的关键技术和算法,该系统利用大数据技术和数据仓库技术集中存储、管理和应用电网数据,通过元数据管理实现统一的数据服务平台,使用Hadoop数据库作为非结构数据的存贮平台和数据分析与挖掘的支撑平台,基于CDC数据仓库ETL模型设计数据仓库 ETL 构件,在数据展示层使用多维数据分析技术。最后,综述了系统应用案例,实践表明,系统具有成本低、扩展性较好、可靠性高、并行分析等特点,可以大大提高电网企业的客户服务水平。     

面向开放大数据环境的动态数据保护系统

大数据成为国家基础性战略资源,数据的开放共享是我国大数据战略的核心.云原生技术和湖仓一体架构正在重构大数据基础设施,并推动数据共享和价值传播.大数据产业和技术的发展都需要更强的数据安全和数据共享能力.然而,开放环境下数据的安全问题已成为制约大数据技术发展与利用的瓶颈.无论开源大数据生态还是商业大数据系统,所引发的数据安全及隐私保护问题都日益凸显.开放大数据环境下的动态数据保护系统面临着数据可用性、处理高效性和系统可扩展性等方面的挑战.提出了面向开放大数据环境的动态数据保护系统BDMasker,通过一种基于查询依赖模型(querydependencymodel)的精准查询分析及查询改写技术,能够精准感知但不改变原始业务请求,实现动态脱敏全过程对业务零影响;通过面向多引擎的统一安全策略框架,实现了动态数据保护能力的纵向扩展和在多种计算引擎中的横向扩展;利用大数据执行引擎的分布式计算能力,提升系统的数据保护处理性能.实验结果表明, BDMasker提出的精准SQL分析及改写技术是有效的,系统具有良好的扩展能力和性能表现,在TPC-DS和YCSB基准测试中,整体性能波动在3%之内.     

BDMasker: Dynamic Data Protection System for Open Big Data Environment

Big data has become a national basic strategic resource, and the opening and sharing of data is the core of China''s big data strategy. Cloud native technology and lake-house architecture are reconstructing the big data infrastructure and promoting data sharing and value dissemination. The development of the big data industry and technology requires stronger data security and data sharing capabilities. However, data security in an open environment has become a bottleneck, which restricts the development and utilization of big data technology. The issues of data security and privacy protection have become increasingly prominent both in the open source big data ecosystem and the commercial big data system. Dynamic data protection system under the open big data environment is now facing challenges in regards such as data availability, processing efficiency, and system scalability. This paper proposes the dynamic data protection system BDMasker for the open big data environment. Through a precise query analysis and query rewriting technology based on the query dependency model, it can accurately perceive but does not change the original business request, which indicates that the whole process of dynamic masking has zero impact on the business. Furthermore, its multi-engine-oriented unified security strategy framework realizes the vertical expansion of dynamic data protection capabilities and the horizontal expansion among multiple computing engines. The distributed computing capability of the big data execution engine can be used to improve the data protection processing performance of the system. The experimental results show that the precise SQL analysis and rewriting technology proposed by BDMasker is effective. The system has good scalability and performance, and the overall performance fluctuates within 3% in the TPC-DS and YCSB benchmark tests.     

运营商发展大数据的机遇和挑战

互联网、通信行业爆发式增长,形成了新时代的大数据。大数据在大容量、多样性和高增速方面,全面考验着现代企业的数据处理和分析能力。大数据不仅是数据大,最重要的是对大数据进行分析,只有通过分析才能获取有价值的信息,并为企业带来更深入、更准确的市场机会。     

基于大数据的电力客户行为分析体系研究及实践

随着我国电力市场的发展,供电企业紧跟数字化发展步伐加快信息系统建设,各业务系统在运行过程中积累了海量信息数据资源,利用这些数据资源进行数字化分析已经渐渐成为供电企业的重点工作。在供电企业不断地拓展分析范围,优化分析方法的过程中,大量的数据资产被盘活,巨大企业价值与社会价值逐渐显现。大数据技术的使用可体现在电力系统运行的各种环节,为电力信息的商业化利用提供有力支撑。基于大数据技术的电力客户用电行为分析能提高电力系统的运行效率,为供电企业的实际运行提供决策依据。文章分析了国内、外电力行业大数据应用的进程及现状,根据不同类型客户的用电行为建立了基于大数据技术电力客户行为分析体系,对大数据技术的实践情况进行探究,实现电力客户用电行为的深度分析,为客户提供更优质的服务体验。     

面向大数据的海云数据系统关键技术研究

由于数据产生成本的急速下降,人类社会产生的数据不仅以指数级别增长,而且数据的结构变得日趋复杂,使得传统的数据分析技术遇到了极大的挑战.如何对大量复杂数据进行分析和挖掘,从中提取有价值的知识用于决策,已经成为产业界和学术界的广泛关注问题,在一些国家已上升到国家战略层面.本文介绍了大数据的基本概念、特征和面临的科学问题,总结了中国科学院战略性先导科技专项“面向感知中国的新一代信息技术研究”中“海云数据系统关键技术研究与系统研制”课题的一些先期成果,为开发大数据管理、分析和挖掘系统提供一些参考依据.     

基于网络流量元数据的安全大数据分析

大数据技术在网络安全领域的价值日益凸显。文章从保护校园网络信息安全的角度出发,在网络流量分析领域进行了深入研究和实践,从采集存储海量网络流量元数据到使用大数据平台进行安全关联分析,进而利用挖掘出的信息来加强校园网信息安全保障。