大数据挖掘与分析的关键技术研究

随着经济的不断发展,我国互联网、云计算以及物联网的发展越来越迅速,这就使得数据量不断增加而且他的增长速度也在不断地提升.如果没有一项技术来对这些数据来进行一些有效的处理的话,就会有可能给互联网、云计算以及物联网的发展造成许多不好的影响.在这种背景下,大数据因为自身拥有数据体量巨大、数据类型繁多、价值密度低以及处理速度快等特点,成为了互联网、云计算以及物联网研究的重点.     

大数据时代的广电网络客户关系管理

随着互联网络技术的不断发展及其用户群体数量的持续累计,我国迎来了基于海量数据收集、处理与分析的"大数据"时代。大数据时代的到来催生了越来越多的"互联网+"现象,并对各行各业传统的运作经营模式产生了巨大的影响。广电网络系统也不例外,在大数据背景下,传统广电网络营销模式正在被大数据解构。文章从明确大数据的概念和特征出发,分析了大数据对广电网络的影响,并提出了在大数据背景下广电网络的发展对策。     

图书馆网络借阅模式下的资源建设创新服务研究

信息技术的不断发展,图书馆O2O借阅模式成为读者服务的重要渠道之一。随着数据量的暴增,现有的O2O模式并不能满足大量数据下图书馆资源建设的需求,结合大数据进行数据存储与管理成为图书馆界的热点。在大数据平台管理数据的基础上,运用数据挖掘、机器学习算法进行数据分析,挖掘隐藏知识,可为图书馆资源建设的发展提供强有力的借鉴。     

大数据在通信领域的应用现状与前景探究

近年来,信息化水平不断提高,互联网正在逐渐改变人们的生活.逐渐兴起的云计算与云处理技术也正在给传统的数据处理带来新的变革.如今,大数据被广泛应用在各个领域,满足了各行各业的需求,若将大数据及通信领域联系起来,又会产生怎样的效应.本文将这两者结合起来,进行了有效研究与分析.     

基于数据挖掘的测试工程数据整合分析平台

测试工程技术的不断提升使得企业在产品测试的过程中产生大量数据需要处理,以便及时反馈产品本身的性能。然而,传统方式在应对和处理上述环节时存在效率底下、管理混乱的缺陷,使其无法适应数据量大、数据结构复杂等新型问题。本文设计并实现了一种基于数据挖掘的测试工程数据整合分析平台,提出了一种优化的Apriori算法挖掘多渠道数据,同时利Web技术建立统一数据管理系统。实践证明,该平台能实现对庞大数据的科学管理、有效数据的精准挖掘和数据可视化应用。     

机器学习在网络空间安全研究中的应用

现阶段,我国已逐步加快信息化建设步伐,在现代化信息技术飞速发展带动下,整个网络空间数据量得到极大增长,与此同时,也将更多的难题带给网络空间安全管理。不断增加的网络空间连入点,使得传统网络空间安全处理方式无法满足海量数据需求,在这样的背景下,逐渐凸显出机器学习优势,将机器学习应用于网络安全研究中可以有效解决网络空间安全问题。     

面向DNS日志的MapReduce性能优化技术研究

DNS日志是互联网中重要的访问日志,数量巨大且承载着大量信息,需要借助大数据技术进行处理和分析.现网DNS日志数据量大,且数据倾斜现象严重,对MapReduce的性能有较为严重的影响.基于上述问题,采用小文件合并方法优化分片,缓解Map端的数据倾斜问题,并实现动态设置分片大小,提高MapReduce作业执行效率.该方法有效均衡了Map任务的负载,从而提高了数据倾斜情况下的MapReduce作业的执行效率和资源利用率.实验表明,使用该方法可以有效缩短MapReduce作业的执行时间.     

基于MapReduce框架的电力大数据增量式属性约简方法可行性分析

对于大数据时代中电网数据量大、速度快、类型多的特点,传统属性约简方法已经无法满足大数据预处理需求,以此提出基于MapReduce框架的电力大数据属性约简方法.利用某光伏发电系统对属性约简的求和算法进行分析,以传统算法改进属性约简算法,从而有效解决大数据环境下计算过程中的效率问题.改进的大数据属性约简算法是以实际需求开展...     

大数据近似分析方法综述

大数据分析旨在从大量复杂的数据中获取价值.查询驱动的数据分析是大数据分析中最主要的部分.由于数据量的庞大,在大数据上获取准确的分析结果将带来极大的存储和计算代价.为解决这一困难,大数据近似分析方法应运而生.本文将主要针对大数据近似分析中的频率估计问题、近似查询处理问题、查询选择性估计问题近十年的解决方法进行总结和归纳.不同于以往以数据库为主视角的分析方法的总结,本文中将涵盖近几年应用或结合机器学习方法来处理上述问题的新方法.     

基于粗糙集的海量数据挖掘算法研究

针对传统数据挖掘算法在数据量级方面的局限性,提出在粗糙集理论的基础上,采用类分布链表结构改进传统的基于属性重要性的数据离散化算法、属性约简算法以及基于启发式的值约简算法。讨论了基于动态聚类的两步离散化算法,当算法适应大数据处理之后,采用并行计算的方法提高算法的执行效率。算法测试结果表明,改进算法能有效地处理大数据量,同时并行计算解决了大数据量处理带来的效率问题。     

基于粗糙集的海量数据挖掘算法研究

针对传统数据挖掘算法在数据量级方面的局限性,提出在粗糙集理论的基础上,采用类分布链表结构改进传统的基于属性重要性的数据离散化算法、属性约简算法以及基于启发式的值约简算法;讨论了基于动态聚类的两步离散化算法,当算法适应大数据处理之后,采用并行计算的方法提高算法的执行效率。算法测试结果表明改进的算法能有效地处理大数据量,同时并行计算解决了大数据量处理带来的效率问题。     

基于Spark的实时情境推荐系统关键技术研究

随着移动互联网的飞速发展,人们面临的信息过载的问题日益严重,大数据场景下对用户的推荐面临着巨大困难。为了解决推荐时效性、准确度、大数据量,提出了一种基于Spark的实时情境推荐算法。该算法在协同过滤的基础上融合了情境过滤,以Kafka作为实时消息收发器,以Spark Streaming来处理实时流数据,增强了算法的准确性和时效性。实验证明,该算法和传统协同过滤算法相比,准确率和时效性更高,且在大数据场景下更有优势。     

基于大数据背景的高职院校智慧校园建设的研究

随着经济和科学技术不断发展,互联网技术在我国广泛应用.包括大数据、云终端等在社会各行各业不断应用.互联网技术的不断发展,促进了教育信息技术化.尤其是大数据在校园建设活动中发挥重要意义,利于构建智慧校园.本文主要基于大数据背景的高职院校智慧校园建设展开分析和研究.     

云计算技术中大数据SLIQ算法研究

数据信息交流和社交方式在互联网+时代都呈现了新的发展态势,自媒体等新的数据产生方式让大数据时代来临。海量数据在大数据时代需要新的技术手段和方法,对数据存储、处理、检索和计算进行新的设计,尤其在数据挖掘领域,面临很多新的课题和挑战。当前,很多的传统数据挖掘算法只能在数据量较小的情况下适用,在串行的小规模输入数据环境下,算法还能适应。当数据量规模增大甚至呈指数形式增长时,时间复杂度和计算量也同步增长,需要对算法进行适应大数据的改进。云计算和云平台的使用为存储和分析海量数据提供可靠的实现手段,对数据挖掘算法的改进提供了高效的解决方案。文中在Hadoop、MapReduce框架下开展并行的SLIQ算法改进方案,改进算法很好地适应了云平台环境和海量数据,提高了运行效率。     

基于大数据技术的职业院校学情分析系统设计

<正>随着当前社会经济的不断发展，互联网在各行各业都得到了广泛应用，同时各种各样的信息技术和电子设备不断普及，在这种环境下，各个领域诞生了大量的数字信息，站在信息技术角度可以将其称之为大数据。通过对大数据进行应用和分析，可以快速捕捉其中的一些重要内容，为后续其他操作提供有利依据。在职业院校教学中，这一方法可以有效应用于学情分析中。     

基于分布式计算框架的机器学习系统分析

针对机器学习对大数据处理的消耗大量存储空间和时间的问题,提出利用对数据分区存储和机器学习对分区数据并行处理的方法,对分布式计算框架的机器学习系统框架和矩阵运算对数据处理进行研究,并分析机器学习的模型和数据集分布式处理的方法,实验仿真结果表明,通过对大数据集进行分布式存储和并行计算,提高了机器学习的效率和对大数据的处理能力.     

浅谈基于Apache Spark的网络安全入侵检测框架

目前,随着互联网的应用不断的增加,网络安全尤为重要.同时,网络上的传输数据变得如此之大,难以用传统的数据处理工具进行处理.本文使用Apache Spark,一种用于处理大型网络流量数据的数据处理工具,设计了一种框架,来满足网络安全入侵检测系统的要求.其中首先采用一种特征选择算法来选择特征,然后使用分类入侵检测方法用于快速有效的检测大量网络流量入侵.     

基于双层树状支持向量机的观点挖掘与倾向分析

本文通过进行大量预处理工作,将经过词袋模型和Word2Vec两种不同向量化方法处理后的文本数据分别输入到SVM和LSTM模型中,训练出可以识别文本情感倾向的模型.进而对新产生的评论进行分类.根据实际数据量的倾斜状况,基于传统机器学习算法支持向量机(SVM),本文提出双层支持向量机,采用2种不同的方法分别训练模型并预测....     

大数据平台分析在公安业务中的应用

伴随近些年我国相关部门和企业信息化建设速度的提升,我国公安部门在日常工作过程中需要接收和处理的信息数据量的增加,不仅使得公安部门工作人员的任务量和工作压力也随之不断提升,还导致工作人员在处理一些深度数据的过程中面临的瓶颈问题数量也在随之增加.因此,以大数据平台为基础,通过对该数据平台对公安业务案件的处理情况的分析,从而就如何在公安业务中有效的应用大数据这种平台分析方式进行深入研究.     

Hadoop环境下协同过滤算法改进与实现

协同过滤算法被成功的应用于个性化推荐系统中。但是传统的协同过滤算法没有考虑用户兴趣会根据时间的推移发生兴趣偏移问题,导致推荐系统的推荐质量下降,而且随着数据量的不断增大,传统的基于单机模式的推荐计算模式已经无法适应大数据。针对该问题,提出了在Hadoop分布式环境下基于时间加权的协同过滤算法设计和实现,实验表明,改进的算法可以在Hadoop分布式环境下对海量数据进行计算生成推荐结果,而且提高了推荐系统的推荐质量。