基于大数据的Web数据集成及数据挖掘技术的研究

进入到21世纪之后,随着信息技术水平的提升和大数据应用范围的扩大,当今社会对于信息的索取越来越精确,数据信息的重要性在各行各行的发展中逐渐加强,而且互联网所收集与储存的信息量愈来愈丰富,Web数据集成与挖掘技术的作用逐渐显示出来.本文基于云计算、分布式并行编程模型MapReduce、Hadoop大数据技术,探讨了大数据集成与挖掘的设计与实现.     

基于数据挖掘技术的自然资源大数据整合优化方法

为解决大数据环境下信息整合效率低下、管理混乱,数据结构复杂、检测效率低以及精度适应能力差等问题,提出一种基于数据挖掘技术的自然资源大数据整合优化方法.针对自然资源整合内容,开发基于数据挖掘的整合分析平台,使用优化后Apriori算法处理多通道数据,利用Web技术建立单一数据管理系统,对目标数据优化和查询,度量自然资源目...     

大数据时代的数据挖掘技术与应用

在大数据时代背景下,数据的价值逐渐凸显出来,而面对种类繁多、数量庞大的数据,传统的数据处理技术已经无法满足需求。数据挖掘技术在此背景下应运而生,并已广泛运用在教育、医疗、电信及科研等领域中。基于此,在介绍数据挖掘技术方法的基础上,对数据挖掘技术的具体应用进行了研究,同时提出了其未来的发展方向。     

星载数据加密容错研究

在空间辐射环境中,单粒子反转效应(SEU)会导致星载系统存储器逻辑位发生翻转,且无法单纯依赖硬件措施完全消除,又由于卫星通信加密设备在大多数加密模式下具有错误扩散特性,星载数据加密设备的SEU软故障会导致批量数据不可用.针对星载数据加密过程的SEU影响问题,设计了基于奇偶校验码的星载数据加密过程检错算法和基于海明码的星载数据加密过程纠错算法,该容错方案可以有效降低SEU对星载数据加密过程的影响,提高星载数据加密的可靠性.通过大量图像数据仿真实验结果表明,提出的容错方案对星载数据加密过程可靠性的提高率与位出错概率成反比,有较好的空间适应性.     

基于数据挖掘的存储数据纠删码容错方法仿真

在存储数据的纠删码容错中,针对传统存储数据纠删码容错方法容错速度较低的问题,提出一种基于数据挖掘的存储数据纠删码容错方法。采用数据挖掘方法对存储数据纠删码进行重构,计算存储数据纠删码的丢失片段;利用CHR算法对存储数据纠删码进行异构修复,通过建立存储数据纠删码容错模型实现存储数据的纠删码容错。为了验证存储数据纠删码容错方法的有效性,将存储数据纠删码容错方法与传统存储数据纠删码容错方法进行对比,实验结果得出:上述方法与基于流水线的存储数据纠删码容错方法、基于RapidRaid码的存储数据纠删码容错方法、基于非规则LDPC码的存储数据纠删码容错方法的容错速度分别为:286Mbps/s、262Mbps/s、243Mbps/s、232Mbps/s,比较可知,所提方法的容错速度最快,证明了上述方法的优越性。     

计算机数据信息处理中大数据技术的应用研究

大数据技术以云计算为主要技术依托,作为新兴的计算机技术具有高涵盖性、颠覆性等特点,其处理数据的过程主要包括数据采集、数据处理和集成、数据分析以及数据解释等流程。基于其主要特点以及技术依托,大数据技术被广泛应用于数据处理的过程中。针对大数据技术在数据处理过程中的应用,本文对其在信息采集与加工、虚拟资源调度、数据挖掘、数据信息的安全保障、数据解释等方面的应用展开了论述。     

基于大数据时代下的软件工程技术的应用研究

随着大数据时代的到来,在发展时期,大数据技术在各个领域的应用得到了加强,核心竞争力也得到了提升。于此,仍需在软件工程技术中积极利用大数据。本文基于数据库技术,分析该技术并提出解决方案。     

基于专利数据的大数据技术发展研究

全球范围内,运用大数据技术推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势。因此,对大数据技术进行梳理和分析有着十分重要的现实意义。而专利分析法作为一种常用的分析方法,通过对专利说明书、专利公报中大量零碎的专利信息进行分析、加工、组合,将这些专利信息转化为技术情报,为各方的相关决策提供参考。本文通过对大数据相关技术产业相关发明专利的申请情况、地区分布情况、申请人(权利人)分布情况等的分析,从数据层面清晰反映了大数据技术产业的创新能力、发展状况、发展阶段和发展趋势。     

基于大数据架构的电子数据取证技术研究

由于大数据的发展,电子数据取证对象的变化给电子数据取证带来了极大的挑战。针对此问题,本文提出基于大数据架构的电子数据取证技术研究。通过对目前电子数据取证面临海量数据、数据多样性、取证准确度、数据存储安全性等多个方面的问题进行研究分析,运用Hadoop、可视化、层次化等基于大数据架构的方法进行电子数据取证分析,并与传统电子取证技术进行对比分析,发现基于大数据架构的电子数据取证技术具有较高的准确度,取证效率高,安全性有较大提升。     

大数据视野下的数据挖掘技术应用分析

大数据技术在当前时代给企事业单位带来的冲击是非常大的,很多企事业单位都在布局大数据,为信息化建设提供了丰富的数据基础,大数据分析成为企事业单位做决策时的一种重要方法。笔者基于大数据分析,探索了大数据技术的核心,即数据挖掘技术,并通过实际应用场景来探索数据挖掘的具体应用方式,希望可以为大数据的应用提供一些参考的意见。     

数据挖掘技术在医疗大数据中的应用研究

医疗行业的发展扩大了医疗数据信息种类与数量,这将直接影响医院医疗水平与服务水平和医院核心竞争力。本文以医疗大数据为研究对象,提出了基于遗传算法的K-means 改进聚类方法,并以医疗费用数据为例展开分析,为提高医疗服务质量提供有效数据信息。     

基于大数据挖掘的图像检索方法研究

针对传统的图像检索方法对大规模图像数据进行检索时,耗费时间巨大以致无法满足用户需求的问题,采用大数据挖掘技术将大规模图像数据进行分布式存储和并行处理,缩减了图像数量对检索耗时的影响,并且快速挖掘出图像中与语义概念有较强关联的视觉模式,提高了检索效率。     

基于普适云的大数据挖掘

通过查阅大量相关文献资料,概述大数据和普适云的基本概念,提出基于普适云的大数据挖掘架构,在理论方面论证其可行性、论述其运行模式并进行了性能分析,分析总结了基于普适云的大数据挖掘所涉及的关键技术．     

基于大数据技术的石油数字化平台设计

大数据技术成为驱动石油化工服务类企业数字化转型的有效手段,基于大数据技术的石油数字化工作平台建设是石油化工服务类企业的大数据应用实践,该技术整合了企业营销、生产、经营等多个板块的多种业务,串联了企业数据采集、存储、治理、挖掘、分析及应用的整个数据生命周期;从石油化工服务类企业数字化发展现状及遇到的问题出发,结合大数据技术的发展及优势,提出了基于大数据技术的石油化工服务类企业石油数字化工作平台建设方案,通过对大数据故障信息进行提取,应用DBN大数据学习算法模型实现石油全寿命周期管理的数据计算和处理;通过实验,文章研究的方法数据处理准确度大于90%。     

基于大数据分析的技术转移平台

随着国家对技术转移工作的大力支持, 越来越多的技术转移平台开始涌现. 但是当前的大部分技术转移平台对供需数据无法做到很好的匹配, 所以平台对于技术转化成功率的提升效果受到一定限制. 为了解决这个问题, 本文提出一种新颖的技术转移平台实现方法, 它主要利用大数据挖掘技术来整理和分析平台数据, 在此基础上, 我们结合全文检索、数据采集、RESTful接口等其他技术, 共同提升数据的匹配度, 扩大数据的展示范围, 从而提升技术转化率. 目前平台已在江苏省部署运行, 通过平台促成了大批技术成果转移落地.     

无线传感器网络中故障容忍算法研究

针对无线传感器维护困难,改善故障容忍能力的问题,提出了一种基于故障容忍度的自适应容错拓扑控制算法。首先,阐述了节点故障容忍度衡量指标,其次,详细分析了算法的各个阶段,最后通过仿真实验与常用算法对比,结果表明,基于故障容忍度的自适应容错拓扑控制算法具有更好的控制效果,极大地提高了使用效率。     

基于大数据平台的水轮发电机组故障诊断系统

水轮发电机组是水电站的关键设备,它的运行状况直接关系到水电站的安全生产。目前对水轮发电机组运行状况的掌握大都通过装设的状态监测系统运行数据的分析比对和计划检修相结合的方式,但往往都是故障已经发生后才能予以发现,不能提前对设备运行工况进行预判。本文详细介绍了一种基于大数据平台的水轮发电机组故障诊断系统,该系统主要由数据处理平台、模型算法平台、可视化展示平台三部分组成,是一种基于大数据平台和互联网技术的典型应用。其主要通过挖掘水电厂现有计算机监控系统、状态监测系统等信息系统的实时及历史数据,再经过一系列关联算法提取这些数据中蕴含的丰富的价值信息来实现对机组的运行状况监视、健康评价、趋势预警、故障诊断、检修指导等。     

面向设备故障诊断的数据挖掘技术方法的研究

本文对石化企业设备故障诊断系统进行研究,利用数据挖掘技术进行故障诊断。提出数据挖掘技术中的关联规则挖掘的理论与算法,并对关联规则的经典算法Apriori进行研究与改进。提高了故障诊断的准确性,减少了冗余信息。     

大数据技术在职业教育信息化中的应用研究

随着计算机技术与移动网络的兴起,大数据技术在职业教育中的应用越来越普遍,为职业教育提供了更多的选择。本文探讨了大数据技术在职业教育信息化中的应用特点和作用,分析了大数据技术对职业教育学生管理的优势,以及在职业教育信息化中存在的问题,研究了大数据技术在职业教育信息化中的具体应用,可以为职业院校的信息化建设提供一定的帮助。     

大数据时代计算机网络技术课程教学改革的实践研究

计算机网络技术教学的重点在于培养社会所需的应用型技能人才,但高等教育与计算机技术在知识更新迭代方面的差异性,使得计算机网络技术专业学生往往难以满足社会需求.大数据以其信息资源的丰富性和开放性,为传统教育带来了机遇与挑战.将计算机网络技术教育与大数据相结合,充分利用网络中丰富的教育资源与渠道,能够有效改变传统计算机网络技...