基于Web Service技术分布式并行数据挖掘的研究与实现

主要介绍基于Web Service技术的一个数据挖掘系统,在一个关联规则挖掘的并行算法—CD算法的基础上,结合一种基于动态数据集划分的并行关联规则挖掘算法,利用动态方式分配数据量,使每个处理器获得相同多的数据集,解决在网络中大量分散的数据因通信等问题而引起的负载平衡,从而提高了数据挖掘效率。     

基于网页日志的频繁模式挖掘

频繁模式挖掘应用广泛,是数据挖掘中的一个重点研究领域,频繁模式挖掘应用的其中一个领域就是基于网页日志的数据挖掘。在网页日志中发现频繁模式的目的是获得用户的网络浏览行为模式,这些信息可以为广告设计以及创建动态用户日志提供参考。从网页数据挖掘的角度研究了三种频繁模式挖掘方式,这三种方式分别是：网页设置、网页序列以及网页图片挖掘。     

Web数据挖掘技术研究

Web数据挖掘就是利用数据挖掘技术从网络文档和服务中发现和提取信息。Web数据挖掘是一种新兴的边缘科学技术,他涉及到机器学习、数据挖掘、信息检索、自然语言处理、数据库以及人工智能等技术,可用于网络检索、网站建设以及电子商务等方面。根据数据挖掘对象的不同可以将Web数据挖掘分为3类:Web内容挖掘、Web结构挖掘和Web访问信息挖掘。     

基于堆栈降噪自动编码模型的动态纹理分类方法

针对以往动态场景分类中需要手动提取动态特征描述符以及特征维数过高的问题,提出利用深度学习网络模型进行动态纹理特征的提取。首先利用慢特征分析法(SFA)预先学习每个视频序列的动态特征,将该特征作为深度学习网络模型的输入数据进行学习,进一步得到信号的高级表示,深度网络模型选用堆栈降噪自动编码模型,最后用SVM分类法对其进行分类。实验证明该方法所提取的特征维数低,并且能够有效地表示动态纹理。     

基于深度挖掘的多维动态数据权限管控系统

当前采用基于B/S体系结构的数据权限管控系统,由于受动态数据的影响,导致用户登录权限受阻,登录系统要花费大量时间。为此,提出基于深度挖掘的多维动态数据权限管控系统。设置权限管理模块,在界面上添加删改按钮。设置数据中心管控模块,通过主板数据中心服务器电源接口对用户登录状态进行实时监控。在中心处理器中,可以执行特定的指令。建立深入挖掘学习模型,对数据进行训练,通过计算重构后隐藏层节点概率,得到全部动态数据。建立多维动态数据权限管理模型,设计多维动态数据权限管理流程,剔除不相符数据,缩短管控时间。根据权限管理的运行模式,通过指令调整控制数据中心。由实验结果可知,该系统所有验证内容登录密码正确率均高于80%,最短管控所耗费时间为5 s。     

基于深度信念网络的光通信网络数据异常识别研究

为了降低光通信网络被攻击的概率,保证光通信的安全顺畅,提出基于深度信念网络的光通信网络数据异常识别方法。利用时间-频率相结合的算法建立光通信信道模型,获取信道特征。根据信道特征密度设计数据异常特征的判断准则,利用数据挖掘聚类算法提取异常数据特征。融合BP网络和受限玻尔兹曼机网络,确立深度信念网络结构,结合隐藏层与可见层单元的概率分布情况构建数据异常识别模型,经过数据采集、特征归一化和模型微调等过程完成光通信网络数据异常识别。仿真实验表明,所提方法能够获取准确的光通信网络异常数据特征,光通信网络数据异常识别高和误报率低。     

基于频繁模式图的多维关联规则挖掘算法研究

关联规则挖掘是数据挖掘领域中重要的研究分支,频繁项集或频繁谓词集的计算是其中的关键问题.本文针对包括多值属性的关系数据库,以多维关联规则挖掘为目标,研究频繁谓词集的计算方法,提出了MPG算法及IMPG增量算法.MPG算法通过构建频繁模式图MP-graph,按照深度优先搜索方法,动态挖掘频繁谓词集,只需扫描数据库一次.此外,该方法至多增加一次数据库扫描,就能扩展为IMPG算法,进行增量关联规则挖掘.文章分析了算法时间和空间性能,用实验说明了算法的有效性.     

对大型计算机网络中的非正常数据挖掘技术的相关研究

如今大型计算机网络中经常会出现各种各样的安全隐患,这便造成了大型计算机网络中的非正常数据挖掘情况出现异常。对此,本文便研究了一种新的大型计算机网络中的非正常数据挖掘技术,此技术是借助多种程序进行辅助的,主要包括:数据洗涤、格式转变以及模式挖掘等程序,通过以上这些程序来挖掘计算机网络中的非正常数据。本文也根据实际情况探讨了非正常数据挖掘技术、非正常数据挖掘系统以及实验检测。     

试析多媒体图像挖掘的关联规则挖掘

由于网络信息量巨大,为了快速找到所需信息,需要采用数据挖掘技术。在众多数据挖掘技术中,关联规则挖掘方法应用十分广泛。所以,在多媒体图像挖掘中应用关联规则十分重要。本文对图像挖掘和关联规则进行了简单介绍,并详细阐述了多媒体图像挖掘中的关联规则挖掘。     

试析多媒体图像挖掘的关联规则挖掘

由于网络信息量巨大,为了快速找到所需信息,需要采用数据挖掘技术。在众多数据挖掘技术中,关联规则挖掘方法应用十分广泛。所以,在多媒体图像挖掘中应用关联规则十分重要。本文对图像挖掘和关联规则进行了简单介绍,并详细阐述了多媒体图像挖掘中的关联规则挖掘。     

移动通信网络中基于集成学习的用户体验质量预测方法

用户体验质量预测是移动通信网络维护与优化中的关键问题之一。鉴于深度学习在数据挖掘和数据分析上的强大能力,本文设计了一种用于用户体验质量预测的深度神经网络,以挖掘各种关键绩效指标与用户体验质量间的关联性。同时,在此基础上,利用堆叠集成学习与快照集成学习进一步提高了深度神经网络的预测性能。实验结果表明,本文提出的基于深度神经网络与集成学习的用户体验质量预测方法的性能超过了传统机器学习与集成学习算法的性能。     

基于卷积神经网络VGG的猫狗识别

随着大数据时代的到来,数据挖掘、图像处理等已经成为了一个热门研究方向.本文的研究目的是自动识别猫狗类型,采用的是基于数据挖掘的猫狗自动识别技术.本文将位于全方位下拍摄的具有外貌复杂的猫狗图像运用卷积神经网络训练.本实验挑选前沿的深度学习框架pytorch以及计算能力强大的GPU,使用深度神经网络VGG16,分别对猫狗图像进行网络训练与测试.实验显示使用VGG16网络模型进行识别的准确率非常高,在猫狗类型识别问题上具有突出优势.     

基于深度学习技术的教育大数据挖掘领域运用探究

近年来,随着人工智能的快速发展,人们可以越来越多地感受到它在周围各个领域的应用。人工智能现在已经成为人们津津乐道的话题。在人工智能领域,机器学习是核心技术,它利用数据来提高计算机程序在执行某一任务上的性能。在当今机器学习领域中备受瞩目的一项技术,便是深度学习技术。文章结合该类技术手段的应用以及发展,阐述其在教育大数据挖掘领域的应用,总结其实践经验以及不足,以期促进相关领域的深入发展。     

动态网络表示学习研究进展

网络表示学习旨在将网络信息表示为低维稠密的实数向量,解决链接预测、异常检测、推荐系统等任务.近年来,网络表示学习研究取得重大进展,但研究多基于静态网络,而真实世界构成的网络是动态变化的,对动态网络分析的需求日益增加.本文总结了当前动态网络表示学习的方法与研究进展,首先提出网络表示学习的动机,阐述动态网络以及表示学习的发展历史与理论基础;接着,系统概述了大量动态网络嵌入方法,包括基于矩阵分解的动态图嵌入、基于随机游走的动态图嵌入、基于深度学习的动态图嵌入和基于重构概率的动态图嵌入,并分析与比较,给出动态网络表示学习的应用场景;最后,总结未来网络表示学习的研究方向.只有考虑网络的动态性,才能真实反映现实网络的演化,使网络表示学习更具价值.     

基于数据挖掘的烟草行业网络安全动态监测

为提高烟草行业网络信息的安全性,设计一个基于数据挖掘的烟草行业网络安全动态监测方法.预先对烟草行业网络安全隐患进行了分析,然后建立基于大数据的网络安全态势感知平台,最后对烟草行业网络安全态势评估方法设计,以此完成基于数据挖掘的烟草行业网络安全动态监测.     

Web日志挖掘中的数据预处理技术研究

在网络技术高速发展的今天,Web技术得到普及,通过对Web的数据挖掘,用户能够获取到所需要的数据信息、知识,同时能够对用户的访问行为、内容进行深入分析.Web日志挖掘是数据挖掘中的重点内容,借助日志挖掘的数据预处理技术,获取到用户特征,将自身的Web的服务设计进行优化,开展针对性的网络活动.基于此,在本文中对Web日志挖掘中的数据预处理技术进行研究,提出预处理算法.     

大型计算机网络中的非正常数据挖掘技术研究

大型计算机网络中的各种软件和设备均存在安全漏洞,导致以往提出的大型计算机网络中非正常数据挖掘方法无法进行合理挖掘。针对该问题,提出一种新型的大型计算机网络中非正常数据挖掘方法。所提方法通过数据洗涤、格式变换和模式挖掘等操作,挖掘出大型计算机网络中的非正常数据。使用所提方法设计的数据挖掘系统由数据挖掘器、分析模块和数据库组成,数据库为数据挖掘器和分析模块提供处理和挖掘方案。数据挖掘器实时监控着大型计算机网络中的非正常情况,并进行数据处理。分析模块使用"二次激活"方式对处理过的数据进行分析,挖掘出其中的非正常数据。实验结果表明,所提方法具有较好的收敛性,所设计的系统具有较强的可扩展性。     

基于粗糙集的多源通信网络信息分析方法

针对通信对抗多源传感器获取的通信网络信息挖掘问题,对通信信号外部技术特征和内涵信息进行形式化表示,根据传感器处理信息深度建立了域数据模型。深入分析了通信信息数据挖掘准备的方法,基于域数据模型和粗糙集理论,采用决策表分解知识发现的方法提取规则,对复杂通信网络信息挖掘过程进行了基于规则的非机理指示建模,按信号体制分类对通信网络信息挖掘模型进行组织,构建了基于规则的知识系统,应用粗糙集理论和方法实现了通联关系的挖掘,并提出了对数据挖掘模型的评价方法。     

激光云图数据深度挖掘算法设计

激光云图数据受到小扰动影响会导致挖掘精度不高,为了提高激光云图数据的挖掘效能,提出激光云图数据深度挖掘算法设计,采用数理统计理论建立激光云图数据深度挖掘的状态特征方程,以多元线性回归分析方法构建激光云图数据准确深度挖掘的收敛约束条件,采集样本均值检验进行激光云图数据深度挖掘的稳定特征优化解求解,在有限论域内实现激光云图数据挖掘的深度置信区间准确计算,实现激光云图数据的深度挖掘。采用Excel和Access技术实现激光云图数据采集和数据库建设,在云计算环境下实现激光云图数据的交叉编译和多模控制,结合嵌入式的数学加载模式实现对激光云图数据深度挖掘系统的优化设计。测试结果表明,采用所提方法(KNN&NB)进行激光云图数据挖掘的准确率维持在95%以上,且召回率最高达到97%,挖掘时间在1 s左右,采用该系统进行激光云图数据挖掘的精度较高,稳定性较好。     

动态场景下深度自监督多曝光图像融合方法

近年来,面向动态场景的多曝光图像融合技术取得重大进展.其中,基于深度学习的方法在视觉效果和运算效率上都远超传统算法,成为高动态范围成像技术的主流.然而,现有基于深度学习的融合方法都以有监督学习的方式实现,过度依赖真值图像,难以被广泛应用于实际场景中.本文提出了一个基于深度自监督学习的动态多曝光图像融合网络,主要贡献包括：设计自监督的动态多曝光融合网络框架,探索高动态范围图像与低动态范围图像序列的内在关联;提出基于注意力机制的全局去伪影模块,使用全局文本模块减少动态融合产生的运动伪影,增强图像细节;提出融合重建模块,通过残差和稠密连接实现多层次特征之间的信息流动;设计运动掩膜引导的自监督损失函数,用于网络的高效训练.实验表明,与现有方法相比,本文提出的方法在高动态范围图像重建的主观和客观质量上均表现较好,运算效率显著提升.