基于Web Service技术分布式并行数据挖掘的研究与实现

主要介绍基于Web Service技术的一个数据挖掘系统,在一个关联规则挖掘的并行算法—CD算法的基础上,结合一种基于动态数据集划分的并行关联规则挖掘算法,利用动态方式分配数据量,使每个处理器获得相同多的数据集,解决在网络中大量分散的数据因通信等问题而引起的负载平衡,从而提高了数据挖掘效率。     

基于第三方测试缺陷库的数据挖掘分析方法研究

目前,第三方测试服务由于其特有的独立性、公平性在软件行业的质量保证环节,占据了越来越重要的地位。第三方测试服务机构通过大量的测试服务积累了海量数据的测试缺陷库,但是如何利用第三方测试缺陷库庞大的测试缺陷数据更好地服务于被测厂商,提高我国软件行业的质量还处于空白。本文通过分析第三方测试缺陷库特征,结合数据挖掘中的关联分析和聚类分析算法对测试缺陷库中的缺陷进行了分析,通过分析结果能够更有效地提高测试效率、保证测试的可靠性、提高被测软件质量。     

基于BP神经网络的网络故障预测实验简

神经网络具有能够逼近任意非线性函数关系的能力和比较方便的学习手段,因此,它可以用来作为一种复杂工业过程建模的新型方法。本文针对常用BP算法进行了深入的分析和仿真,并利用BP网络对基于大规模网络的故障管理进行针对性实验。     

基于数据挖掘的图书馆数据预处理方法研究

通过挖掘高校图书馆大量的借阅历史数据,从中提取出切实有用的信息及有效的借阅规则,可为读者提供个性化的推荐服务,进而提高图书馆馆藏图书的流通率。但是,高校图书馆数据具有类型复杂、数据量庞大、冗余值较多等特点,很大程度上影响了挖掘效率。因此,在对图书馆数据挖掘之前,先对这些数据进行预处理,就可很好地解决挖掘效率问题。本文结合内蒙古工业大学图书馆一段时间的流通数据,借助SQL Server2012数据库管理工具,详细研究了基于数据挖掘的数据清洗、数据转换和数据规约3种图书馆数据的预处理方法。     

基于大数据的设备故障预测

针对有线电视网络设备的运维和管理,基于有线运营商采集到的大体量的设备性能指标及告警信息,采用决策树构建设备故障预测模型,从而根据设备当前的性能值,预测设备故障告警级别.该模型在运营商提供的真实数据上得到了较好的实验结果,对设备故障预测具有极大的实用性.     

数字经济与大数据企业跨境数据合规专栏之——大数据企业数据跨境实践的壁垒

无论欧盟、美国,还是中国,一个能为多方接受的、通用的数据保护政策,才符合当今经济全球化背景下各方的利益,然而隐私保护和数据跨境的立法差异,使得各国大数据企业做出了不尽相同的探索和实践.跨国企业的数据跨境实践对我国逐步完善个人信息保护法和数据安全法具有启示作用,对其他跨国企业,或有着跨国愿景的大数据企业具有很好的参考价值...     

数据挖掘过程中的数据清洗研究

随着科技信息的发展,数据质量问题一直是数据挖掘过程中密切关注的问题.首先,对大数据时代下数据挖掘的基本过程进行阐述,分析数据清洗需要处理的问题,同时说明数据清洗的原理、进行数据清洗的系统框架.最后提出进行数据清洗应当注重的大数据思维和数据清洗发展方向.     

网络智能分析系统的设计与实现

网络数据是一座金矿,尤其是基于网络相关的信令类数据,包含了用户的各种行为特征和信息。本文详细描述了基于网络信令数据的分析平台搭建,重点针对大数据处理,数据存储和分析,以及智能化应用几个层面来分别阐述和介绍设计思路和实现原理,为面向客户和业务的网络智能分析系统建设提供参考。     

基于大数据匹配的大学生心理健康因素分析算法研究

针对大学生心理健康问题相关数据的采集与分析需求,文中提出了一种基于大数据匹配的心理健康因素分析算法.通过数据的采集与预处理,实现社交模型、情感模型和兴趣模型的融合.文中分析计算了信息数据集合信息熵与信息增益率,利用剪枝决策树算法,可在最大程度分析处理相关数据的同时,使用后向剪枝理论去除不必要的根节点,从而避免了过拟合....     

面向大数据的高维数据挖掘研究

大数据时代的发展与变化实现了较快的传输方向和多样化的数据模式,特别是高维挖掘技术的不断应用,在大数据处理以及分析等方向上为人们的生产与生活提供较大方便。所以本文根据该模式的不断创新和应用,对大数据中的高维数据挖掘技术进行研究,并保证数据在变化与实现方式下的质量发展。     

基于决策树的数据挖掘在电信CRM中应用研究

针对电信CRM中“数据丰富但知识贫乏”现象，提出数据挖掘技术，利用SUQ决策树构造算法建立一棵决策树模型，在CRM中根据客户的年龄、所属城市和性别对客户分类，预测客户类型，防止用户流失，争取新用户具有重要意义。     

基于数据挖掘的校园运动研究

体质测试作为反馈大学生体质健康水平的根本途径,为高校开展学生健康干预工作提供了数据支撑,但如何对体测数据进行科学分析及合理使用也变得尤为重要。文章通过数据挖掘技术研究大学生体测数据,分别采用决策树、朴素贝叶斯、贝叶斯神经网络对体测数据进行预测,结果显示,贝叶斯神经网络的预测准确率最高。利用CART决策树对体测数据进行分类,由此可得到最优决策树,由最优决策树分析影响大学生体质水平的重要因素,进一步探讨体测成绩对大学生身体素质的影响和作用,从而提高大学生参与校园运动的热情和兴趣。     

一种多层次分布式数据挖掘方法的改进研究

针对多层次分布式数据存在高维特征和类间不平衡因素的问题,提出一种基于随机决策树检索模型的数据挖掘技术。采用随机相位重组方法进行分布式数据的层次空间重构,在重构的层次空间中提取多层次分布式数据的关联维特征量,采用高阶特征压缩方法进行降维处理,实现分布式数据的自适应挖掘。仿真结果表明,采用该方法进行数据挖掘的准确性能较好、查准率较高、计算开销降低、性能优越。     

基于数据可视化技术的数据挖掘系统及其应用

针对数据挖掘系统中过程的不可见性问题，根据可视化技术与数据挖掘技术相结合的理论，采用高维数据聚集以及回归分析等方法，解决了数据挖掘各个部分的可视化。实验结果表明，可视化技术与数据挖掘技术相结合可以解决数据挖掘的不可见问题，提高了用户对数据挖掘系统的信任度。     

基于决策树算法的信息系统数据挖掘研究

为了提高数据挖掘准确性和效率,文中提出了基于决策树算法的信息系统数据挖掘方法.以C4.5决策树算法计算属性的信息增益率和属性值的信息熵为基础,提出基于余弦相似度改进的C4.5决策树算法,若任意两个属性值的信息熵之差在阈值范围内,通过计算其余弦相似度合并在阈值范围内的属性值,并重新计算合并后属性的信息增益率,实现信息系统...     

数据开采若干新方法研究

决策离不开知识，从数据库中采掘知识、是解决信息爆炸和知识贫乏的有效途径。文中就当前数据开采的几种新方法，即粗集、语气理论和云模型等方法的研究现状进行了评述，指出其存在的问题，最后指出数据开采方法面临的挑战。     

基于云服务的政府舆情监测平台架构的设计与实现

为了提高政府舆情监测的能力,加强对舆情的管理,解决Web2．0环境下技术进步、社会环境演化给政府管理模式重构所带来的机遇与挑战的问题,利用云服务和Web数据采集技术,提出了一个面向云服务的政府信息化管理平台。重点研究了面向云服务的政府信息化管理与舆情传播控制模式、本地化分析处理系统功能结构、舆情监测内部门户网站和互联网信息智能采集的功能模块和物理结构。应用结果表明,该方案结合云服务平台和Web的数据挖掘技术,实现政府信息化管理水平,提高舆情监测能力和解决效率。