大数据视野下的数据挖掘技术应用分析

大数据技术在当前时代给企事业单位带来的冲击是非常大的,很多企事业单位都在布局大数据,为信息化建设提供了丰富的数据基础,大数据分析成为企事业单位做决策时的一种重要方法。笔者基于大数据分析,探索了大数据技术的核心,即数据挖掘技术,并通过实际应用场景来探索数据挖掘的具体应用方式,希望可以为大数据的应用提供一些参考的意见。     

旅游大数据与挖掘分析研究

随着云计算、大数据等新兴技术的快速发展,旅游大数据已经引起广大学者的关注。该文介绍了大数据概念及旅游大数据的发展需求,概述了数据挖掘常用技术以及旅游大数据的挖掘技术,最后给出了数据挖掘在旅游行业的应用方向。     

大数据技术在水利统计查询分析系统中的应用

目前水利统计信息系统收录了全国各省市、自治区的农业灌溉、供用水、水土保持、水利建设投资、 农村水电、水文站网等行业数据,这些数据来源渠道广、涉及维度多、信息量级大,传统的数据分析手段已经很难满足水利业务分析的需要。为解决水利统计数据体量大、类型多、分析慢的问题,基于大数据技术提出包含从数据接入到业务应用的架构体系,设计综合展示、空间分析、智能分析及多维分析等功能模块,建立基于大数据技术的水利统计查询分析系统。结果表明：大数据水利统计查询分析系统不仅能够满足水利统计业务分析的需要,而且可以统筹分析不同类别、频率的数据,为水利统计查询分析业务提供平台支撑,同时也为大数据技术应用于其他行业提供参考。     

数据挖掘技术在案件侦察决策中的应用

侦察决策是侦察者通过对案件进行分析后作出的侦察选择或者决定。在案件侦察过程中,采用数据挖掘技术开采海量的侦察数据,从中发现有价值的信息,是刻画案情和决策侦察行为的重要环节。因此,论文提出了一个基于数据挖掘技术的侦察决策辅助支持系统,探讨了该系统的核心功能。在数据挖掘方面,主要采用数据聚类和关联规则技术,并且通过使用案件侦破后修正规则库的手段,使该系统对规则具有一定的自我学习的智能功能。解决了海量的侦察数据与有价值的数据之间的矛盾,挖掘出可能的有价值的犯罪过程和犯罪信息,使侦察决策的形成更具有科学性和现实性。     

数据挖掘技术在医疗大数据中的应用研究

医疗行业的发展扩大了医疗数据信息种类与数量,这将直接影响医院医疗水平与服务水平和医院核心竞争力。本文以医疗大数据为研究对象,提出了基于遗传算法的K-means 改进聚类方法,并以医疗费用数据为例展开分析,为提高医疗服务质量提供有效数据信息。     

半监督学习在研究生调剂中的应用

研究生调剂是研究生招生中的重要环节。传统的调剂方法都是通过手工操作的,考生很难从往年大量的调剂数据中分析出规律,选报合适的学校。提出了基于半监督学习的数据挖掘方法,也即是从已知类别的训练样本提取出其中的关联规则作为分类的监督信息,并结合非监督学习方法中的K-mean聚类算法,对大量未标识样本进行分类的算法,此方法克服了研究生调剂涉及因素繁多,无法准确填报的弊端。该方法实现过程简单,分类准确,可推广性较强。     

关联规则算法在医疗大数据中的应用探索

随着中国互联网越来越快的发展,互联网+、大数据和人工智能技术等最新科技技术也越来越多的渗透到医疗领域,对于提升多种疾病的筛查和诊断效率作用明显,而大数据处理技术上仍然面对着许多难题。本课题针对智慧医疗发展的难点之一,将大数据处理技术和医疗海量数据相结合,应用Apriori关联规则算法在医疗信息系统中海量医疗数据中的应用,发现疾病与其他疾病之间的联系,从而为人们的健康预警及医疗机构对疾病的诊断提供科学依据参考,本文实验数据以心肌炎和胃癌为例,发现与病症相关性强的病因。     

基于大数据技术的移动学习分析系统设计

近几年,移动学习发展迅速,多种网络服务与移动学习充分融合。目前,大数据技术在各领域成为研究热点,越来越多的研究者将大数据分析方法应用到移动学习中。基于此,结合移动学习分析的需求,基于大数据技术设计了移动学习分析系统,为不同的学生建立了学习模型,打造了个性化的学习路径,每个人的学习内容将不再千篇一律,可根据用户的个性化学习动态进行呈现。     

基于MOOC的大数据分析技术

MOOC近几年发展迅猛,在使用过程中,大规模的学习者和海量的教学资源积累了庞大的学习行为数据。因此,基于MOOC的大数据分析成为了一个新兴的研究热点,其分析框架中涉及的四大核心是：大数据从哪里获取（Where）、MOOC大数据的类型（What）、如何进行大数据分析（How）和大数据分析应用（Do）。本文通过对MOOC现状的分析、特征及分类的梳理,提出一种Where-What-How-Do大数据分析框架,并对上述的四大核心进行阐述和回答。最后,结合Canvas Network数据集进行聚类分析和多元回归分析,得出关于MOOC数据的一些启示和应用。      

面向大数据分析的在线学习算法综述

大数据时代,越来越多的领域出现了对海量、高速数据进行实时处理的需求.如何对大数据流进行抽取转化成有用的信息并应用于各行各业变得越来越重要.传统的批量机器学习技术在大数据分析的应用中存在许多限制.在线学习技术采用流式计算模式,在内存中直接进行数据的实时计算,为流数据的学习提供了有利的工具.介绍了大数据分析的动机与背景,集中展示经典和最新的在线学习方法与算法,这种在线学习体系很有希望解决各种大数据挖掘任务面临的困难与挑战.主要技术内容包括3方面: 1) 线性模型在线学习;2) 基于核的非线性模型在线学习;3) 非传统的在线学习方法.各类方法尽量给出详细的模型和伪代码,讨论面向大数据分析的大规模机器学习研究与应用中的关键问题;给出大数据在线学习的3种典型应用场景,并探讨现今或将来在线学习领域进一步的研究方向.     

面向大数据分析作业的启发式云资源供给方法

云计算已成为大数据分析作业的主流运行支撑环境,选择合适的云资源优化其性能面临巨大挑战.当前研究主要考虑大数据分析框架(如Hadoop,Spark等)的多样性,采用机器学习方法进行资源供给,但样本少容易陷入局部最优解.提出了大数据环境下基于负载分类的启发式云资源供给方法RP-CH,基于云资源共享特点,获取其他大数据分析作业的运行时监测和云资源配置信息,建立负载分类与优化云资源配置的启发式规则,并将该规则作用到贝叶斯优化算法的收益函数.基于HiBench,SparkBench测试基准的结果显示:RP-CH相对于已有方法 CherryPick、大数据分析作业的性能平均提升了58%,成本平均减少了44%.     

大数据可视分析综述

可视分析是大数据分析的重要方法.大数据可视分析旨在利用计算机自动化分析能力的同时,充分挖掘人对于可视化信息的认知能力优势,将人、机的各自强项进行有机融合,借助人机交互式分析方法和交互技术,辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧.主要从可视分析领域所强调的认知、可视化、人机交互的综合视角出发,分析了支持大数据可视分析的基础理论,包括支持分析过程的认知理论、信息可视化理论、人机交互与用户界面理论.在此基础上,讨论了面向大数据主流应用的信息可视化技术——面向文本、网络(图)、时空、多维的可视化技术.同时探讨了支持可视分析的人机交互技术,包括支持可视分析过程的界面隐喻与交互组件、多尺度/多焦点/多侧面交互技术、面向Post-WIMP的自然交互技术.最后,指出了大数据可视分析领域面临的瓶颈问题与技术挑战.     

数据挖掘技术在高职毕业生跟踪调查中的应用

随着职业院校的不断发展以及技术的进步,数据挖掘分析已经在教育行业得到越来越多的应用。利用近几年的毕业生调查数据,经过数据清理及集成,运用EXCEL为数据挖掘分析的工具,采用了关联和聚类算法,找到了毕业生就业规律,相应地提出了提高人才培养质量和就业质量的对策和方法,最终让数据分析的成果为高职院校的改革发展提供了科学的依据。     

Big Data Analytics Services for Enhancing Business Intelligence

This article examines how to use big data analytics services to enhance business intelligence (BI). More specifically, this article proposes an ontology of big data analytics and presents a big data analytics service-oriented architecture (BASOA), and then applies BASOA to BI, where our surveyed data analysis shows that the proposed BASOA is viable for enhancing BI and enterprise information systems. This article also explores temporality, expectability, and relativity as the characteristics of intelligence in BI. These characteristics are what customers and decision makers expect from BI in terms of systems, products, and services of organizations. The proposed approach in this article might facilitate the research and development of business analytics, big data analytics, and BI as well as big data science and big data computing.     

Big Data Analytics with Optimal Deep Learning Model for Medical Image Classification

In recent years, huge volumes of healthcare data are getting generated in various forms. The advancements made in medical imaging are tremendous owing to which biomedical image acquisition has become easier and quicker. Due to such massive generation of big data, the utilization of new methods based on Big Data Analytics (BDA), Machine Learning (ML), and Artificial Intelligence (AI) have become essential. In this aspect, the current research work develops a new Big Data Analytics with Cat Swarm Optimization based deep Learning (BDA-CSODL) technique for medical image classification on Apache Spark environment. The aim of the proposed BDA-CSODL technique is to classify the medical images and diagnose the disease accurately. BDA-CSODL technique involves different stages of operations such as preprocessing, segmentation, feature extraction, and classification. In addition, BDA-CSODL technique also follows multi-level thresholding-based image segmentation approach for the detection of infected regions in medical image. Moreover, a deep convolutional neural network-based Inception v3 method is utilized in this study as feature extractor. Stochastic Gradient Descent (SGD) model is used for parameter tuning process. Furthermore, CSO with Long Short-Term Memory (CSO-LSTM) model is employed as a classification model to determine the appropriate class labels to it. Both SGD and CSO design approaches help in improving the overall image classification performance of the proposed BDA-CSODL technique. A wide range of simulations was conducted on benchmark medical image datasets and the comprehensive comparative results demonstrate the supremacy of the proposed BDA-CSODL technique under different measures.     

Apollo:Rapidly Picking the Optimal Cloud Configurations for Big Data Analytics Using a Data-Driven Approach

Big data analytics applications are increasingly deployed on cloud computing infrastructures,and it is still a big challenge to pick the optimal cloud configurations in a cost-effective way.In this paper,we address this problem with a high accuracy and a low overhead.We propose Apollo,a data-driven approach that can rapidly pick the optimal cloud configurations by reusing data from similar workloads.We first classify 12 typical workloads in BigDataBench by characterizing pairwise correlations in our offline benchmarks.When a new workload comes,we run it with several small datasets to rank its key characteristics and get its similar workloads.Based on the rank,we then limit the search space of cloud configurations through a classification mechanism.At last,we leverage a hierarchical regression model to measure which cluster is more suitable and use a local search strategy to pick the optimal cloud configurations in a few extra tests.Our evaluation on 12 typical workloads in HiBench shows that compared with state-of-the-art approaches,Apollo can improve up to 30％ search accuracy,while reducing as much as 50％ overhead for picking the optimal cloud configurations.     

大数据分析平台建设与应用综述

大数据分析平台是开展大数据处理与分析应用所必需的基础设施。文章基于课题组开展大数据分析平台建设的科研成果与实践经验,结合大型企业实施行业应用项目的切身感受,从大数据分析平台设计、主流热点技术、行业应用案例三个方面进行介绍。文章首先分析了大数据分析平台的主要功能和体系架构,然后介绍了大数据分析平台的关键技术,重点介绍了 Spark技术的体系架构及核心组件,最后介绍了大数据技术在大规模制造业、零售业和智能电网三个领域的应用案例。