Big Data Analytics with Optimal Deep Learning Model for Medical Image Classification

In recent years, huge volumes of healthcare data are getting generated in various forms. The advancements made in medical imaging are tremendous owing to which biomedical image acquisition has become easier and quicker. Due to such massive generation of big data, the utilization of new methods based on Big Data Analytics (BDA), Machine Learning (ML), and Artificial Intelligence (AI) have become essential. In this aspect, the current research work develops a new Big Data Analytics with Cat Swarm Optimization based deep Learning (BDA-CSODL) technique for medical image classification on Apache Spark environment. The aim of the proposed BDA-CSODL technique is to classify the medical images and diagnose the disease accurately. BDA-CSODL technique involves different stages of operations such as preprocessing, segmentation, feature extraction, and classification. In addition, BDA-CSODL technique also follows multi-level thresholding-based image segmentation approach for the detection of infected regions in medical image. Moreover, a deep convolutional neural network-based Inception v3 method is utilized in this study as feature extractor. Stochastic Gradient Descent (SGD) model is used for parameter tuning process. Furthermore, CSO with Long Short-Term Memory (CSO-LSTM) model is employed as a classification model to determine the appropriate class labels to it. Both SGD and CSO design approaches help in improving the overall image classification performance of the proposed BDA-CSODL technique. A wide range of simulations was conducted on benchmark medical image datasets and the comprehensive comparative results demonstrate the supremacy of the proposed BDA-CSODL technique under different measures.     

基于决策树算法的医疗大数据填补及分类仿真

从大数据的基本特点和医疗大数据研究现状出发,分析处理过程中存在的问题,提出在决策树算法下的医疗大数据填补及分类方法.分析医疗数据的关联规则,采用关联分析(Apriori)算法和频繁模式树(Frequent Pattern Growth,FP-Growth)算法挖掘数据.以挖掘数据为基础填补其中的缺失数据,按照医疗数据特...     

基于聚类的分类分析自适应入侵检测模型

基于数据挖掘的入侵检测系统由于引入了数据挖掘技术,很好的解决了传统入侵检测系统中自适应性和扩展性的问题。在数据挖掘中．聚类分析和分类分析是重要的技术,该文将这两种技术引入入侵检测模型,提出了一种基于聚类的分类分析自适应入侵检测模型。     

基于聚类的分类分析自适应入侵检测模型

基于数据挖掘的入侵检测系统由于引入了数据挖掘技术,很好的解决了传统入侵检测系统中自适应性和扩展性的问题。在数据挖掘中,聚类分析和分类分析是重要的技术,该文将这两种技术引入入侵检测模型,提出了一种基于聚类的分类分析自适应入侵检测模型。     

基于一趟聚类的不平衡数据下抽样算法

抽样是处理不平衡数据集的一种常用方法,其主要思想是改变类别的分布,缩小稀有类与多数类的分布比例差距.提出一种基于一趟聚类的下抽样方法,根据聚类后簇的特征与数据倾斜程度确定抽样比例,按照每个簇的抽样比例对该簇进行抽样,密度大的簇少抽,密度小的簇多抽或全抽.在压缩数据集的同时,保证了少数类的数量.实验结果表明,本文提出的抽样方法使不平衡数据样本具有较高的代表性,聚类与分类性能得到了提高.     

基于大数据的台区行业聚合分类方法及分类特征分析

在研究台区近中期负荷预测方法的过程中,遇到了如何利用大数据识别台区进行行业分类的问题。经过研究,将这个问题分为台区行业分类方法和行业负荷特征两方面。台区行业分类确定了以用电类别作为一级分类,以及运用数据挖掘中的k-means算法对台区典型日年（最大）负荷曲线进行聚类的二级分类共同组成的分类方法;行业负荷特征研究在台区行业分类的基础上,分析行业负荷特征,包括典型日负荷特征和年负荷特征。并以此方法在深圳大数据平台对深圳市台区进行行业分类和分类特征分析。行业分类中将公专变台区一级分类后,都居民生活台区进行聚类分析,分别形成以居民负荷和学校负荷为主的两类。行业负荷特征分析中以学校台区为例,以学生是否住宿为分别,可以区分出走读类学校和住宿类学校。结果表明,此方法效果良好。     

融合深度学习和聚类分析的自适应图像聚类

针对卷积神经网络应用于图像分类任务时需要大量有标签数据的问题,提出一种融合卷积神经网络和聚类分析的无监督分类模型,将无监督算法引入深度学习,并将该模型应用到图像分类领域,来弥补现有分类方式的不足.首先对经典卷积神经网络AlexNet从网络结构和模型训练两个方面进行优化;然后利用改进后的自适应快速峰值聚类算法指导聚类过程...     

基于连续聚类与组合分类的RFID事件探测

RFID数据流随着时间而不断变化,捕捉其中蕴含的变化可以用于检测有意义事件的发生.提出了一种捕获数据流事件的算法--CECD,通过分析聚类结果分布变化和值域中产生的偏差检测数据流中蕴含的变化,同时采用组合分类技术对变化进行分类,捕获观察到的事件或现象的特性,建立事件与响应的映射关系.实验证明提出的框架可以高效检测数据流上的变化,与不借助变化检测的单纯基于规则的事件检测方法相比可以更准确地捕获事件.     

基于深度学习的数据融合方法研究综述

数据融合是最大程度发挥大数据价值的关键,深度学习是挖掘数据深层特征信息的技术利器,基于深度学习的数据融合能够充分挖掘大数据潜在价值,从新的深度和广度拓展对世界的探索和认识。综述了近几年基于深度学习的数据融合方法的相关文献,以此了解深度学习在数据融合中应用所具有的优势。分类阐述常见的数据融合方法,同时指出这些方法的优点和不足。从基于深度学习特征提取的数据融合方法、基于深度学习融合的数据融合方法、基于深度学习全过程的数据融合方法三个方面对基于深度学习的数据融合方法进行分析,并做了对比研究与总结。总结全文并讨论了深度学习在数据融合中应用的难点和未来需要进一步研究的问题。     

基于Spark的大数据聚类研究及系统实现

传统聚类算法由于单机内存和运算能力的限制已经不能满足当前大数据处理的要求,因而迫切需要寻找新的解决方法。针对单机内存运算问题,结合聚类算法的迭代计算特点,提出并实现了一种基于Spark平台的聚类系统。针对稀疏集和密集集两种不同类型的数据集,系统首先采用不同策略实现数据预处理;其次分析比较了不同聚类算法在Spark平台下的聚类性能,并给出最佳方案;最后利用数据持久化技术提高了计算速度。实验结果表明,所提系统能够有效满足海量数据聚类分析的任务要求。     

大数据聚类算法综述

随着数据量的迅速增加,如何对大规模数据进行有效的聚类成为挑战性的研究课题。面向大数据的聚类算法对传统金融行业的股票投资分析、互联网金融行业中的客户细分等金融应用领域具有重要价值。对已有的大数据聚类算法进行了详细划分,并比较了每种聚类算法的优缺点,进一步总结了已有研究存在的问题,最后对未来的研究方向进行了展望。     

Hyperspectral Remote Sensing Image Classification Using Improved Metaheuristic with Deep Learning

Remote sensing image (RSI) classifier roles a vital play in earth observation technology utilizing Remote sensing (RS) data are extremely exploited from both military and civil fields. More recently, as novel DL approaches develop, techniques for RSI classifiers with DL have attained important breakthroughs, providing a new opportunity for the research and development of RSI classifiers. This study introduces an Improved Slime Mould Optimization with a graph convolutional network for the hyperspectral remote sensing image classification (ISMOGCN-HRSC) model. The ISMOGCN-HRSC model majorly concentrates on identifying and classifying distinct kinds of RSIs. In the presented ISMOGCN-HRSC model, the synergic deep learning (SDL) model is exploited to produce feature vectors. The GCN model is utilized for image classification purposes to identify the proper class labels of the RSIs. The ISMO algorithm is used to enhance the classification efficiency of the GCN method, which is derived by integrating chaotic concepts into the SMO algorithm. The experimental assessment of the ISMOGCN-HRSC method is tested using a benchmark dataset.     

一种基于聚类的文本迁移学习算法

当现有训练数据过期,而新数据又非常少时,运用迁移学习能够有效提高分类器性能。本文提出一种基于聚类的文本迁移学习算法,给出了算法的主要思想及实现步骤。然后,在中文文本语料库上进行了实验,并与非迁移学习算法进行了比较。实验证明该方法能有效提高分类器性能。     

基于混沌关联维特征提取的大数据聚类算法

大数据聚类过程是一个随机的非线性处理过程,具有很高的不确定性。 由于传统方法需要先验知识进行学习,不能很好地适应大数据的实时变化情况,无法有效实现大数据聚类,因此提出一种基于混沌关联特征提取的大数据聚类算法。分析了传统方法的弊端,通过重构相空间建立了一个多维的状态空间向量与混沌轨迹,使原系统中很多几何特征量保持不变,为分析原系统的混沌特征提供有效依据。将平均互信息量取第一个最小值时的横坐标所指的时间延迟作为重构相空间的最佳时间延迟,采用虚假最近邻点算法对最佳嵌入维数进行选择。将提取的关联维数这一特征量作为大数据聚类的混沌特征量,依据提取的混沌关联维特征对大数据进行聚类。仿真实验表明,所提算法能够有效提高数据的聚类效率,减少能耗,是一种有效的数据聚类方法。     

基于单簇聚类的数据描述

文中提出了一种基于单簇可能性C-均值聚类(Possibilistjc C-Means,PCM)的数据描述方法并用于单分类.训练时,其首先进行P1M(PCM,C值取1)聚类,得到所有训练样本对目标类的隶属度;然后设置隶属度阈值,形成相应的数据描述进行单分类.分类时,计算新样本对目标类的隶属度,若其隶属度小于该阈值则判为异常,否则为正常.该方法和当前流行的支持向量域数据描述方法以及Parzen方法窗具有类似的参数配置和相当的分类性能,由此提供了另一种单分类学习算法.值得指出的是,尽管是PCM的一个特例,但P1M拥有PCM一般不具备的全局最优特性,而该特性对解决实际问题十分重要.     

基于改进贝叶斯网络的健康大数据分类模型

贝叶斯网络是数据挖掘领域的研究热点,它是一种确定事物间不确定性依赖关系的有效工具。本文研究传统贝叶斯网络结构学习算法的优点和不足,并针对原算法的不足之处提出了改进。将改进后的算法应用于健康大数据集上,确定了数据集中各个健康属性之间的依赖关系,建立了相关属性依赖关系的网络结构。最终运用该网络结构对数据集中的数据进行自动分类。实验结果表明,本文基于贝叶斯网络建立的健康大数据分类模型具有良好的性能,实现了预期效果。     

大数据中心存储信息分层分类优化提取仿真

目前信息分类提取方法不能满足用户在大数据时代下的信息获取速度需求,为此,提出了基于大数据中心存储信息分层分类优化的信息提取方法。提取数据信息的特征,对得到的信息特征进行校对和调整,在获得存储机制下大量信息的关键特征后,采用信息校验方法消除冗余信息,在信息的校验过程中获取冗余信息的二维坐标,根据这个坐标进行二次检验,确保冗余信息完全消除。利用获取的信息关键特征系数,对比校验区域信息,完成对信息的精确检测,保证信息分类分层优化的有效性。将优化后的信息作为分层分类信息提取的样本,通过条件假设和似然比对事件的发生概率的计算结果确定事件的发生概率,实现对分层分类优化后信息的提取。仿真结果证明,所提方法在提取大数据中心存储信息时,具有速度快、准确率高、信息损失量低等特点。     

基于聚类和关联规则的挖掘算法

数据挖掘技术中关联规则可以很好地发现数据项之间存在的相互关系,同时有大量的挖掘算法可供选择。聚类分析就是通过分析数据库中的记录数据,根据一定的分类规则合理地划分记录集合,确定每个记录所在类别。它所采用的分类规则是由聚类分析工具决定的。本文研究 聚类和关联规则的挖掘算法。     

MapReduce大数据处理平台与算法研究进展

本文综述了近年来基于MapReduce编程模型的大数据处理平台与算法的研究进展。首先介绍了12个典型的基于MapReduce的大数据处理平台,分析对比它们的实现原理和适用场景,抽象它们的共性。随后介绍基于MapReduce的大数据分析算法,包括搜索算法、数据清洗/变换算法、聚集算法、连接算法、排序算法、偏好查询、最优化算法、图算法、数据挖掘算法。将这些算法按MapReduce实现方式分类,分析影响这算法性能的因素。最后,将大数据处理算法抽象为外存算法,并对外存算法的特征加以梳理,提出了普适的外存算法性能优化方法的研究思路和研究问题,以供研究人员参考。具体包括优化外存算法的磁盘I/O,优化外存算法的局部性,以及设计增量式迭代算法。现有大数据处理平台和算法研究多集中在基于资源分配和任务调度的平台动态性能优化、特定算法并行化、特定算法性能优化等领域,本文提出的外存算法性能优化属于静态优化方法,是现有研究的良好补充,为研究人员提供了广阔的研究空间。     

基于MapReduce的分布式网络数据聚类算法

时空复杂度较高以及物理机器内存不足,会导致传统聚类算法不能有效地分析处理大规模数据网络.针对该问题,在MapReduce分布式模型的基础上,提出一种网络数据分布式聚类算法.根据MRC理论设计有限MapReduce轮数,控制混洗过程所需时间,利用Map内合并技术对网络流量进行控制,在进行中间结果合并时仅对社团合并,而不考虑社团内部节点,以控制内存开销.使用模拟生成的数据在集群中进行实验,结果表明,当数据规模和集群规模增大时,该算法具有较好的加速比和扩展性.