Big Data Analytics with Optimal Deep Learning Model for Medical Image Classification

In recent years, huge volumes of healthcare data are getting generated in various forms. The advancements made in medical imaging are tremendous owing to which biomedical image acquisition has become easier and quicker. Due to such massive generation of big data, the utilization of new methods based on Big Data Analytics (BDA), Machine Learning (ML), and Artificial Intelligence (AI) have become essential. In this aspect, the current research work develops a new Big Data Analytics with Cat Swarm Optimization based deep Learning (BDA-CSODL) technique for medical image classification on Apache Spark environment. The aim of the proposed BDA-CSODL technique is to classify the medical images and diagnose the disease accurately. BDA-CSODL technique involves different stages of operations such as preprocessing, segmentation, feature extraction, and classification. In addition, BDA-CSODL technique also follows multi-level thresholding-based image segmentation approach for the detection of infected regions in medical image. Moreover, a deep convolutional neural network-based Inception v3 method is utilized in this study as feature extractor. Stochastic Gradient Descent (SGD) model is used for parameter tuning process. Furthermore, CSO with Long Short-Term Memory (CSO-LSTM) model is employed as a classification model to determine the appropriate class labels to it. Both SGD and CSO design approaches help in improving the overall image classification performance of the proposed BDA-CSODL technique. A wide range of simulations was conducted on benchmark medical image datasets and the comprehensive comparative results demonstrate the supremacy of the proposed BDA-CSODL technique under different measures.     

State of the Art of Visual Analytics for eXplainable Deep Learning

The use and creation of machine-learning-based solutions to solve problems or reduce their computational costs are becoming increasingly widespread in many domains. Deep Learning plays a large part in this growth. However, it has drawbacks such as a lack of explainability and behaving as a black-box model. During the last few years, Visual Analytics has provided several proposals to cope with these drawbacks, supporting the emerging eXplainable Deep Learning field. This survey aims to (i) systematically report the contributions of Visual Analytics for eXplainable Deep Learning; (ii) spot gaps and challenges; (iii) serve as an anthology of visual analytical solutions ready to be exploited and put into operation by the Deep Learning community (architects, trainers and end users) and (iv) prove the degree of maturity, ease of integration and results for specific domains. The survey concludes by identifying future research challenges and bridging activities that are helpful to strengthen the role of Visual Analytics as effective support for eXplainable Deep Learning and to foster the adoption of Visual Analytics solutions in the eXplainable Deep Learning community. An interactive explorable version of this survey is available online at https://aware-diag-sapienza.github.io/VA4XDL .     

基于深度学习的阿尔兹海默症多模态辅助诊断研究

阿尔兹海默症(Alzheimer's Disease,AD)是一种在老年人群中常见的痴呆疾病,由于病程不可逆且无法治愈,常会对病人的生活质量产生极大影响,因此尽早诊断病情并对病程加以干预是唯一有效的手段。由于良好的实验效果,深度学习模型在医学图像领域受到了越来越多研究者的关注,但深度学习方法常需要较大的数据量作为支撑,而医学图像由于设备成本以及病例数量的限制,常存在着数据量不足的问题,因而在某些情况下会出现过拟合的问题。提出一种参数高效的深度学习模型,引入了可分离卷积、全局平均池化、残差结构,使得模型参数量成倍地减少,同时引入多模态数据,增大了输入样本的信息量,以求减少过拟合问题。最后,通过对照试验,验证了该文所提出模型的优越性。     

一种只利用序列信息预测RNA结合蛋白的深度学习模型

RNA结合蛋白在选择性剪贴、RNA编辑及甲基化等多种生物功能中发挥非常重要的作用,从氨基酸序列预测这些蛋白的功能成为基因组功能注释领域的重要挑战之一. 传统的预测方法往往从序列中提取氨基酸的理化特性作为初始特征,忽略了motif及motif之间的位置信息,同时由于训练数据规模小、噪声大,导致预测的精度及可信度降低. 在此提出了一种从序列预测RNA结合蛋白的深度学习模型. 该模型利用2阶段卷积神经网络探测蛋白质序列的功能域,利用长短期记忆网络获得序列的定长特征表示并且能够学习到功能域之间的长短期依赖关系.预测算法中所用到的特征均是通过“学习”自动获得,克服了传统机器学习中特征选择过程过多的人工干预. 实验结果表明:模型在处理大规模序列数据时具有明显的优势.     

Sailfish Optimization with Deep Learning Based Oral Cancer Classification Model

Recently, computer aided diagnosis (CAD) model becomes an effective tool for decision making in healthcare sector. The advances in computer vision and artificial intelligence (AI) techniques have resulted in the effective design of CAD models, which enables to detection of the existence of diseases using various imaging modalities. Oral cancer (OC) has commonly occurred in head and neck globally. Earlier identification of OC enables to improve survival rate and reduce mortality rate. Therefore, the design of CAD model for OC detection and classification becomes essential. Therefore, this study introduces a novel Computer Aided Diagnosis for OC using Sailfish Optimization with Fusion based Classification (CADOC-SFOFC) model. The proposed CADOC-SFOFC model determines the existence of OC on the medical images. To accomplish this, a fusion based feature extraction process is carried out by the use of VGGNet-16 and Residual Network (ResNet) model. Besides, feature vectors are fused and passed into the extreme learning machine (ELM) model for classification process. Moreover, SFO algorithm is utilized for effective parameter selection of the ELM model, consequently resulting in enhanced performance. The experimental analysis of the CADOC-SFOFC model was tested on Kaggle dataset and the results reported the betterment of the CADOC-SFOFC model over the compared methods with maximum accuracy of 98.11%. Therefore, the CADOC-SFOFC model has maximum potential as an inexpensive and non-invasive tool which supports screening process and enhances the detection efficiency.     

面向三维模型多样化分类的深度集成学习

基于深度学习的三维模型分类方法大都面向特定的具体任务,在面向三维模型多样化分类任务时表现不佳,泛用性不足。为此,提出了一种通用的端到端的深度集成学习模型E2E-DEL(end-to-end deep ensemble learning),由多个初级学习器和一个集成学习器组成,可以自动学习复杂三维模型的复合特征信息;并使用层次迭代式学习策略,综合考量不同层次网络的特征学习能力,合理平衡各个初级学习器的子特征学习和集成学习器的集成特征学习效果,自适应于三维模型多样化分类任务。基于此,设计了一种面向多视图的深度集成学习网络MV-DEL(multi-view deep ensemble learning),应用于一般性、细粒度、零样本三种不同类型的三维模型分类任务中。在多个公开数据集上的实验验证了该方法具有良好的泛化性与普适性。     

基于深度迁移学习的大鼠肝纤维化诊断

针对肝纤维化临床诊断方法具有有创性和传统机器学习方法特征提取的不完全性的缺陷,本文采用深度迁移学习方法利用预训练的ResNet-18和VGGNet-11模型用于肝纤维化分期诊断.使用南方医科大学提供的大鼠肝纤维化核磁共振影像数据集进行不同程度的迁移训练.将两种模型在通过4种不同参数采集的核磁共振影像数据集上,分别使用6种网络迁移配置训练.实验结果表明,使用T1RHO-FA参数采集的核磁共振影像和采用VGGNet-11模型更能提高肝纤维化分期诊断的准确率.同时相对于ResNet-18模型,深度模型迁移学习方法能稳定提升VGGNet-11模型进行肝纤维化分期诊断的准确率和训练速度.     

基于深度学习的声学模型研究

近年来,深度学习凭借其优越的性能广泛应用于图像处理、自然语言处理、语音识别等领域,它对性能的提升远超于以往的传统方法.论文采取循环神经网络(Recurrent Neural Networks,RNN)中的长短期记忆模型(Long Short Time Memory,LSTM)实现了语音识别中的声学模型构建,并增加反向时...     

基于深度学习的二维人体姿态估计综述

人体姿态估计是计算机视觉领域的一个基础且具有挑战的任务,人体姿态估计对于描述人体姿态、描述人体行为等至关重要,是行为识别、行为检测等计算机视觉任务的基础.近年来,随着深度学习的发展,基于深度学习的人体姿态估计算法展现出了极其优异的效果.从单人人体姿态估计、自顶向下的多人人体姿态估计和自底向上的多人人体姿态估计这3种主流的人体姿态估计方式,介绍近年来基于深度学习的二维人体姿态估计算法的发展,并讨论目前二维人体姿态估计所面临的困难和挑战.最后,对人体姿态估计未来的发展做出展望.     

一种基于两阶段深度学习的集成推荐模型

近年来,深度学习技术被广泛应用于推荐系统领域并获得了很大的成功,然而深度学习模型的输入质量对学习结果具有很大影响,稀疏的输入特征向量不仅会增加后续模型训练的难度,而且容易导致学习结果落入局部最优.提出一个基于两阶段深度学习的集成推荐模型：首先,利用具有封闭式参数计算能力的边缘化堆叠去噪自动编码机进行用户和项目高层抽象特征的提取;然后,将得到的用户抽象特征和项目抽象特征进行连接并作为深度神经网络模型的输入向量,通过联合训练的方式进行参数学习和模型优化.此外,为了对低阶特征交互进行建模,推荐模型中还集成了基于原始特征向量的逻辑回归模型.在通用数据集上的大量对比实验研究表明：与当前流行的深度学习推荐方法相比,该方法在推荐精度和召回率方面都有所改善,甚至是在数据稀疏和冷启动的环境下.     

一种基于深度学习的恶意软件家族分类模型

恶意软件的家族分类问题是网络安全研究中的重要课题,恶意软件的动态执行特征能够准确的反映恶意软件的功能性与家族属性。本文通过研究恶意软件调用Windows API的行为特点,发现恶意软件的恶意行为与序列前后向API调用具有一定的依赖关系,而双向LSTM模型的特征计算方式符合这样的依赖特点。通过设计基于双向LSTM的深度学习模型,对恶意软件的前后API调用概率关系进行了建模,经过实验验证,测试准确率达到了99.28%,所提出的模型组合方式对恶意软件调用系统API的行为具有良好的建模能力,为了深入的测试深度学习方法的分类性能,实验部分进一步设置了对抗样本实验,通过随机插入API序列的方式构造模拟对抗样本来测试原始参数模型的分类性能,对抗样本实验表明,深度学习方法相对某些浅层机器学习方法具有更高的稳定性。文中实验为深度学习技术向工业界普及提供了一定的参考意义。     

基于深度学习下的微课设计模型

从重构微课概念入手,从其课程属性、教学属性和资源属性出发,以目标、内容、情境、活动、交互、资源、界面和评价为设计要素,基于深度学习理论与ARCS动机模型,完成微课设计理论模型的构建。利用该模型实现微课设计的优化,使微课能够激发并维持学习者的学习动机,完成知识的理解与建构,让学习者实现深度学习的目标。     

无监督深度学习模型的多聚焦图像融合算法

深度学习技术应用到多聚焦图像融合领域时,其大多通过监督学习的方式来训练网络,但由于缺乏专用于多聚焦图像融合的监督训练的标记数据集,且制作专用的大规模标记训练集代价过高,所以现有方法多通过在聚焦图像中随机添加高斯模糊进行监督学习,这导致网络训练难度大,很难实现理想的融合效果。为解决以上问题,提出了一种易实现且融合效果好的多聚焦图像融合方法。通过在易获取的无标记数据集上以无监督学习方式训练引入了注意力机制的encoder-decoder网络模型,获得输入源图像的深层特征。再通过形态聚焦检测对获取的特征进行活动水平测量生成初始决策图。运用一致性验证方法对初始决策图优化,得到最终的决策图。融合图像质量在主观视觉和客观指标两方面上进行评定,经实验结果表明,融合图像清晰度高,保有细节丰富且失真度小。     

用于糖尿病视网膜病变检测的深度学习模型

近年来,深度学习在计算机视觉方面取得了巨大的进步,并在利用计算机视觉完成医学影像的阅片工作方面展现出了良好的应用前景.针对糖尿病眼底病变筛查工作,通过构建两级深度卷积神经网络,完成了原始照片的特征提取、特征组合和结果分类,最终得出筛查结果.通过与医生的诊断结果进行比较,证明了模型的输出结果与医生诊断结果之间具有高度的一致性.同时,提出了利用弱监督学习进行细粒度图像分类的改进方法.最后,对未来研究的方向进行了展望.     

多数据集深度学习模型的修图处理识别

图像处理软件的飞速发展,带动了移动应用领域一大批修图、美化应用的兴起。但是修图、美化软件的快速发展和普及也带来了一些社会问题和安全问题,如网恋对象严重失真,摄影作品造假等。针对手机中的修图处理APP软件,提出一种基于多数据集特征学习的神经网络模型,并给出其网络拓扑结构。区别于传统的多个神经网络并行操作,提出的网络模型具有共享模型参数的特征,能同时对多个特征数据集进行深度学习,使检测程序具备多特征识别能力。此外,还提出了一种针对多任务网络模型的损失函数,以增强深度特征学习的能力。实验结果表明,提出方法的准确率较传统方法有较大提升,同时泛化性能优越,能识别出经过多种美图、修图软件修复过的图像。     

基于深度学习的模糊测试种子生成技术

模糊测试被广泛应用于各种软件和系统的漏洞挖掘中.而模糊测试的效果与其采用的变异策略以及初始种子文件的代码覆盖率有直接的关系.本文提出了一种基于深度学习的种子文件生成方法,分析并学习初始种子文件和其在目标程序中的执行路径之间的关系,最终输出可能覆盖新执行路径的种子文件,从而提高初始种子文件集合的代码覆盖率.我们以PDF阅读器作为目标程序进行了实验,实验结果表明该方法所生成的种子文件保证了良好的通过率,而且明显提高了代码覆盖率.同时实验证明该方法在针对多种PDF阅读器进行模糊测试时都获得了更高的代码覆盖率.     

A Particle Swarm Optimization Based Deep Learning Model for Vehicle Classification

Image classification is a core field in the research area of image processing and computer vision in which vehicle classification is a critical domain. The purpose of vehicle categorization is to formulate a compact system to assist in real-world problems and applications such as security, traffic analysis, and self-driving and autonomous vehicles. The recent revolution in the field of machine learning and artificial intelligence has provided an immense amount of support for image processing related problems and has overtaken the conventional, and handcrafted means of solving image analysis problems. In this paper, a combination of pre-trained CNN GoogleNet and a nature-inspired problem optimization scheme, particle swarm optimization (PSO), was employed for autonomous vehicle classification. The model was trained on a vehicle image dataset obtained from Kaggle that has been suitably augmented. The trained model was classified using several classifiers; however, the Cubic SVM (CSVM) classifier was found to outperform the others in both time consumption and accuracy (94.8%). The results obtained from empirical evaluations and statistical tests reveal that the model itself has shown to outperform the other related models not only in terms of accuracy (94.8%) but also in terms of training time (82.7 s) and speed prediction (380 obs/sec).     

DCFM：基于深度学习的混合推荐模型

传统推荐算法大多都仅考虑用户-商品评级信息来进行推荐,这种忽略了用户属性和商品属性信息的推荐模型准确率不高。因子分解机可在数据稀疏情况下挖掘用户与商品的关联关系,交叉网络可挖掘属性特征与其高阶特征的线性组合关系,以及深度神经网络有效识别高阶非线性关联关系,基于三种模型的优势,提出了一种基于深度学习的混合推荐模型（Deep and Cross Factorization Machine,DCFM）。三部分并联组合,共享输入层,各部分结果线性组合后作为模型整体输出。通过在MovieLens电影数据集上仿真实验,并与因子分解机（FM）、深度因子分解机（DeepFM）、深度交叉网络（DCN）模型做比较,结果证明该模型在准确率、F1-Score和AUC值上均得到了提高和改善。     

基于深度学习的变压器故障诊断方法研究

油中溶解气体分析方法（DGA）是变压器内部故障诊断的重要方法,广泛应用在变压器在线监测和定期试验检测中,传统的特征气体法和三比值法等诊断方法在实际应用中普遍存在着一定的局限性,导致故障诊断精度偏低。针对这一问题,本文提出了一种基于深度学习技术中的多层感知机的变压器故障综合诊断方法,利用开源的Scikit-learn 机器学习框架及TensorFlow深度学习框架构建了变压器故障诊断模型,并应用实际工程中的故障样本数据,对故障诊断模型进行了训练和测试。试验结果表明,基于多层感知机技术的变压器故障诊断模型能够对变压器故障进行正确诊断,与传统的三比值法及支持向量机技术相比,多层感知机的诊断准确率更高,具有更优的故障诊断性能,能够为变压器的检修提供更为准确的参考信息。