基于深度学习的MOOC作弊行为检测研究

快速准确地检测出MOOC学习者的作弊行为,对维护MOOC平台的发展及学习者的正常学习具有重要意义。本文研究了一种深度学习混合模型用于MOOC作弊行为的检测。该模型通过融合了卷积神经网络、双向门控循环单元以及注意力机制,大大提升了单一模型的检测性能。本文选取某MOOC平台的学习行为数据进行了实验验证,实验结果显示该模型在验证集上的精确率、召回率、AUC和误报率分别达到98.51%、81.35%、91.07%和0.016%,具有良好的应用前景。另外,本文采用了数据扩增的方法以解决MOOC作弊行为检测中存在的数据不均衡问题,实验中通过该方法进行数据平衡后,该模型在相同的验证集上的AUC提升了1.78%。     

结合多头注意力机制的旅游问句分类研究

旅游问句具有长度较短,不严格按照语法规则的特点,导致该文本数据信息容量过少、口语化严重。充分理解问句表达的语义是提高旅游问句分类器性能面临的重要挑战,基于此,提出一个融合Bi-GRU、CNN与MultiHead-Attention的旅游问句分类模型。该模型将预先训练的词向量和经Bi-GRU处理得到的语义信息进行融合,进行问句依赖关系学习,通过CNN和Multi-Head-Attention进行特征提取,以加强局部特征的学习,通过Softmax完成分类。实验结果表明,该模型在文本信息少、表述不规范的旅游问句分类任务中F1值达到了92.11%,优于现有的主流分类模型。     

基于深度学习的图像超分辨率复原研究进展

图像超分辨率复原（Super resolution restoration,SR）技术是图像处理领域的研究热点,在视频监控、图像处理、刑侦分析等领域具有广泛的应用需求.近年来,深度学习在多媒体处理领域迅猛发展,基于深度学习的图像超分辨率复原技术已逐渐成为主流技术.本文主要对现有基于深度学习的图像超分辨率复原工作进行综述.从网络类型、网络结构、训练方法等方面分析现有技术的优势与不足,对其发展脉络进行梳理.在此基础上,本文进一步指出了基于深度学习的图像超分辨率复原技术的未来发展方向.     

医学图像分析深度学习方法研究与挑战

深度学习（Deep learning,DL）,特别是深度卷积神经网络（Convolutional neural networks,CNNs）,能够从医学图像大数据中自动学习提取隐含的疾病诊断特征,近几年已迅速成为医学图像分析研究热点.本文首先简述医学图像分析特点;其次,论述深度学习基本原理,总结深度CNNs在医学图像分析中的分类、分割框架;然后,分别论述深度学习在医学图像分类、检测、分割等各应用领域的国内外研究现状;最后,探讨归纳医学图像分析深度学习方法挑战及其主要应对策略和开放的研究方向.     

新的基于融合向量的DGA域名检测方法

由于词典类DGA域名的字符分布随机性低,单词组合随机性高,基于传统机器学习的恶意域名检测方法难以识别,虽然利用LSTM等深度学习的检测方法能捕捉域名字符序列特征,但缺乏局部词根组合特征,检测准确率低。针对以上问题,提出一种基于融合嵌入层的DGA域名检测方法。在域名词嵌入阶段,基于分词技术,进行字符和词根的融合嵌入向量表示,结合一维卷积神经网络（CNN）和双向门控循环单元（BiGRU）,构建混合的深度学习模型,实现DGA域名检测。实验表明,该方法与单一采用CNN或LSTM模型相比,在域名二分类任务中的准确率分别提高3.1%和4.3%,针对词典类DGA家族matsnu、suppobox、ngioweb的检测具有更高的精确率。     

基于堆叠模型的司法短文本多标签分类

司法文书短文本的语义多样性和特征稀疏性等特点,对短文本多标签分类精度提出了很大的挑战,传统单一模型的分类算法已无法满足业务需求.为此,提出一种融合深度学习与堆叠模型的多标签分类方法.该方法将分类器划分成两个层次,第一层使用BERT、卷积神经网络、门限循环单元等深度学习方法作为基础分类器,每个基础分类器模型通过K折交叉验...     

大数据分析的无限深度神经网络方法

深度神经网络(deep neural networks, DNNs)及其学习算法,作为成功的大数据分析方法,已为学术界和工业界所熟知.与传统方法相比,深度学习方法以数据驱动、能自动地从数据中提取特征(知识),对于分析非结构化、模式不明多变、跨领域的大数据具有显著优势.目前,在大数据分析中使用的深度神经网络主要是前馈神经网络(feedforward neural networks, FNNs),这种网络擅长提取静态数据的相关关系,适用于基于分类的数据应用场景.但是受到自身结构本质的限制,它提取数据时序特征的能力有限.无限深度神经网络(infinite deep neural networks)是一种具有反馈连接的回复式神经网络(recurrent neural networks, RNNs),本质上是一个动力学系统,网络状态随时间演化是这种网络的本质属性,它耦合了“时间参数”,更加适用于提取数据的时序特征,从而进行大数据的预测.将这种网络的反馈结构在时间维度展开,随着时间的运行,这种网络可以“无限深”,故称之为无限深度神经网络.重点介绍这种网络的拓扑结构和若干学习算法及其在语音识别和图像理解领域的成功实例.     

基于CNN-BiLSTM的自动睡眠分期算法

睡眠分期是睡眠数据分析的基础,针对目前睡眠分期存在的依赖人工提取、人工判别效率低、自动睡眠分期准确率不高等问题,本文研究模型是基于卷积神经网络和双向长短时记忆神经网络2个深度学习神经网络相结合的,利用脑电信号来进行自动睡眠分期的模型方法.算法能提取得到原始脑电信号的梅尔频谱,利用卷积神经网络和双向长短时记忆神经网络进行...     

深度学习在高光谱图像分类领域的研究现状与展望

高光谱图像（Hyperspectral imagery,HSI）分类是高光谱遥感对地观测技术的一项重要内容,在军事及民用领域都有着重要的应用.然而,高光谱图像的高维特性、波段间高度相关性、光谱混合等使得高光谱图像分类面临巨大挑战.近年来,随着深度学习新技术的出现,基于深度学习的高光谱图像分类在方法和性能上得到了突破性的进展,为其研究提供了新的契机.本文首先介绍了高光谱图像分类的背景、研究现状及几个常用的数据集,并简要概述了几种典型的深度学习模型,最后详细介绍了当前的一些基于深度学习的高光谱图像分类方法,总结了深度学习在高光谱图像分类领域中的主要作用和存在的问题,并对未来的研究方向进行了展望.     

Deep Learning and Time Series-to-Image Encoding for Financial Forecasting

In the last decade,market financial forecasting has attracted high interests amongst the researchers in pattern recognition.Usually,the data used for analysing the market,and then gamble on its future trend,are provided as time series;this aspect,along with the high fluctuation of this kind of data,cuts out the use of very efficient classification tools,very popular in the state of the art,like the well known convolutional neural networks(CNNs)models such as Inception,Res Net,Alex Net,and so on.This forces the researchers to train new tools from scratch.Such operations could be very time consuming.This paper exploits an ensemble of CNNs,trained over Gramian angular fields(GAF)images,generated from time series related to the Standard&Poor's 500 index future;the aim is the prediction of the future trend of the U.S.market.A multi-resolution imaging approach is used to feed each CNN,enabling the analysis of different time intervals for a single observation.A simple trading system based on the ensemble forecaster is used to evaluate the quality of the proposed approach.Our method outperforms the buyand-hold(B&H)strategy in a time frame where the latter provides excellent returns.Both quantitative and qualitative results are provided.     

基于条件深度卷积生成对抗网络的视网膜血管分割

视网膜血管的分割帮助医生对眼底疾病进行诊断有着重要的意义.但现有方法对视网膜血管的分割存在着各种问题,例如对血管分割不足,抗噪声干扰能力弱,对病灶敏感等.针对现有血管分割方法的缺陷,本文提出使用条件深度卷积生成对抗网络的方法对视网膜血管进行分割.我们主要对生成器的网络结构进行了改进,在卷积层引入残差模块进行差值学习使得网络结构对输出的改变变得敏感,从而更好地对生成器的权重进行调整.为了降低参数数目和计算,在使用大卷积核之前使用小卷积核对输入特征图的通道数进行减半处理.通过使用U型网络的思想将卷积层的输出与反卷积层的输出进行连接从而避免低级信息共享.通过在DRIVE和STARE数据集上对本文的方法进行了验证,其分割准确率分别为96.08%、97.71%,灵敏性分别达到了82.74%、85.34%, F度量分别达到了82.08%和85.02%,灵敏度比R2U-Net的灵敏度分别高了4.82%,2.4%.     

深度学习下的病媒蚊虫分类

蚊虫是多种疾病的传播媒介,对病媒蚊虫的监测是预防蚊媒疾病的关键,针对传统病媒蚊虫的人工鉴定方法成本较高且效率低下,提出深度学习下的病媒蚊虫分类方法,基于迁移学习,微调(fine-tuning) ResNet18、DenseNet121、MobileNetV2这3种ImageNet预训练模型,在900张少量蚊虫数据集下采用K折交叉验证,对埃及伊蚊、白纹伊蚊、库蚊3种蚊虫进行分类,评估模型性能,平均峰值准确率分别达到了95%、97%、97%.最后,利用在900张蚊虫数据集下重新训练后的模型,对344张蚊虫图像进行预测,其中轻量化模型MobileNetV2达到了最高0.95的精准率(precision)、召回率(recall)、F1 score.结合3种模型的最终预测准确率,得出轻量化的模型MobileNetV2在少量数据集下表现更优.实验改变了以往的模型微调方式,通过设置模型分类层学习率为前层学习率的10倍,与前人实验相比,对白纹伊蚊的预测准确率提高了5%–6%,解决了少量数据样本的训练收敛问题,进一步拓展了病媒蚊虫识别的适用环境.     

CNN和三维Gabor滤波器的高光谱图像分类

卷积神经网络(CNN)具有强大的特征提取能力,能够有效地提高高光谱图像的分类精度.然而CNN模型训练需要大量的训练样本参与,以防止过拟合,Gabor滤波器以非监督的方式提取图像的边缘和纹理等空间信息,能够减轻CNN模型对训练样本的依赖度及特征提取的压力.为了充分利用CNN和Gabor滤波器的优势,提出了一种双通道CNN和三维Gabor滤波器相结合的高光谱图像分类方法Gabor-DC-CNN.首先利用二维卷积神经网络(2D-CNN)模型处理原始高光谱图像数据,提取图像的深层空间特征;同时利用一维卷积神经网络(1D-CNN)模型处理三维Gabor特征数据,进一步提取图像的深层光谱-纹理特征.连接2个CNN模型的全连接层实现特征融合,并将融合特征输入到分类层中完成分类.实验结果表明,该方法能够有效地提高分类精度,在Indian Pines,Pavia University和Kennedy Space Center 3组数据上分别达到98.95%,99.56%和99.67%.     

DenseNet-GRU:直肠癌CT影像分类的深度神经网络模型

DenseNet是一种广泛用于影像分类的卷积神经网络,但它不具备记忆功能,无法反映卷积操作后不同特征映射之间的关联关系。若将其直接应用于判断直肠癌是否发生淋巴结转移,则无法比较直肠癌CT影像特征在深度神经网络映射过程中的变化。基于此,提出了一种新颖的深度神经网络模型DenseNet-GRU(gated recurrent unit),其核心是利用GRU获取DenseNet提取的不同影像特征之间的关联关系,进而获得不同图像之间相同像素区域的特征变化情况,最终判断直肠癌患者的淋巴结是否存在转移。以包含107个患者DCM格式的腹部横断位动脉期和门脉期两种增强CT影像为实验数据集,采用数据增强和阈值分割方法对数据进行预处理,DenseNet-GRU模型在F-score上的分类精度达到了65%以上,对临床辅助诊断具有重要的现实意义。     

Desertification Detection in Makkah Region based on Aerial Images Classification

Desertification has become a global threat and caused a crisis, especially in Middle Eastern countries, such as Saudi Arabia. Makkah is one of the most important cities in Saudi Arabia that needs to be protected from desertification. The vegetation area in Makkah has been damaged because of desertification through wind, floods, overgrazing, and global climate change. The damage caused by desertification can be recovered provided urgent action is taken to prevent further degradation of the vegetation area. In this paper, we propose an automatic desertification detection system based on Deep Learning techniques. Aerial images are classified using Convolutional Neural Networks (CNN) to detect land state variation in real-time. CNNs have been widely used for computer vision applications, such as image classification, image segmentation, and quality enhancement. The proposed CNN model was trained and evaluated on the Arial Image Dataset (AID). Compared to state-of-the-art methods, the proposed model has better performance while being suitable for embedded implementation. It has achieved high efficiency with 96.47% accuracy. In light of the current research, we assert the appropriateness of the proposed CNN model in detecting desertification from aerial images.     

BaMBNet: A Blur-Aware Multi-Branch Network for Dual-Pixel Defocus Deblurring

Reducing the defocus blur that arises from the finite aperture size and short exposure time is an essential problem in computational photography. It is very challenging because the blur kernel is spatially varying and difficult to estimate by traditional methods. Due to its great breakthrough in low-level tasks, convolutional neural networks(CNNs) have been introduced to the defocus deblurring problem and achieved significant progress. However, previous methods apply the same learned kernel for ...     

短文本分类的ResLCNN模型

短文本分类是互联网文本数据处理中的关键任务之一.长短时记忆网络LSTM（long short-term memory）和卷积神经网络CNN（convolutional neural network）是广泛应用于短文本分类任务的两种深度学习模型.在计算机视觉和语音识别领域的深度学习研究表明,深层次的神经网络模型具有较好的表达数据特征的能力.受此启发,面向文本深度学习分类问题,提出基于3层LSTM和CNN网络结构的ResLCNN（residual-LSTM-CNN）深度学习模型.该模型有效结合LSTM获取文本序列数据的长距离依赖特征和CNN通过卷积操作获取句子局部特征的优势,同时借鉴残差模型理论,在第1层LSTM层与CNN层之间加入恒等映射,构建残差层,缓解深层模型梯度消失问题.为了探究深层短文本分类中ResLCNN模型的文本分类能力,在多种数据集上将其与LSTM、CNN及其组合模型进行对比实验.结果表明,相比于单层LSTM与CNN组合模型,ResLCNN深层模型在MR、SST-2和SST-5数据集上分别提高了1.0%、0.5%、0.47%的准确率,取得了更好的分类效果.     

基于深度学习的移动机器人自主导航实验平台

随着移动机器人的发展,其应用场景越来越复杂,对自主导航这一关键技术提出了更高要求。本文搭建了移动机器人实验平台,设计了基于深度学习的自主导航方法,将RGB图像作为卷积神经网络模型的输入,即可直接输出导航控制信号,不仅降低硬件成本,而且避免复杂的特征工程和规划策略。实验结果表明该平台具有良好的自主导航性能,对移动机器人适应未知复杂环境作业有着重要参考价值。同时,能够为机器人工程专业实践教学提供实验平台,通过开展相关应用拓展,促进学生创新研究能力的培养。     

Recent Progresses in Deep Learning Based Acoustic Models

In this paper, we summarize recent progresses made in deep learning based acoustic models and the motivation and insights behind the surveyed techniques. We first discuss models such as recurrent neural networks (RNNs) and convolutional neural networks (CNNs) that can effectively exploit variablelength contextual information, and their various combination with other models. We then describe models that are optimized end-to-end and emphasize on feature representations learned jointly with the rest of the system, the connectionist temporal classification (CTC) criterion, and the attention-based sequenceto-sequence translation model. We further illustrate robustness issues in speech recognition systems, and discuss acoustic model adaptation, speech enhancement and separation, and robust training strategies. We also cover modeling techniques that lead to more efficient decoding and discuss possible future directions in acoustic model research.      

基于注意力机制的多通道CNN和BiGRU的文本情感倾向性分析

近年来,卷积神经网络(convolutional neural network, CNN)和循环神经网络(recurrent neural network, RNN)已在文本情感分析领域得到广泛应用,并取得了不错的效果.然而,文本之间存在上下文依赖问题,虽然CNN能提取到句子连续词间的局部信息,但是会忽略词语之间上下文语义信息;双向门控循环单元(bidirectional gated recurrent unit, BiGRU)网络不仅能够解决传统RNN模型存在的梯度消失或梯度爆炸问题,而且还能很好地弥补CNN不能有效提取长文本的上下文语义信息的缺陷,但却无法像CNN那样很好地提取句子局部特征.因此提出一种基于注意力机制的多通道CNN和双向门控循环单元(MC-AttCNN-AttBiGRU)的神经网络模型.该模型不仅能够通过注意力机制关注到句子中对情感极性分类重要的词语,而且结合了CNN提取文本局部特征和BiGRU网络提取长文本上下文语义信息的优势,提高了模型的文本特征提取能力.在谭松波酒店评论数据集和IMDB数据集上的实验结果表明：提出的模型相较于其他几种基线模型可以提取到更丰富的文本特征,可以取得比其他基线模型更好的分类效果.