基于Dropout的改进卷积神经网络模型平均方法

针对深度卷积神经网络（CNN）中的过拟合问题，提出一种基于Dropout改进CNN的模型预测平均方法。首先，训练阶段在池化层引入Dropout，使得池化层单元值具有稀疏性；然后，在测试阶段将训练时池化层Dropout选择单元值的概率与池化区域各单元值所占概率相乘作为双重概率；最后，将提出的双重概率加权的模型平均方法应用于测试阶段，使得训练阶段池化层Dropout的稀疏效果能够更好地反映到测试阶段池化层上，从而使测试错误率达到与训练的较低错误率相近的结果。在给定大小的网络中所提方法在MNIST和CIFAR-10数据集上的测试错误率分别为0.31%和11.23%。实验结果表明：仅考虑池化层对结果的影响，所提方法与Prob.weighted pooling和Stochastic Pooling方法相比具有更低的错误率，表明池化层Dropout使得模型更具泛化性，并且池化单元值对于模型泛化具有一定帮助，能够更有效避免过拟合。     

卷积神经网络的正则化方法综述

近年来,卷积神经网络已经广泛应用于计算机视觉各个领域中并取得了显著的效果。正则化方法是卷积神经网络的重要组成部分,它能避免卷积神经网络在模型训练的过程中出现过拟合现象。目前关于卷积神经网络正则化方法的综述较少,且大多缺乏对新提出的正则化方法的总结。首先对卷积神经网络中的正则化方法相关文献进行详细的总结和梳理,将正则化方法分为参数正则化、数据正则化、标签正则化和组合正则化;然后在ImageNet等公开数据集上,基于top-1 accuracy、top-5 accuracy等评价指标,对不同正则化方法的优缺点进行对比分析;最后讨论了卷积神经网络的正则化方法未来的研究趋势和工作方向。     

基于深度卷积神经网络的快速图像分类算法

为了应对大量图像的分类问题,提出一种基于深度卷积神经网络和CUDA-cuDNN并行运算的快速图像分类方法。该方法利用深度卷积神经网络自动学习特征的优势来解决手工设计特征普适性差等问题,同时结合基于CUDA架构的cuDNN并行运算策略来提高训练速度和加快分类速度,并且针对深度卷积神经网络易受参数扰动等缺点,引入批量正则化（Batch Normalization）以提高算法的鲁棒性。实验结果表明,该方法不仅大幅缩短了训练时间同时加快了图像的分类速度,而且进一步降低了图像分类的错误率。     

基于深度神经网络的搜索引擎点击模型构建

随着富媒体展现形式被越来越多地引入搜索交互界面,搜索引擎的结果页面呈异质化和二维模块展现形式,这对传统的点击预测模型提出了巨大的挑战。针对这一情况,我们对实际搜索引擎结果页面的多模态结果进行了分析,构建了一个结合深度神经网络和点击模型的框架,该框架既包含了神经网络的特性,又利用了点击模型的预测能力。我们希望利用这个框架挖掘出多模态信息与文本信息之间的相关性,使之具有描述异质化结果和二维模块展示形式的能力。实验表明,我们的框架相较于传统的点击模型在点击预测性能上有显著提升,但由于搜索引擎的多模态结果内容复杂,仅利用多模态结果的底层特征,即使使用深度神经网络,从中能够挖据出的语义相关性较弱。     

深度学习模型在医院财务预测中的应用

为了对医疗机构的可持续性经营能力进行高效、准确的监管与预警,提出将先进的深度学习模型应用于医院财务预测中,以便为决策者提供有价值的参考信息.首先,对医院财务系统中的数据进行解析与提取,并通过归一化和特征选择进行数据样本预处理;然后利用处理后的数据样本训练深度信念网络,获得网络的相关参数;最后利用深度信念网络模型进行财务...     

基于卷积神经网络的网贷违约风险模型研究

自互联网金融诞生以来,网络贷款得到了快速发展,但是借贷双方的信息不对称增加了网贷的违约风险,同时随着互联网技术的发展网贷用户数据也表现出高维化的趋势,数据处理面临更大的挑战,因此亟需应对该问题并在网贷违约风险上进行准确、稳定的预测。该文提出了卷积神经网络(CNN)和一般机器学习模型结合的预测模型,利用CNN在数据特征提取上的优势来处理高维的网贷用户信息。首先采用数值图形化思想对网贷用户数据进行处理并与CNN对接,其次调整其超参数选择合适的网络模型,然后基于三种一般机器学习模型与CNN的组合进行网贷风险预测测试,最后在真实数据集上使用最优的网贷违约风险预测模型进行预测。实验结果验证了组合模型的显著性以及CNN对一般机器学习模型性能提升的能力,为网贷风险预测提供了一种新思路。     

基于深度循环神经网络和改进SMOTE算法的组合式入侵检测模型

已有入侵检测模型普遍只针对网络入侵行为的静态特征进行分析检测,造成检测率低及误报率高等缺陷,且无法有效应用低频攻击。为此提出一种新的基于深度循环神经网络（DRNN）和区域自适应合成过采样算法（RA-SMOTE）的组合式入侵检测模型（DRRS）。首先,RA-SMOTE 对数据集中低频攻击样本进行自适应区域划分,实现差别样本增量,从数据层面提升低频攻击样本数量;其次,利用 DRNN 特有的层间反馈单元,完成多阶段分类特征的时序积累学习,同时多隐层网络结构实现对原始数据分布的最优非线性拟合;最后,使用训练好的DRRS模型完成入侵检测。实验结果表明,相比已有入侵检测模型,DRRS在改善整体检测效果的同时显著提高了低频攻击检测率,且对未知新型攻击具有一定检出率,适用于实际网络环境。     

基于样本个体差异性的深度神经网络训练方法

深度神经网络目前在许多任务中的表现已经达到甚至超越了人类的水平,但是其泛化能力和人类相比还是相去甚远.如何提高网络的泛化性,一直是重要的研究方向之一.围绕这个方向开展的大量卓有成效的研究,从扩展增强训练数据、通过正则化抑制模型复杂度、优化训练策略等角度,提出了很多行之有效的方法.这些方法对于训练数据集来说都是某种全局性质的策略,每一个样本数据都会被平等的对待.但是,每一个样本数据由于其携带的信息量、噪声等的不同,在训练过程中,对模型的拟合性能和泛化性能的影响也应该是有差异性的.针对是否一些样本在反复的迭代训练中更倾向于使得模型过度拟合,如何找到这些样本,是否可以通过对不同的样本采用差异化的抗过拟合策略使得模型获得更好的泛化性能等问题,提出了一种依据样本数据的差异性来训练深度神经网络的方法,首先使用预训练模型对每一个训练样本进行评估,判断每个样本对该模型的拟合效果;然后依据评估结果将训练集分为易使得模型过拟合的样本和普通的样本两个子集;最后,再使用两个子集的数据对模型进行交替训练,过程中对易使得模型过拟合的子集采用更强有力的抗过拟合策略.通过在不同的数据集上对多种深度模型进行的一系列实验...     

改进深度残差卷积神经网络的LDCT图像估计

针对低剂量计算机断层扫描（Low-Dose Computed Tomography,LDCT）重建图像出现明显条形伪影的现象,提出了一种基于残差学习的深度卷积神经网络（Deep Residual Convolutional Neural Network,DR-CNN）模型,可以从LDCT图像预测标准剂量计算机断层扫描（Normal-Dose Computed Tomography,NDCT）图像。该模型在训练阶段,将数据集中的LDCT图像和NDCT图像相减得到残差图像,将LDCT图像和残差图像分别作为输入和标签,通过深度卷积神经网络（Convolution Neural Network,CNN）学习输入和标签之间的映射关系;在测试阶段,利用此映射关系从LDCT图像预测残差图像,用LDCT图像减去残差图像得到预测的NDCT图像。实验采用50对大小为512×512的同一体模的常规剂量胸腔扫描切片和投影域添加噪声后的重建图像作为数据集,其中45对作为训练集,其他作为测试集,来验证此模型的有效性。通过与非局部降噪算法、匹配三维滤波算法和K-SVD算法等目前公认效果较好的图像去噪算法对比,所提模型预测的NDCT图像均方根误差小,且信噪比略高于其他算法处理结果。     

基于改进的深度神经网络的人体动作识别模型

针对现有人体动作识别方法需输入固定长度的视频段、未充分利用时空信息等问题,提出一种基于时空金字塔和注意力机制相结合的深度神经网络模型,将包含时空金字塔的3D-CNN和添加时空注意力机制的LSTM模型相结合,实现了对视频段的多尺度处理和对动作的复杂时空信息的充分利用。以RGB图像和光流场作为空域和时域的输入,以融合金字塔池化层的运动和外观特征后的融合特征作为融合域的输入,最后采用决策融合策略获得最终动作识别结果。在UCF101和HMDB51数据集上进行实验,分别取得了94.2%和70.5%的识别准确率。实验结果表明,改进的网络模型在基于视频的人体动作识别任务上获得了较高的识别准确率。     

深度卷积神经网络的汽车车型识别方法

针对现有汽车车型识别方法计算量大、提取特征复杂等问题,提出一种基于深度卷积神经网络的汽车车型识别方法。该方法借助于深度学习,对经典的卷积神经网络做出改进并得到由多个卷积层和次抽样层构成的深度卷积神经网络。根据五种车型的分类结果,表明该方法在识别率方面较传统方法有明显的提高。实验还研究了网络层数、卷积核大小、特征维数对深度卷积神经网络的性能和识别率的影响。     

A multi-branch deep neural network model for failure prognostics based on multimodal data

Non-numerical data, such as images and inspection records, contain information about industrial system degradation, but they are rarely used for failure prognostic tasks given the difficulty of automatic analysis. In this work, we present a novel method for prognostics using multimodal data, i.e. both numerical and non-numerical data. The proposed method is based on the development of a multi-branch Deep Neural Network (DNN), each branch of which is a neural network designed for processing a certain type of data. The method is applied to a case study properly designed to reproduce the problem of prognostics using multimodal data by referring to the operation of steam generators. The results show that it is able to accurately predict future degradation level using multimodal data, outperforming other methods using fewer sources of information.     

基于MLP改进型深度神经网络学习资源推荐算法

针对在线学习过程中出现的知识过载及传统推荐算法中存在的数据稀疏和冷启动问题,提出了一种基于多层感知机（MLP）的改进型深度神经网络学习资源推荐算法。该算法利用多层感知机对非线性数据处理的优势,将学习者特征和学习资源特征进行向量相乘的预测方式转换为输入多层感知机的方式,改进了DN-CBR神经网络推荐模型。为验证模型的有效性,以爱课程在线学习平台数据为样本构建数据集,通过对比实验表明,在该数据集上,改进后模型相较于DN-CBR模型在归一化折损累积增益和命中率指标上分别提升了1.2%和3%,有效地提高了模型的推荐性能。     

Structural information aware deep semi-supervised recurrent neural network for sentiment analysis

With the development of Internet, people are more likely to post and propagate opinions online. Sentiment analysis is then becoming an important challenge to understand the polarity beneath these comments. Currently a lot of approaches from natural language processing’s perspective have been employed to conduct this task. The widely used ones include bag-of-words and semantic oriented analysis methods. In this research, we further investigate the structural information among words, phrases and sentences within the comments to conduct the sentiment analysis. The idea is inspired by the fact that the structural information is playing important role in identifying the overall statement’s polarity. As a result a novel sentiment analysis model is proposed based on recurrent neural network, which takes the partial document as input and then the next parts to predict the sentiment label distribution rather than the next word. The proposed method learns words representation simultaneously the sentiment distribution. Experimental studies have been conducted on commonly used datasets and the results have shown its promising potential.     

基于极深卷积神经网络的人脸超分辨率重建算法

针对多种放大倍数的人脸超分辨率重建问题,提出一种基于极深卷积神经网络的人脸超分辨率重建方法,并通过实验发现增加网络深度能够有效提升人脸重建的精度。首先,设计一个包含20个卷积层的网络从低分辨率图片和高分辨率图片之间学习一种端到端的映射关系,并通过在网络结构中将多个小的滤波器进行多次串联以扩大提取纹理信息的范围。其次,引入了残差学习的方法来解决随着深度的提升细节信息丢失的问题。另外,将不同放大因子的低分辨率人脸图片融合到一个训练集中训练,使得该卷积网络能够解决不同放大因子的人脸超分辨率重建问题。在CASPEAL测试集上的结果显示,该极深卷积神经网络的方法比基于双三次插值的人脸重建方法在峰值信噪比（PSNR）和结构相似度上有2.7 dB和2%的提升,和SRCNN的方法比较也有较大的提升,在精度和视觉改善方面都有较大提升。这显示了更深的网络结构能够在重建中取得更好的结果。     

基于多级深度网络架构的群体行为分析模型研究

群体行为的多层次深度分析是行为识别领域亟待解决的重要问题。在深度神经网络研究的基础上,提出了群体行为识别的层级性分析模型。基于调控网络的迁移学习,实现了行为群体中多人体的时序一致性检测;通过融合时空特征学习,完成了群体行为中时长无约束的个体行为识别;通过场景中个体行为类别、交互场景上下文信息的融合,实现了对群体行为稳定有效的识别。在公用数据集上进行的大量实验表明,与现有方法相比,该模型在群体行为分析识别方面具有良好的效果。