基于小样本数据和深度残差网络的月度供电量预测研究

针对传统预测模型在样本不足的情形下,无法实现高精度月度供电量预测的问题,提出了一种基于改进的生成对抗网络数据增强方法,能够将大粒度的月度统计信息,同分布分解为按天统计的供电量信息,实现了数据增强与样本集的有效扩充.基于该样本集,运用深度残差网络构建用于月度供电量预测的深层模型.算例分析标明,所提出的方法能够在原有同类型...     

基于深度残差网络与迁移学习的毒蕈图像识别

我国毒蕈种类繁多且分布广泛,经常有人因无法鉴别毒蕈和可食用菌而误食毒蕈,导致身体健康甚至生命安全受到严重威胁。为了减少毒蕈中毒事件的发生,本文以中国常见毒蕈为研究对象,提出基于深度残差网络与迁移学习的毒蕈图像识别方法。首先通过互联网途径获取常见种类的毒蕈和非毒蕈的图像,经筛选后得到18种毒蕈和5种非毒蕈共14669张图像,使用数据增强扩充数据量,建立中国常见毒蕈图像数据集。然后以ResNet-152为预训练网络模型,采用基于模型的迁移学习方法,构建出毒蕈图像识别的模型结构,以Adam算法为模型优化方法,最后通过k折交叉验证进行模型训练。试验结果表明,毒蕈图像识别模型Top-1和Top-5准确率分别为92.17%和97.35%,对于常见毒蕈图像具有较高的识别率,可以有效的帮助人们避免误食毒蕈,为毒蕈识别研究提供新的方法。     

基于字典学习的残差信息融合图像去噪方法

传统去噪算法只考虑从含噪图像中恢复出图像信息,然而对去噪后残差信号的利用却并未加以重视。针对图像去噪后残差信号中包含有用信息的特点,提出了一种基于字典学习的残差信息融合图像去噪方法。首先使用字典学习方法对单幅含噪图像进行去噪;然后对首次降噪后的残差图像进行图像块筛选;再对筛选出的图像块再次进行去噪处理;最后在小波域实现两幅图像的融合得到最终的去噪图像。实验结果表明,与传统基于字典学习的去噪方法相比,所提方法能够进一步提取残差信号中的图像特征信息,在峰值信噪比和结构相似度上都有所提升。特别是对一些细节较为复杂的场景图像,具有更好的去噪效果,从而证明了残差信号对于图像去噪的重要作用。     

基于YOLO和深度残差混合网络的狗脸检测算法

YOLO算法对小目标检测的精度不佳,且狗脸存在部分遮挡及肤色与背景颜色较为相似等问题,识别难度较大.为此在YOLOv3框架基础上,利用深度残差网络在特征提取方面的优势改进YOLOv3的网络,提出基于YOLO和深度残差混合网络的狗脸识别方法(YOLO-resnet).实验结果表明,YOLO-resnet在ImageNet...     

基于深度残差网络的人脸表情识别

针对深度卷积神经网络随着卷积层数增加而导致网络模型难以训练和性能退化等问题,提出了一种基于深度残差网络的人脸表情识别方法。该方法利用残差学习单元来改善深度卷积神经网络模型训练寻优的过程,减少模型收敛的时间开销。此外,为了提高网络模型的泛化能力,从KDEF和CK+两种表情数据集上选取表情图像样本组成混合数据集用以训练网络。在混合数据集上采用十折（10-fold）交叉验证方法进行了实验,比较了不同深度的带有残差学习单元的残差网络与不带残差学习单元的常规卷积神经网络的表情识别准确率。当采用74层的深度残差网络时,可以获得90.79%的平均识别准确率。实验结果表明采用残差学习单元构建的深度残差网络可以解决网络深度和模型收敛性之间的矛盾,并能提升表情识别的准确率。     

结合残差网络和TSM的暴力行为检测方法

深度学习方法常用于辅助检测暴力行为,从而降低监控视频人工干预的依赖性。然而,随着深度网络的发展,梯度消失、过拟合等问题变得更加突出。为了解决这些问题,本文提出了一种结合残差网络和时间转移模块的方法,充分挖掘视频序列中的时空信息,优化动作识别效果,从而提高暴力行为检测的准确率。实验的结果显示,相较于直接使用残差网络ResNet50和ResNet101,本文方法对暴力行为的识别准确率分别提高了1.4%和0.7%。     

一种改进的深度残差网络行人检测方法

为了提高行人检测方法的准确率,针对行人图像特征,提出一种基于深度残差网络和YOLO(You Only Look Once)方法的行人检测方法。以加强行人特征表达为目的,通过分析行人在图像中的表达和分布特征,提出一种不影响实时性的矩形输入深度残差网络分类模型以改进YOLO检测方法,使模型能够更好的表征行人;为了进一步提高模型的准确率和泛化能力,采用了混合行人数据集训练的方式,提取VOC数据集的行人数据与INRIA数据集组成混合数据集进行训练,明显降低了漏检率;并且利用聚类分析预测框的方法重新设计了初始预测框,提高行人定位能力并加快收敛。经公开的INRIA数据集的测试实验证明,本方法较主流的行人检测方法每张图片误检率有明显改善,降低至13.86%,有1.51%至58.62%不同程度的提升,并且本方法拥有良好的实时性和泛化能力,实用性强。     

基于残差网络迁移学习的花卉识别系统

传统的花卉识别算法一般是建立在手动特征提取和分类器训练的基础上，其泛化能力有限且准确度存在瓶颈。为此提出了基于深度卷积网络的识别算法，采用152层残差网络架构，在爬虫获取的大量标定数据基础上，对神经网络进行迁移学习训练。上线发布的算法集成系统中，用户拍照获取的花卉照片可通过网络传输到云服务器，并在服务端部署的深度学习架构下实现花卉快速识别。针对ImageNet和网龙花卉数据集的实验对比结果表明，基于残差网络迁移学习的方法具有识别准确率高、实时反馈、鲁棒性好等特点。     

基于深度神经网络的字典学习

字典学习通常采用线性函数捕获数据潜在特征, 该方式无法充分提取数据的内在特征结构, 近年来深度学习方法因其强大的特征表示能力而备受关注, 由此本文提出一种结合深度学习与字典学习的非线性特征表示策略, 基于深度神经网络的字典学习(deep neural network-based dictionary learning, DNNDL). DNNDL将字典学习模块融入传统深度学习网络结构中, 在通过自编码器进行映射获取的低维嵌入空间中同时学习数据字典及在其上的稀疏表示系数, 从而实现端到端方式的数据潜在特征提取. DNNDL可为已有数据以及样本外点数据生成紧凑且具判别性的表示. DNNDL不仅是一种新的深度学习网络结构, 并且可将其看作为字典学习和深度学习相结合的统一框架. 通过在4个真实数据集上进行的大量实验, 验证表明所提方法较常用方法具有更好数据表示能力.     

基于信息修正的深度残差学习

提出了一种新的深度残差网络的拓展模块,有效提高了学习表示的鲁棒性。所提出的方法是一个简单的即插即用模块,即组卷积式编码-解码结构,它可以作为一个额外的信息过滤部件集成到原来的深度残差网络中。利用编码器的下采样来产生信息压缩过的特征图,解码器模块被驱动以产生激活准确的特征图,其能够突出显示输入图片中最具有判别力的区域,最后通过元素级相加和激活操作对输入特征进行信息修正。为了使设计的模型计算更加高效,通过减少残差分支的通道数来探究其轻量级版本的表现,发现并没有明显的性能下降现象。在各种基于残差网络的架构上进行实验,获得了一致性的性能提高,而且付出的计算代价与原始版本相比差别不大,甚至还低。     

基于深度残差网络图像分类算法研究综述

近年来,由于计算机技术的飞速迅猛发展,特别是硬件条件的改善,计算能力不断提高,深层神经网络训练的时间大大缩短,深度残差网络也迅速成为一个新的研究热点.深度残差网络作为一种极深的网络架构,在精度和收敛等方面都展现出了很好的特性.研究者们深入研究其本质并在此基础上提出了很多关于深度残差网络的改进,如宽残差网络,金字塔型残差网络,密集型残差网络,注意力残差网络等等.本文从残差网络的设计出发,分析了不同残差单元的构造方式,介绍了深度残差网络不同的变体.从不同的角度比较了不同网络之间的差异以及这些网络架构在常用图像分类数据集上的性能表现.最后我们对于这些网络进行了总结,并讨论了未来深度残差网络在图像分类领域的一些研究方向.     

基于深度特征字典学习和Largevis的遥感图像检索

提出了一种基于深度特征字典学习和Largevis的遥感图像检索方法。该方法以Inception v4为骨干网络,提取了第一个Reduction Block输出的特征图,并对其进行重组。然后利用K均值聚类算法对重组后的特征进行训练,构造深度特征字典。基于深度特征字典,对卷积特征图进行量化,得到紧凑的特征表示向量,将其与全连接层特征相结合,形成图像特征表示向量。为了避免“维度灾难”的问题,采用Largevis降维方法对图像特征表示向量进行降维。采用L2距离度量方法对降维后的特征进行相似性比对,实现了遥感图像的检索。在RS19、UCM和RSSCN7数据集上的实验结果表明,与现有的方法相比,该方法能获得更好的检索性能。     

基于深度神经网络和联邦学习的网络入侵检测

在高速网络环境中,对复杂多样的网络入侵进行快速准确的检测成为目前亟待解决的问题。联邦学习作为一种新兴技术,在缩短入侵检测时间与提高数据安全性上取得了很好的效果,同时深度神经网络（DNN）在处理海量数据时具有较好的并行计算能力。结合联邦学习框架并将基于自动编码器优化的DNN作为通用模型,建立一种网络入侵检测模型DFC-NID。对初始数据进行符号数据预处理与归一化处理,使用自动编码器技术对DNN实现特征降维,以得到DNN通用模型模块。利用联邦学习特性使得多个参与方使用通用模型参与训练,训练完成后将参数上传至中心服务器并不断迭代更新通用模型,通过Softmax分类器得到最终的分类预测结果。实验结果表明,DFC-NID模型在NSL-KDD与KDDCup99数据集上的准确率平均达到94.1%,与决策树、随机森林等常用入侵检测模型相比,准确率平均提升3.1%,在攻击类DoS与Probe上,DFC-NID的准确率分别达到99.8%与98.7%。此外,相较不使用联邦学习的NO-FC模型,DFC-NID减少了83.9%的训练时间。     

Cross-Modal Hashing Retrieval Based on Deep Residual Network

In the era of big data rich in We Media, the single mode retrieval system has been unable to meet people’s demand for information retrieval. This paper proposes a new solution to the problem of feature extraction and unified mapping of different modes: A Cross-Modal Hashing retrieval algorithm based on Deep Residual Network (CMHR-DRN). The model construction is divided into two stages: The first stage is the feature extraction of different modal data, including the use of Deep Residual Network (DRN) to extract the image features, using the method of combining TF-IDF with the full connection network to extract the text features, and the obtained image and text features used as the input of the second stage. In the second stage, the image and text features are mapped into Hash functions by supervised learning, and the image and text features are mapped to the common binary Hamming space. In the process of mapping, the distance measurement of the original distance measurement and the common feature space are kept unchanged as far as possible to improve the accuracy of Cross-Modal Retrieval. In training the model, adaptive moment estimation (Adam) is used to calculate the adaptive learning rate of each parameter, and the stochastic gradient descent (SGD) is calculated to obtain the minimum loss function. The whole training process is completed on Caffe deep learning framework. Experiments show that the proposed algorithm CMHR-DRN based on Deep Residual Network has better retrieval performance and stronger advantages than other Cross-Modal algorithms CMFH, CMDN and CMSSH.     

基于深度残差网络的脱机手写汉字识别研究

手写汉字识别是模式识别与机器学习的重要研究方向和应用领域;近年来,随着深度学习理论方法的完善、新技术的层出不穷,深度神经网络在图像识别分类、图像生成等典型应用中取得了突破性的进展,其中,深度残差网络作为最新的研究成果,已成功应用于手写数字识别、图片识别分类等多个领域;将研究深度残差网络在脱机孤立手写汉字识别中的应用方法,通过改进残差学习模块的单元结构,优化深度残差网络性能,同时通过对训练集的预处理,从数据层面实现训练生成模型性能的提升,最后设计实验,验证深度残差网络、End-to-End模式在脱机手写汉字识别中的可行性,分析、总结存在的问题及今后的研究方向。