基于Winograd卷积的并行深度卷积神经网络优化算法

针对并行深度卷积神经网络算法在大数据环境下存在冗余特征计算过多、卷积运算性能不足和参数并行化合并效率低等问题,提出了基于Winograd卷积的并行深度卷积神经网络优化算法。首先,该算法提出基于余弦相似度与归一化互信息的特征过滤策略,通过先筛选后融合的方式消除了通道间对于冗余特征的计算,以此解决了冗余特征计算过多的问题;然后,结合MapReduce提出了并行Winograd卷积策略,通过使用并行化Winograd卷积运算替换传统卷积运算的方式来提升卷积运算的性能,以此解决了卷积运算性能不足的问题;最后,提出基于任务迁移的负载均衡策略,通过动态负载迁移的方式来均衡集群中各节点之间的负载,降低了集群总体的平均反应时长,以此解决了参数并行化合并效率低的问题。实验表明,WP-DCNN算法显著降低了DCNN在大数据环境下的训练代价,而且对并行DCNN的训练效率也有大幅提升。     

基于Winograd稀疏算法的卷积神经网络加速器设计与研究

随着卷积神经网络得到愈加广泛的应用,针对其复杂运算的定制硬件加速器得到越来越多的重视与研究。但是,目前定制硬件加速器多采用传统的卷积算法,并且缺乏对神经网络稀疏性的支持,从而丧失了进一步改进硬件,提升硬件性能的空间。重新设计一款卷积神经网络加速器,该加速器基于Winograd稀疏算法,该算法被证明有效降低了卷积神经网络的计算复杂性,并可以很好地适应稀疏神经网络。通过硬件实现该算法,本文的设计可以在减少硬件资源的同时,获得相当大的计算效率。实验表明,相比于传统算法,该加速器设计方案将运算速度提升了近4.15倍;从乘法器利用率的角度出发,相比现有的其他方案,该方案将利用率最多提高了近9倍。     

基于KNN的卷积神经网络改进算法

笔者提出了一种通过卷积神经网络对每一个类别的图片进行卷积和池化操作,最终提取出每一个类别图片的特征向量,再通过K近邻算法对卷积神经网络所提取特征向量进行分类改进的算法,并使用cifar10与cifar100两个数据库对改进算法进行验证。实验结果表明改进后的算法相比改进前的15层卷积神经网络准确率有了显著提升。     

基于卷积神经网络的目标识别算法研究

随着时代的快速发展,对于监控视频处理,传统人工处理方式已不能满足社会实际发展需求。智能监控依靠目标检测实现监控,目标识别成为计算机视觉领域的重要研究方向,主要从图像或者视频中检测某一类别的目标。基于此,分析卷积神经网络目标识别算法,研究目标检测算法存在的问题,并提出相应对策,有效提高检测算法的有效性和精确度,从而推动智能视频监控的快速发展和广泛应用。     

基于卷积神经网络的电视频道推荐算法

随着网络和电视服务行业的发展,网络电视平台可以为用户提供更丰富的电视频道,但对于用户而言,挑选喜爱频道的难度大幅提高。针对此问题,本文提出了基于文本卷积神经网络(TextCNN)的电视频道推荐算法,首先根据用户历史观看行为得到隐性观看特征,以及根据用户观看电视频道不同时段的节目简介得到用户特征标签和电视频道标签,然后在卷积神经网络模型中训练得到预测评分,最后通过预测评分对目标用户进行推荐个性化推荐,同时考虑了冷启动问题,使用K-Means方法来解决。我们设计了不同推荐算法的性能对比实验,最终通过基于广电运营平台中真实数据集的实验表明我们提出的算法优于其他几种基线推荐方法,提高了推荐质量。     

面向GPU计算平台的神经网络卷积性能优化

图像检测、识别任务已经被应用在越来越多的生产生活场景中,基于卷积神经网络的方法凭借着精度高的特点被广泛应用.但是卷积神经网络存在着权重参数多、对算力要求高的问题,算力有限且型号多样的边缘计算设备使得这些应用在使用中受限.在跨平台上运行高性能代码,以及基于GPU的卷积神经网络优化愈发重要.针对卷积神经网络中的卷积规模和其他通用矩阵乘(general matrix multiplication, GEMM)方法的不足,根据分块规模、分支执行、访存和计算比例,提出了一种针对卷积神经网络规模优化的GEMM优化方法,将其应用于Winograd算法,并结合算子合并,实现对卷积进一步优化.同时基于遍历的自调优选择性能最优的卷积算子,结合离线编译、内存池、16 b量化、网络规模裁剪等方法,来提升卷积神经网络的性能.最后在AMD V1605B平台上进行实验验证算法的效果,通过和其他GEMM算法以及深度学习网络的性能进行对比,验证了该方法能够获得比GEMM算法和Winograd算法更好的加速效果,并能有效地加速卷积神经网络.     

基于卷积神经网络的图像分类算法

针对传统图像分类方法分类精度不高的问题,文章采用了两层卷积和池化的卷积神经网络(Convolutional Neural Network, CNN)算法来对图像进行分类。从不同方面将CNN与支持向量机(Support Vector Machines, SVM)、反向传播算法(Back Propagation, BP)进行图像分类的准确率对比,实验结果表明,CNN算法图像分类的准确率高于其它两种算法。     

基于混合架构的卷积神经网络算法加速研究

具有优越性能的卷积神经网络算法已得到广泛应用,但其参数量大、计算复杂、层间独立性高等特点也使其难以高效地部署在较低功耗和较少资源的边缘场景.为此结合该种算法的特点提出了一种基于混合架构的卷积神经网络计算加速方法,该方法选用CPU加FPGA的混合架构,对网络模型进行了压缩优化;在FPGA上通过指令控制数据流的DSP阵列结...     

Winograd快速卷积相关研究综述

卷积神经网络(CNN)已经被广泛应用到各个领域并发挥了重要作用.卷积算子是卷积神经网络的基础组件,同时也是最耗时的部分.近年来,研究者提出了包括基于FFT和Winograd的若干种快速卷积算法.其中Winograd卷积因大幅减少了卷积中乘法操作且占用内存更小而迅速成为小卷积核的卷积算子上快速卷积实现的首选.但目前相关工...     

基于Intel平台的Winograd快速卷积算法研究与优化

随着深度学习的快速发展,其在语音处理、图像识别和自然语言理解等领域被广泛应用,为科研产业以及日常生活带去了巨大的变革.Intel紧跟深度学习的浪潮,推出了第2代Xeon Phi处理器KNL(knights landing),其后又发布了第3代Xeon Phi处理器KNM(knights mill),为深度学习的蓬勃发展带去了新的活力.通过在Intel平台上进行快速卷积算法Winograd的研究与优化,对比Intel MKL(math kernel library) DNN(deep neural network)中的卷积性能,推动Intel MKL DNN中深度神经网络接口的完善以及Intel平台上深度学习的发展.研究中结合Intel最新深度学习平台的AVX-512指令集、高速内存MCDRAM、多Memory/SNC模式、二维网格状内核结构等特性,并通过对内存分配、数据调度等情况的分析,设计优化Winograd算法,一方面选取典型的卷积神经网络(convolutional neural network, CNN)网络模型VGG19,测试对比Intel MKL DNN的卷积实现,最终取得了2倍多的性能加速比;另一方面,通过测试常用卷积类型,对比Intel MKL DNN和NVIDIA cuDNN,验证了实现的Winograd对于常用卷积类型具有很好的适用性且具有实际使用价值.该研究工作期望为Intel平台在深度学习领域的发展提供重要的指导意义.     

基于卷积神经网络的图像检索算法研究

由于互联网+时代的到来,在线图像的数量急剧增加,基于内容的图像检索引起了很多关注。传统的检索方法由于图像表达能力不强,使得检索效率低下,不利于大规模图像检索。因此,提出一种新的基于卷积神经网络的图像检索算法。设计一种新型的端到端的卷积神经网络结构,同时学习基于概率的语义信息相似性和图像特征相似性;引入主成分分析方法,对深层特征进行降维的同时降低信息的损失;通过距离函数计算目标图像与数据库图像的距离,实现检索。在Image Net-1000和Oxford 5K数据集上的实验结果表明,该方法能够有效地增强图像特征的表达能力,提高检索性能,优于对比方法。     

一种基于卷积神经网络的哈欠检测算法

哈欠检测可以用于对驾驶员的疲劳驾驶行为发出警告,从而减少交通事故的发生。提出了一种基于卷积神经网络的哈欠检测算法,可以把驾驶员的面部图片直接作为神经网络的输入,避免对面部图片进行复杂的显式特征提取。利用Softmax分类器对神经网络提取的特征进行分类,判断是否为打哈欠行为。该算法在YawDD数据集上取得了92.4%的哈欠检测准确率。与现有多个算法相比,所提算法具有检测准确率高、实现简单等优点。     

基于卷积神经网络的嵌入式手势检测算法

针对嵌入式平台下卷积神经网络运行速度慢,无法快速手势检测的问题,提出一种基于SSD的卷积神经网络的嵌入式手势检测算法,该算法显著提高了手势检测速度,并保持了高精度。首先通过一种预处理方法,对原来的手势数据库进行5倍扩展;然后对SSD算法的基础神经网络层进行卷积因子分解,使用MobileNet神经网络获得了在CPU下的3倍加速;最后通过改变输入图片大小同时改变网络结构,减少了算法的计算复杂度。实验结果表明所提算法在两个数据集上的平均精度均值（Mean Average Precision,mAP）下降2.7%,但是在Qualcomm SnapDragon 820平台下检测一张图片时间可达到0.233 s,检测速度提高40倍以上。     

基于卷积神经网络的室内指纹定位算法

随着无线网络和智能设备的普及,室内定位得到了迅速发展.在室内定位中,基于指纹的定位方法因为无需外部设施、抗干扰性强等优点逐渐成为研究热点.近几年深度学习的发展为提高指纹定位算法的精度带来了新的机遇.因此提出了一种基于CNN的指纹定位算法,使用卷积神经网络（convolutional neural network,简称CNN）来改进指纹库的构建.首先,在收集了CSI与磁场数据后,通过CNN对这些数据进行处理,将每个参考点处的CNN模型参数值用作为指纹.然后使用一种概率方法来进行最后的指纹匹配.实验结果表明,该定位算法比传统的指纹定位算法具有更好的鲁棒性和更高的定位精度.     

基于轻量级卷积神经网络的人脸检测算法

针对人脸检测在移动端应用时面临的移动设备计算能力及存储资源受限等问题,设计一种基于轻量级卷积神经网络的改进人脸检测算法Lightweight-SSH.基于单点无头人脸检测器(SSH)人脸检测算法,采用基于MobileNet的轻量级卷积神经网络对样本数据进行特征提取,减少模型的参数量和计算量,通过在SSH网络的检测模块中...     

基于卷积神经网络的肺结节分类算法

肺部的检查是每年体检的重要一部分。体检中有成百上千的病例,而每个病例中含有许多的肺部横切面CT图像。这些都需要专业医生去逐个筛查出存在肺结节的病例,不仅工作量大而且存在误筛的可能。针对上述问题,把卷积神经网络（CNN）引入筛查存在肺结节的CT图像诊断,提出一种基于CNN的分类算法。在LIDC数据库的实验结果表明,对比应用广泛的lenet-5网络和传统方法等,使用自定义的卷积神经网络将分类的正确率提升了4到10个百分点不等。AUC值为0.821?6,也是几个分类器中最大的。相比于其他方法,该方法能较为准确地识别肺部CT图像,可以为临床诊断提供较为客观的参考。     

一种基于文本卷积神经网络的推荐算法

传统的矩阵因子分解模型不能有效提取用户和物品特征,而基于深度学习模型可以很好地提取特征信息。当前,主流的基于深度学习推荐算法只是单一地将神经网络的输出或物品特征与用户特征乘积的形式来做推荐预测,不能充分挖掘用户和物品之间的关系。基于此,本文提出一种基于文本卷积神经网络与带偏置项的奇异值分解(BiasSVD)结合的推荐算法,利用文本卷积神经网络(TextCNN)来充分提取用户和物品的特征信息,然后用奇异值分解方法来做推荐,深层次理解文档上下文信息,进一步提高推荐的准确性。将该算法在MovieLens的2个真实数据集上做广泛的评估分析,推荐的准确度要明显优于ConvMF算法及主流深度学习推荐算法。     

基于复合卷积神经网络的图像超分辨率算法

针对卷积神经网络图像超分辨率算法中的映射函数容易出现过拟合、梯度弥散等问题，提出一种由卷积网络和反卷积网络构成的复合卷积神经网络算法。提出使用RReLUs和Softplus函数结合形式作为激活函数，有效改善了过拟合问题；采用附加修正系数的小批量梯度下降法，避免梯度弥散现象；利用反卷积网络实现高分辨率图像重建。实验证明新的网络模型有效改善了图像的清晰度和边缘锐化，在主观视觉效果和客观评价指标上都获得了显著提升。     

基于卷积神经网络的全景图像超分辨率算法

文章提出了一种基于卷积神经网络结构的全景图像超分辨率算法3D-WDSR,在单帧图像超分网络WDSR基础上引入可变卷积核结构以减小参数量,节省计算资源.实验结果表明,在不同尺度的超分辨率任务中,先经过预训练后的网络具有更好的性能表现,所提出的3D-WDSR算法的超分辨率重建效果要高于双三次插值方法和EDSR算法,且在参数...