无监督随机优化乘积量化图像检索模型

随着互联网图像的增多,线性复杂度的最近邻图像检索已很难满足大规模图像检索的性能需求.为了在大规模图像检索任务下保证精度的同时减少检索的时间,提出一种基于乘积量化的近似最近邻图像检索模型.首先通过卷积神经网络初步提取图像特征.然后通过卷积注意力模块对特征进行处理得到增强后的图像特征.接着根据图像本身的语义结构对神经网络进行训练,再通过训练好的神经网络提取图像的语义特征,并使用随机优化乘积量化方法对语义特征进行处理,最终得到与输入图像相似的检索结果.最后,通过在大规模数据集NUS-WIDE上与其他模型进行比较分析,实验结果表明所提模型在大数据图像检索时可以提高检索精度,同时降低检索时间.     

二值网络的分阶段残差二值化算法

二值网络在速度、能耗、内存占用等方面优势明显，但会对深度网络模型造成较大的精度损失.为了解决上述问题，本文提出了二值网络的"分阶段残差二值化"优化算法，以得到精度更好的二值神经网络模型.本文将随机量化的方法与XNOR-net相结合，提出了两种改进算法"带有近似因子的随机权重二值化"和"确定权重二值化"，以及一种全新的"分阶段残差二值化"的BNN训练优化算法，以得到接近全精度神经网络的识别准确率.实验表明，本文提出的"分阶段残差二值化"算法能够有效提升二值模型的训练精度，而且不会增加相关网络在测试过程中的计算量，从而保持了二值网络速度快、空间小、能耗低的优势.     

一种超低损失的深度神经网络量化压缩方法

深度神经网络（DNN）量化是一种高效的模型压缩方法,仅使用少量位宽就可表示模型计算过程中的参数和中间结果数据.数据位宽会直接影响内存占用、计算效率和能耗.以往的模型量化研究仅仅针对数据位宽本身,但却忽视了数据的分布规律,且缺乏有效的定量分析,这导致量化损失难以预测.本文提出一种超低损失的DNN量化方法μL2Q.μL2Q揭示了量化位宽与量化损失之间的内在联系,提出了量化值择优分析方法以降低目标位宽下的量化损失.首先,将原始数据映射为标准正态分布的数据;然后,在等宽的量化区间中搜索最优量化参数;最后,将μL2Q方法融合进DNN的训练过程,并嵌入到主流的机器学习框架Caffe及Keras中以支撑端到端模型压缩的设计和训练.实验结果表明,与其他量化方法相比,在相同的位宽条件下,μL2Q能保证更高的模型精度;与最新的研究方法相比,精度分别提高了1.94%、3.73%和8.24%.显著性物体检测实验证明,μL2Q能够胜任复杂的计算机视觉任务.     

基于指数移动平均知识蒸馏的神经网络低比特量化方法

目前存储和计算成本严重阻碍深度神经网络应用和推广,而神经网络量化是一种有效的压缩方法.神经网络低比特量化存在的显著困难是量化比特数越低,网络分类精度也越低.为了解决这一问题,文中提出基于指数移动平均知识蒸馏的神经网络低比特量化方法.首先利用少量图像进行自适应初始化,训练激活和权重的量化步长,加快量化网络收敛.再引入指数移动平均(EMA)知识蒸馏的思想,利用EMA对蒸馏损失和任务损失进行归一化,指导量化网络训练.在ImageNet、CIFAR-10数据集上的分类任务表明,文中方法可获得接近或超过全精度网络的性能.     

基于残差量化卷积神经网络的人脸识别方法

针对大规模人脸识别问题,基于残差学习的超深卷积神经网络模型能取得比其他方法更高的识别精度,然而模型中存在的海量浮点参数需要占用大量的计算和存储资源,无法满足资源受限的场合需求.针对这一问题,本文设计了一种基于网络参数量化的超深残差网络模型.具体在Face-ResNet模型的基础上,增加了批归一化层和dropout层,加深了网络层次,对网络模型参数进行了二值量化,在模型识别精度损失极小的情况下,大幅压缩了模型大小并提升了计算效率.通过理论分析与实验验证了本文设计方法的有效性.     

卷积神经网络混合截断量化

量化是压缩卷积神经网络、加速卷积神经网络推理的主要方法.现有的量化方法大多将所有层量化至相同的位宽,混合精度量化则可以在相同的压缩比下获得更高的准确率,但寻找混合精度量化策略是很困难的.为解决这种问题,提出了一种基于强化学习的卷积神经网络混合截断量化方法,使用强化学习的方法搜索混合精度量化策略,并根据搜索得到的量化策略混合截断权重数据后再进行量化,进一步提高了量化后网络的准确率.在ImageNet数据集上测试了ResNet18/50以及MobileNet-V2使用此方法量化前后的Top-1准确率,在COCO数据集上测试了YOLOV3网络量化前后的mAP.与HAQ, ZeroQ相比, MobileNet-V2网络量化至4位的Top-1准确率分别提高了2.7%和0.3%;与分层量化相比, YOLOV3网络量化至6位的mAP提高了2.6%.     

基于ELM和连续过程神经网络的抽油机工况诊断

普通神经网络进行抽油机工况诊断时存在诊断精度偏低的问题,提出选用连续过程神经元网络作为诊断模型,特征输入选取能直接反映示功图几何形态特征的位移和载荷两种连续信号。为提高模型学习速度,提出过程神经网络的极限学习算法,将训练转换为最小二乘问题,根据样本输入计算隐层输出矩阵,使用SVD法求解Moore-Penrose广义逆,最后计算隐层输出权值。通过诊断实验,模型学习速度提升5倍左右,与普通神经网络进行对比,诊断精度提高8个百分点左右,验证了方法的有效性。     

非线性量化小脑模型关节控制器神经网络控制器

常规小脑模型关节控制器(CMAC)神经网络采用线性均匀量化,稳态控制精度与量化级数相关,增加量化级数可提高稳态精度但会导致内存空间和计算量的增加.本文提出一种可采用幂函数、高斯、分段3种非线性量化方法的非线性量CMAC神经网络,并分析了非线性量化CMAC的收敛性,解释了非线性量化提高稳态精度的本质.面向一阶惯性环节、二阶系统、一阶时变系统及二阶时变系统,分别跟踪方波、斜坡、正弦波、三角波和加速度等输入信号,仿真验证了非线性量化CMAC神经网络控制器的有效性,给出了不同非线性量化方法的适用性.结果表明,非线性量化CMAC参数容易设定,物理意义清晰,与常规CMAC对比,其快速性和控制精度显著提高,可以有效解决实际复杂非线性时变系统的控制.     

基于均方误差的8位深度神经网络量化

为模型量化后具有更高的准确度,提出以量化均方误差(QMSE)为指标的确定量化系数的方法,针对量化后性能损失严重的小型网络,进一步提出更新统计参数(USP)的方法。QMSE将量化过程中的舍入和截断操作产生的噪声相结合,以此作为选取合适量化系数的指标;USP通过更新批次归一化层中的均值和方差,矫正模型量化产生的均值和方差偏移。实验结果表明,在不进行重训练的情况下,使用QMSE+USP对常见的深度神经网络量化,模型性能优于其它算法。     

基于人工神经网络的主机安全量化评估研究

基于人工神经网络的方法对主机安全性能进行量化评估。分析了BP人工神经网络模型的网络结构及学习算法,分析了影响目标主机安全性能的可能因素,并应用BP神经网络模型对目标主机的安全性能进行样本训练及实际测试。基于人工神经网络的主机安全量化评估为评价目标主机的安全性能提供了可行的方法。     

结合剪枝与流合并的卷积神经网络加速压缩方法

深度卷积神经网络因规模庞大、计算复杂而限制了其在实时要求高和资源受限环境下的应用,因此有必要对卷积神经网络现有的结构进行优化压缩和加速。为了解决这一问题,提出了一种结合剪枝、流合并的混合压缩方法。该方法通过不同角度去压缩模型,进一步降低了参数冗余和结构冗余所带来的内存消耗和时间消耗。首先,从模型的内部将每层中冗余的参数剪去;然后,从模型的结构上将非必要的层与重要的层进行流合并;最后,通过重新训练来恢复模型的精度。在MNIST数据集上的实验结果表明,提出的混合压缩方法在不降低模型精度前提下,将LeNet-5压缩到原来的1/20,运行速度提升了8倍。     

结合自底向上注意力机制和记忆网络的视觉问答模型

目的 现有大多数视觉问答模型均采用自上而下的视觉注意力机制,对图像内容无加权统一处理,无法更好地表征图像信息,且因为缺乏长期记忆模块,无法对信息进行长时间记忆存储,在推理答案过程中会造成有效信息丢失,从而预测出错误答案。为此,提出一种结合自底向上注意力机制和记忆网络的视觉问答模型,通过增强对图像内容的表示和记忆,提高视觉问答的准确率。方法 预训练一个目标检测模型提取图像中的目标和显著性区域作为图像特征,联合问题表示输入到记忆网络,记忆网络根据问题检索输入图像特征中的有用信息,并结合输入图像信息和问题表示进行多次迭代、更新,以生成最终的信息表示,最后融合记忆网络记忆的最终信息和问题表示,推测出正确答案。结果 在公开的大规模数据集VQA （visual question answering）v2.0上与现有主流算法进行比较实验和消融实验,结果表明,提出的模型在视觉问答任务中的准确率有显著提升,总体准确率为64.0%。与MCB（multimodal compact bilinear）算法相比,总体准确率提升了1.7%;与性能较好的VQA machine算法相比,总体准确率提升了1%,其中回答是/否、计数和其他类型问题的准确率分别提升了1.1%、3.4%和0.6%。整体性能优于其他对比算法,验证了提出算法的有效性。结论 本文提出的结合自底向上注意力机制和记忆网络的视觉问答模型,更符合人类的视觉注意力机制,并且在推理答案的过程中减少了信息丢失,有效提升了视觉问答的准确率。     

面向“边缘”应用的卷积神经网络量化与压缩方法

针对卷积神经网络（CNN）推理计算所需内存空间和资源过大,限制了其在嵌入式等"边缘"设备上部署的问题,提出结合网络权重裁剪及面向嵌入式硬件平台数据类型的数据量化的神经网络压缩方法。首先,根据卷积神经网络各层权重的分布,采用阈值法对网络精确率影响较小的权重进行裁剪,保留网络中重要连接的同时除去冗余信息;其次,针对嵌入式平台的计算特性分析网络中权重及激活函数所需的数据位宽,采用动态定点量化方法减小权重数据的位宽;最后,对网络进行微调,在保障网络模型识别精度的前提下进一步压缩模型大小并降低计算消耗。实验结果表明,该方法降低了VGG-19网络95.4%的存储空间而精确率仅降低0.3个百分点,几乎实现无损压缩;同时,通过多个网络模型的验证,该方法在平均1.46个百分点精确率变化范围内,最大降低网络模型96.12%的存储空间,能够有效地压缩卷积神经网络。     

基于特征复用的卷积神经网络模型压缩方法

为了在不降低准确率的前提下，减小卷积神经网络模型的体积与计算量，提出一种基于特征复用的卷积神经网络压缩模块——特征复用单元（FR-unit）。首先，针对不同类型的卷积神经网络结构，提出不同的优化方法；然后，在对输入特征图进行卷积操作后，将输入特征与输出特征进行结合；最后，将结合后的特征传递给下一层。通过对低层特征的重复使用，使总的提取的特征数量不发生改变，以保证优化后的网络的准确率不会发生改变。在CIFAR10数据集上进行验证，实验结果表明，优化后的VGG模型体积缩小为优化前的75.4%，预测时间缩短为优化前的43.5%；优化后的Resnet模型体积缩小为优化前的53.1%，预测时间缩短为优化前的60.9%，且在测试集上的准确率均未降低。     

基于权重量化与信息压缩的车载图像超分辨率重建

针对智能驾驶领域中需要在内存受限的情况下得到高质量的超分辨率图像的问题,提出一种基于权重八位二进制量化的车载图像超分辨率重建算法。首先,基于八位二进制量化卷积设计信息压缩模块,减少内部冗余,增强网络内信息流动,提高重建速率;然后,整个网络由一个特征提取模块、多个堆叠的信息压缩模块和一个图像重建模块构成,并利用插值后超分辨率空间的信息与低分辨率空间重建后的图像融合,在不增加模型复杂度的基础上,提高网络表达能力;最后,算法中整个网络结构基于对抗生成网络（GAN）框架进行训练,使得到的图片有更好主观视觉效果。实验结果表明,所提算法的车载图像重建结果的峰值信噪比（PSNR）比基于GAN的超分辨率重建（SRGAN）算法提高了0.22 dB,同时其生成模型大小缩小为LapSRN的39%,重建速度提高为LapSRN的7.57倍。     

Minimal Structure of Self-Organizing HCMAC Neural Network Classifier

The authors previously proposed a self-organizing Hierarchical Cerebellar Model Articulation Controller (HCMAC) neural network containing a hierarchical GCMAC neural network and a self-organizing input space module to solve high-dimensional pattern classification problems. This novel neural network exhibits fast learning, a low memory requirement, automatic memory parameter determination and highly accurate high-dimensional pattern classification. However, the original architecture needs to be hierarchically expanded using a full binary tree topology to solve pattern classification problems according to the dimension of the input vectors. This approach creates many redundant GCMAC nodes when the dimension of the input vectors in the pattern classification problem does not exactly match that in the self-organizing HCMAC neural network. These redundant GCMAC nodes waste memory units and degrade the learning performance of a self-organizing HCMAC neural network. Therefore, this study presents a minimal structure of self-organizing HCMAC (MHCMAC) neural network with the same dimension of input vectors as the pattern classification problem. Additionally, this study compares the learning performance of this novel learning structure with those of the BP neural network,support vector machine (SVM), and original self-organizing HCMAC neural network in terms of ten benchmark pattern classification data sets from the UCI machine learning repository. In particular, the experimental results reveal that the self-organizing MHCMAC neural network handles high-dimensional pattern classification problems better than the BP, SVM or the original self-organizing HCMAC neural network. Moreover, the proposed self-organizing MHCMAC neural network significantly reduces the memory requirement of the original self-organizing HCMAC neural network, and has a high training speed and higher pattern classification accuracy than the original self-organizing HCMAC neural network in most testing benchmark data sets. The experimental results also show that the MHCMAC neural network learns continuous function well and is suitable for Web page classification.     

基于蚁群算法优化回声状态网络的研究

针对输出权值采用最小二乘法的回声状态网络(ESN),在随机选取输入权值和隐层神经元阈值时,存在收敛速度慢、预测精度不稳定等问题,提出了基于蚁群算法优化回声状态网络(ACO-ESN)的算法。该算法将优化回声状态网络的初始输入权值、隐层神经元阈值问题转化为蚁群算法中蚂蚁寻找最佳路径的问题,输出权值采用最小二乘法计算,通过蚁群算法的更新、变异、遗传等操作训练回声状态网络,选择出使回声状态网络预测误差最小的输入权值和阈值,从而提高其预测性能。将ACO-ESN与ELM、I-ELM、OS-ELM、B-ELM等神经网络的仿真结果进行对比,结果验证经过蚁群算法优化的回声状态网络加快了其收敛速度,改善了其预测性能,并增强了隐层神经元的敏感度。     

基于移动端的场景分类模型

对移动神经网络进行研究,在此基础上提出一种端到端的高效运行于移动端的场景分类模型。在同一个网络中使用多分辨率输入的方法进行训练,在预测时只将原图处理到指定分辨率,不进行multi-crop预测;将网络在中层提取的局部信息和在高层提取的全局信息进行融合;根据提出的相似类知识迁移的模型压缩方法对网络进行训练。实验结果表明,与现有的移动神经网络相比,该模型的识别准确率更高。与端到端的场景分类模型相比,该模型能在模型大小只有其1%的情况下取得同等或更高的识别准确率。     

A hybrid neural optimization scheme based on parallel updates

A synchronous Hopfield-type neural network model containing units with analog input and binary output, which is suitable for parallel implementation, is examined in the context of solving discrete optimization problems. A hybrid parallel update scheme concerning the stochastic input-output behaviour of each unit is presented. This parallel update scheme maintains the solution quality of the Boltzmann Machine optimizer, which is inherently sequential. Experimental results on the Maximum Independent Set problem demonstrate the benefit of using the proposed optimizer in terms of computation time. Excellent speedup has been obtained through parallel implementation on both shared memory and distributed memory architectures.