基于特征图切分的轻量级卷积神经网络

卷积神经网络模型所需的存储容量和计算资源远超出移动和嵌入式设备的承载量,因此文中提出轻量级卷积神经网络架构(SFNet).SFNet架构引入切分模块的概念,通过将网络的输出特征图进行“切分”处理,每个特征图片段分别输送给不同大小的卷积核进行卷积运算,将运算得到的特征图拼接后由大小为1×1的卷积核进行通道融合.实验表明,相比目前通用的轻量级卷积神经网络,在卷积核数目及输入特征图通道数相同时,SFNet的参数和计算量更少,分类正确率更高.相比标准卷积,在网络复杂度大幅降低的情况下,切分模块的分类正确率持平甚至更高.     

面向SAR目标识别的深度卷积神经网络结构设计

目的 针对用于SAR （synthetic aperture radar） 目标识别的深度卷积神经网络模型结构的优化设计难题,在分析卷积核宽度对分类性能影响基础上,设计了一种适用于SAR目标识别的深度卷积神经网络结构。方法 首先基于二维随机卷积特征和具有单个隐层的神经网络模型-超限学习机分析了卷积核宽度对SAR图像目标分类性能的影响;然后,基于上述分析结果,在实现空间特征提取的卷积层中采用多个具有不同宽度的卷积核提取目标的多尺度局部特征,设计了一种适用于SAR图像目标识别的深度模型结构;最后,在对MSTAR （moving and stationary target acquisition and recognition） 数据集中的训练样本进行样本扩充基础上,设定了深度模型训练的超参数,进行了深度模型参数训练与分类性能验证。结果 实验结果表明,对于具有较强相干斑噪声的SAR图像而言,采用宽度更大的卷积核能够提取目标的局部特征,提出的模型因能从输入图像提取目标的多尺度局部特征,对于10类目标的分类结果（包含非变形目标和变形目标两种情况）接近或优于已知文献的最优分类结果,目标总体分类精度分别达到了98.39%和97.69%,验证了提出模型结构的有效性。结论 对于SAR图像目标识别,由于与可见光图像具有不同的成像机理,应采用更大的卷积核来提取目标的空间特征用于分类,通过对深度模型进行优化设计能够提高SAR图像目标识别的精度。     

面向硬件加速的通用图像卷积实验平台

FPGA因具有较好的并行处理能力和灵活性,使其在卷积神经网络硬件加速计算中得到广泛的应用,但是传统的FPGA图像卷积实现中存在模块化设计以及空间开销较大的问题.本文提出了一种面向硬件加速的通用图像卷积开发平台.通过模块化设计,极大提高针对不同卷积核实现图像卷积开发的灵活性;另外通过图像批次处理技术,充分利用数据重复性实现内存共享,较好地降低了存储空间的开销.实验结果表明,本文设计的平台在模块化设计方面提供了更好的可重配置架构,非常适于实验教学应用;在存储空间需求方面,当并行度提高时,BRAM的复杂度只是线性增加,这对于功耗的降低具有优势.     

Variational Image Registration Using Inhomogeneous Regularization

We present a generalization of the convolution-based variational image registration approach, in which different regularizers can be implemented by conveniently exchanging the convolution kernel, even if it is nonseparable or nonstationary. Nonseparable kernels pose a challenge because they cannot be efficiently implemented by separate 1D convolutions. We propose to use a low-rank tensor decomposition to efficiently approximate nonseparable convolution. Nonstationary kernels pose an even greater challenge because the convolution kernel depends on, and needs to be evaluated for, every point in the image. We propose to pre-compute the local kernels and efficiently store them in memory using the Tucker tensor decomposition model. In our experiments we use the nonseparable exponential kernel and a nonstationary landmark kernel. The exponential kernel replicates desirable properties of elastic image registration, while the landmark kernel incorporates local prior knowledge about corresponding points in the images. We examine the trade-off between the computational resources needed and the approximation accuracy of the tensor decomposition methods. Furthermore, we obtain very smooth displacement fields even in the presence of large landmark displacements.     

带PCA卷积的稀疏表示图像分类算法

针对不同卷积核可以提取不同的图像特征,而卷积核的训练比较困难这一问题,提出一种带主成分分析（PCA）卷积的稀疏表示分类算法。先对训练样本集做分片去均值化处理,然后直接应用PCA算法提取所有分片的前K个特征向量作为卷积核,再用这些卷积核对原始图像进行卷积操作;并提出一种自动加权策略,对卷积处理后得到的K个特征图像进行加权叠加操作;最后对特征图像进行分块直方图统计稀疏化,并应用稀疏表示分类算法进行分类。在公共人脸数据集AR、CMU Multi-PIE、ORL以及数字手写体数据集MNIST上与常用分类算法进行对比实验,实验结果表明,带PCA卷积的稀疏表示分类算法具有更高的分类准确率。     

基于PCA初始化卷积核的CNN手写数字识别算法

针对卷积神经网络对手写数字识别训练在卷积核随机初始化情况下收敛速度慢和识别率低的问题，提出一种主成分分析（PCA）初始化卷积核的卷积神经网络（CNN）手写数字识别算法。算法首先选取训练样本集并将其送入CNN，在相应层对Feature Map进行全覆盖取图像块处理，然后进行分层PCA学习，将学习到的特征向量做为对应卷积层的卷积核参数进行初始化，最后再用这些卷积核对原始图像进行卷积操作。实验结果表明，与随机初始化卷积核的CNN手写数字识别算法相比，改进的算法在应用MNIST数据库训练时不仅收敛，而且在产生相同均方误差的情况下迭代次数少，识别率高。     

面向轻量级卷积网络的激活函数与压缩模型

因卷积神经网络参数膨胀,导致模型训练时占用大量的计算资源和存储资源,从而限制其在边缘终端上的应用。依据深度可分离卷积模型MobileNet V1的设计思路,结合自门控函数和ReLU函数的特点,构建一种改进的激活函数和压缩神经网络模型MobileNet-rhs。将ReLU函数和swish函数分别作为分段线性函数,设计激活函数ReLU-h-swish,通过优化卷积单元结构,解决模型训练过程中难以激活部分神经元的问题,以减少特征信息丢失。构建一种剔除卷积核的压缩模型,从模型深处自下而上剔除2ⁿ个卷积核,减少逐点卷积的参数量。在CIFAR-10和CIFAR-100数据集上进行实验,结果表明,引入ReLU-h-swish函数构建MobileNet-rhs模型的Top-1分类准确率为80.38%。相比MobileNet-rhs模型,压缩后MobileNet-rhs模型的参数量减少17.9%,其Top-1分类准确率仅降低2.28个百分点。此外,利用Tensorflow将该模型部署在安卓平台上,实现图像分类相册的应用。     

基于AC-CNN模型的过程故障识别

针对复杂工业过程中故障变量特征提取效率低,分类数量较少且故障识别率较低等问题,提出基于非对称卷积核(asymmetric convolutions)的卷积神经网络(CNN)的工业过程故障识别模型。采取故障变量重构对故障数据进行预处理;引入非对称卷积核模型对重构后的输入故障变量进行特征提取,提高特征提取的效率;根据CNN模型改进得到具有AC架构的AC-CNN模型,识别TE(田纳西-伊斯曼)过程故障的在线测试集样本,实验结果表明,所提方法对TE过程故障数据集的识别效果明显,验证了模型的有效性和优异性。     

基于核方法的中文实体关系抽取研究

命名实体关系抽取是信息抽取领域中的重要研究课题之一。该文探讨了核方法在中文关系抽取上的有效性问题,主要分为三部分研究了在卷积树核中使用不同的语法树对关系抽取性能的影响;通过构造复合核检查了树核与平面核之间的互补效果;改进了最短路径依赖核,将核计算建立在原最短依赖路径的最长公共子序列上,以消除原始最短路径依赖核对依赖路径长度相同的过严要求。因为核方法开始被用于英文关系抽取时,F1值也只有40%左右,而我们在ACE2007标准语料集上的实验结果表明,只使用作用在语法树上的卷积核时,中文关系抽取的F1值达到了35%,可见卷积核方法对中文关系抽取也是有效的,同时实验也表明最短路径依赖核对中文关系抽取效果不明显。     

An FPGA implementation for real-time edge detection

The Hessian matrix-based edge detection algorithm of Dr. Carsten Steger has the advantages of high accuracy and versatility. However, this algorithm has a complex and time-consuming computation process. Large-scale Gaussian convolution also employs a large number of multipliers when implemented on a field programmable gate array (FPGA). To address these problems, an FPGA implementation for Steger’s edge detection algorithm is proposed. This implementation employs pipeline and parallel architectures at both task and data levels for data stream processing. The original kernels of Gaussian convolution are simplified with box-filter to convert the multiplication operation in the convolution into addition, subtraction, or shift operations with the concept of integral image, thereby minimizing the multiplier resources. The proposed FPGA implementation demonstrates a favorable accuracy and anti-noise capability when dealing with different degrees of blur and noise in an image. Therefore, the FPGA implementation can satisfy real-time edge detection requirements.     

Convolution surfaces based on polygons for infinite and compact support kernels

We provide formulae to create 3D smooth shapes fleshing out a skeleton made of line segments and planar polygons. The boundary of the shape is a level set of the convolution function obtained by integration along the skeleton. The convolution function for a complex skeleton is thus the sum of the convolution functions for the basic elements of the skeleton. Providing formulae for the convolution of a polygon is the main contribution of the present paper. We improve on previous results in several ways. First we do not require the prior triangulation of the polygon. Then, we obtain formulae for families of kernels, either with infinite or compact supports. Last, but not least, in the case of compact support kernels, the geometric computations needed are restricted to intersections of spheres with line segments.     

基于跳跃连接金字塔模型的小目标检测

随着深度学习的发展,目标检测已经获得了较高的精度和效率。但是小目标的检测仍然是一个挑战。小目标检测准确率较低的重要原因是没有充分利用高层特征的语义信息和低层特征的细节信息之间的关系。针对上述问题,本文提出一种基于跳跃连接金字塔模型的小目标检测方法。与其他的目标检测方法不同,本文提出利用跳跃连接金字塔结构来融合多层高层语义特征信息和低层特征图的细节信息。而且为了更好地提取不同尺度物体对应的特征信息,在网络模型中采用不同大小的卷积核和不同步长的空洞卷积来提取全局特征信息。在PASCAL VOC和MS COCO数据集上进行了实验,验证了算法的有效性。     

一种改进的LeNet-5嵌入式人脸识别方法

给出了一种基于LeNet-5改进的人脸识别方法,以其能适用于资源及计算能力有限的嵌入式系统.把典型卷积神经网络LeNet-5的结构,设计为由两个卷积采样层、一个全连接隐藏层和一个分类输出层,降低了网络结构复杂度.而且减少了卷积核的个数、改进了池化方式以及分类输出方式,降低了计算复杂度.实验证明,在保证训练和测试精度的同时,该方法提高了在嵌入式平台上进行单人脸识别的速度.     

基于信息融合策略的卷积神经网络剪枝方法

针对现有结构化剪枝方法过度依赖预训练模型和直接丢弃不重要卷积核的信息造成了明显的性能下降的问题,提出一种基于信息融合策略的卷积神经网络剪枝方法（APBM）,以较小精度损失降低模型复杂度、实现模型加速。首先APBM方法引入信息熵概念以表示卷积核的相似度分布,并使用分布之间的相对熵动态衡量卷积核的重要程度;同时在训练的前向传播中采用信息融合策略：融合非重要卷积核信息与重要卷积核信息,以减少剪枝过程中的信息损失和提高剪枝的容错性。在CIFAR10和CIFAR100数据集上进行验证和对比实验。实验结果表明：相对于HRank、Polarization、SWP等剪枝算法,APBM方法训练时间更少、模型压缩率更高,精度保持最佳。在基于CIFAR10的剪枝任务中,对VGG16和ResNet56分别剪掉92.74%和48.84%的参数量;在基于CIFAR100的剪枝任务中,对VGG16和ResNet56分别剪掉72.91%和44.18%的参数量。     

基于梯度的自适应阈值结构化剪枝算法

在边缘设备上运行深度神经网络模型并进行实时性分析,需要对网络模型进行压缩以减少模型参数量和计算量,但现有剪枝算法存在耗时长和模型压缩率低的问题。提出一种基于梯度设置不同阈值的结构化剪枝算法。对神经元进行细粒度评价,采用神经网络的梯度信息衡量权重的重要性,通过网格搜索和计算曲率的方式获取不同网络层的剪枝权重阈值,根据搜索后的剩余参数量确定不同网络层的卷积核中需要剔除的冗余参数。在此基础上,保留网络层中有效参数较多的卷积核,实现对卷积核个数的调整,进而重新训练以保证模型精度。分别对VGG16、ResNet50分类模型和SSD、Yolov4、MaskRCNN目标检测模型进行剪枝实验,结果表明,经该算法剪枝后,分类模型参数量减少92%以上,计算量减少70%以上,目标检测模型参数量减少75%以上,计算量减少57%以上,剪枝效果优于Rethinking、PF等算法。     

基于反卷积特征提取的深度卷积神经网络学习

在深度卷积神经网络的学习过程中,卷积核的初始值通常是随机赋值的.另外,基于梯度下降法的网络参数学习法通常会导致梯度弥散现象.鉴于此,提出一种基于反卷积特征提取的深度卷积神经网络学习方法.首先,采用无监督两层堆叠反卷积神经网络从原始图像中学习得到特征映射矩阵;然后,将该特征映射矩阵作为深度卷积神经网络的卷积核,对原始图像进行逐层卷积和池化操作;最后,采用附加动量系数的小批次随机梯度下降法对深度卷积网络微调以避免梯度弥散问题.在MNIST、CIFAR-10和CIFAR-100数据集上的实验结果表明,所提出方法可有效提高图像分类精度.     

基于图过滤框架对图卷积滤波器灵活性的研究

图卷积神经网络通过特征传播,学习卷积核,实现图卷积,它的核心在于卷积算子的构建。在应用具体的图数据时,卷积核的适用性往往因应用场景的不同而受到限制。本文从图过滤的角度看待卷积核,在图过滤框架下,视结点的数据特征为图信号,应用低通滤波器对其进行平滑处理,将提取的平滑图信号放在拓扑图上进行谱域中的卷积。在此过程中,局部的图结构信息将被整合进结点的相似度表征中以完成图嵌入学习。为了提高图形滤波器的灵活性,实现更精细的设计,在原有模型的基础上,本文引入新的平移参数,从而在不增加神经网络的可训练权重数量的情况下,也可以轻松控制滤波器的平滑力度以满足各种场景的滤波需求,其作用机理则是控制频率响应函数的水平位移。通过在3个引文网络和1个知识图谱上设置多种参数值执行图嵌入学习的任务,本文验证了引入平衡参数的有效性,并从图划分的角度对此提出了更为全面的见解。     

一种基于前向无监督卷积神经网络的人脸表示学习方法

当前基于深度卷积神经网络的人脸表示学习方法需要利用海量的有标注的人脸数据。在实际应用中,精确标注人脸的身份非常困难。因此,提出了一种基于前向无监督卷积神经网络的人脸表示学习方法。其中,基于K-means聚类获取训练样本虚拟标签,再利用线性判别分析进行卷积核学习。提出的网络结构简单有效,训练阶段不需要反向传递,训练速度显著优于有监督的深度卷积神经网络。实验结果表明,提出的方法在真实条件下的人脸数据集LFW和经典的Feret数据集上取得了优于当前主流的无监督特征学习方法和局部特征描述子的性能。     

抗BGP中间人攻击的无证书签名方法

边界网关协议用于自治域之间交换网络可达信息,但面临中间人攻击威胁,因此提出一种改进的无证书多重签名方案并将其应用于边界网关协议.在该方案中域间路由须按照路由传递顺序对其进行签名,自治系统对多重签名验证成功才可接收路由,且自治系统的公私钥与可信中心交互生成,签名消息的长度固定,计算高效.通过安全性分析,证明基于无证书的有...     

基于多尺度注意力残差网络的图像超分辨率重建

数字图像在传递信息中起着重要的作用,图像超分辨率技术能丰富图像的细节信息.针对许多网络对低分辨率图像的有效特征复用不足和参数量过大的问题,本文结合不同大小的卷积核以及注意力残差机制构建图像超分辨率网络,用3个有差别尺度的卷积层来提取图像的特征,其中第2和第3层用小卷积核替代大的卷积核,对3层卷积融合之后引入注意力机制,...