Rate-energy-accuracy optimization of convolutional architectures for face recognition

Face recognition systems based on Convolutional Neural Networks (CNNs) or convolutional architectures currently represent the state of the art, achieving an accuracy comparable to that of humans. Nonetheless, there are two issues that might hinder their adoption on distributed battery-operated devices (e.g., visual sensor nodes, smartphones, and wearable devices). First, convolutional architectures are usually computationally demanding, especially when the depth of the network is increased to maximize accuracy. Second, transmitting the output features produced by a CNN might require a bitrate higher than the one needed for coding the input image. Therefore, in this paper we address the problem of optimizing the energy-rate-accuracy characteristics of a convolutional architecture for face recognition. We carefully profile a CNN implementation on a Raspberry Pi device and optimize the structure of the neural network, achieving a 17-fold speedup without significantly affecting recognition accuracy. Moreover, we propose a coding architecture custom-tailored to features extracted by such model.     

基于图像偏移角和多分支卷积神经网络的旋转不变模型设计

卷积神经网络(CNN)具有平移不变性,但缺乏旋转不变性。近几年,为卷积神经网络进行旋转编码已成为解决这一技术痛点的主流方法,但这需要大量的参数和计算资源。鉴于图像是计算机视觉的主要焦点,该文提出一种名为图像偏移角和多分支卷积神经网络(OAMC)的模型用于实现旋转不变。首先检测输入图像的偏移角,并根据偏移角反向旋转图像;将旋转后的图像输入无旋转编码的多分支结构卷积神经网络,优化响应模块,以输出最佳分支作为模型的最终预测。OAMC模型在旋转后的手写数字数据集上以最少的8 k参数量实现了96.98%的最佳分类精度。与在遥感数据集上的现有研究相比,模型仅用前人模型的1/3的参数量就可将精度最高提高8%。     

基于深度学习的YOLO目标检测综述

目标检测是计算机视觉领域的一个基础任务和研究热点。YOLO将目标检测概括为一个回归问题,实现端到端的训练和检测,由于其良好的速度-精度平衡,近几年一直处于目标检测领域的领先地位,被成功地研究、改进和应用到众多不同领域。该文对YOLO系列算法及其重要改进、应用进行了详细调研。首先,系统地梳理了YOLO家族及重要改进,包含YOLOv1-v4, YOLOv5, Scaled-YOLOv4, YOLOR和最新的YOLOX。然后,对YOLO中重要的基础网络,损失函数进行了详细的分析和总结。其次,依据不同的改进思路或应用场景对YOLO算法进行了系统的分类归纳。例如,注意力机制、3D、航拍场景、边缘计算等。最后,总结了YOLO的特点,并结合最新的文献分析可能的改进思路和研究趋势。     

基于卷积神经网络与全局优化的协同显著性检测

针对目前协同显著性检测问题中存在的协同性较差、误匹配和复杂场景下检测效果不佳等问题,该文提出一种基于卷积神经网络与全局优化的协同显著性检测算法。首先基于VGG16Net构建了全卷积结构的显著性检测网络,该网络能够模拟人类视觉注意机制,从高级语义层次提取一幅图像中的显著性区域;然后在传统单幅图像显著性优化模型的基础上构造了全局协同显著性优化模型。该模型通过超像素匹配机制,实现当前超像素块显著值在图像内与图像间的传播与共享,使得优化后的显著图相对于初始显著图具有更好的协同性与一致性。最后,该文创新性地引入图像间显著性传播约束因子来克服超像素误匹配带来的影响。在公开测试数据集上的实验结果表明,所提算法在检测精度和检测效率上优于目前的主流算法,并具有较强的鲁棒性。     

基于轻量化深度学习网络的调制信号识别模型

电磁态势分析是信息化战争中至关重要的工作,如何利用深度学习技术有效实现调制信号识别是其中一项关键技术.首先将调制信号转化为带有颜色信息的星座图形式,并用深度学习方法,选用VGG16和AlexNet两个卷积神经网络完成调制识别任务.结果显示,当信噪比大于等于0 dB时,可以达到99％以上的识别准确率.由于军用设备对于计算...     

基于两通道深度卷积神经网络的图像隐藏方法

现有的基于深度卷积神经网络(DCNN)实现的图像信息隐藏方法存在图像视觉质量差和隐藏容量低的问题。针对此类问题,该文提出一种基于两通道深度卷积神经网络的图像隐藏方法。首先,与以往的隐藏框架不同,该文提出的隐藏方法中包含1个隐藏网络和2个结构相同的提取网络,实现了在1幅载体图像上同时对2幅全尺寸秘密图像进行有效的隐藏和提取;其次,为了提高图像的视觉质量,在隐藏网络和提取网络中加入了改进的金字塔池化模块和预处理模块。在多个数据集上的测试结果表明,所提方法较现有的图像信息隐藏方法在视觉质量上有显著提升,载体图像PSNR和SSIM分别提高了3.75 dB和3.61%,实现的相对容量为2,同时具有良好的泛化能力。     

音频标记一致性约束CRNN声音事件检测

级联卷积神经网络(CNN)结构和循环神经网络(RNN)结构的卷积循环神经网络(CRNN)及其改进是当前主流的声音事件检测模型。然而,以端到端方式训练的CRNN声音事件检测模型无法从功能上约束CNN和RNN结构的作用。针对这一问题,该文提出了音频标记一致性约束CRNN声音事件检测方法(ATCC-CRNN)。该方法在CRNN模型的声音事件分类网络中添加了CRNN音频标记分支,同时增加了CNN音频标记网络对CRNN网络CNN结构输出的特征图进行音频标记。然后,通过在模型训练阶段限定CNN和CRNN的音频标记预测结果一致使CRNN模型的CNN结构更关注音频标记任务,RNN结构更关注建立音频样本的帧间关系。从而使CRNN模型的CNN和RNN结构具备了不同的特征描述功能。该文在IEEE DCASE 2019国际竞赛家庭环境声音事件检测任务(任务4)的数据集上进行了实验。实验结果显示：提出的ATCC-CRNN方法显著提高了CRNN模型的声音事件检测性能,在验证集和评估集上的F1得分提高了3.7%以上。这表明提出的ATCC-CRNN方法促进了CRNN模型的功能划分,有效改善了CRNN声音事件检测模型的泛化能力。     

基于FPGA的卷积神经网络硬件加速器设计

针对卷积神经网络(CNN)计算量大、计算时间长的问题,该文提出一种基于现场可编程逻辑门阵列(FPGA)的卷积神经网络硬件加速器。首先通过深入分析卷积层的前向运算原理和探索卷积层运算的并行性,设计了一种输入通道并行、输出通道并行以及卷积窗口深度流水的硬件架构。然后在上述架构中设计了全并行乘法-加法树模块来加速卷积运算和高效的窗口缓存模块来实现卷积窗口的流水线操作。最后实验结果表明,该文提出的加速器能效比达到32.73 GOPS/W,比现有的解决方案高了34%,同时性能达到了317.86 GOPS。     

基于自编码器的动态协作中继系统

鉴于大多数现有端到端自编码器(AE)仅适用于点对点的通信场景,提出一种基于AE的动态协作通信系统,将基于深度学习的AE扩展到多点通信系统。构建了3个神经网络子系统,分别用于学习发送端、中继节点和接收端的最佳编码、传输和解码,通过三者的联合训练达到多点通信系统的最佳传输性能。其中,发送端和接收端使用一维卷积层进行信号特征的提取及学习,中继节点通过引入密集层和一维卷积层,支持放大转发(AF)和解码转发(DF)两种经典的中继协作方式。仿真实验表明,在加性高斯白噪声以及瑞利衰落信道条件下,提出的模型采用两种不同的协作方式,其误码性能均优于单一点到点通信系统,验证了系统方案的可行性和有效性。此外,该系统支持动态的节点拓扑结构,在无需额外训练的条件下,本系统支持中继节点数量实时变化。     

基于深度学习的探地雷达二维剖面图像结构特征检测方法

该文针对探地雷达(GPR) 2维剖面图像中目标特征提取困难及其识别精度较低等问题,采用深度学习方法来提取2维剖面图像中目标的特征双曲线。根据GPR工作的物理机制,设计了一种级联结构的卷积神经网络(CNN),先检测并去除回波数据中的直达波干扰信号,再利用CNN得到B扫描(B-SCAN)图像的特征图,并对特征信号进行分类识别以提取目标的特征双曲线。同时,为处理各种干扰信号影响目标特征双曲线结构完整性的问题,提出了一种基于方向引导的特征数据补全方法,提高了目标特征双曲线识别的准确率。与方向梯度直方图(HOG)算法、单级式目标检测(YOLOV3)算法和更快速的区域卷积神经网络(Faster RCNN)算法相比,在综合评价指标F上该文方法的检测结果是最优的。     

基于深度学习的多特征融合海面目标检测方法

该文考虑了海杂波环境下的雷达目标检测问题,提出了一种基于深度学习的海面目标检测器。该检测器通过融合从不同数据源中提取的多种互补性特征以增加目标和杂波的差异性,从而提升对海面目标的检测性能。具体来说,该检测器首先利用两个特征提取分支分别从距离像和距离多普勒谱图中提取多层次快时间特征和距离特征;然后,设计局部-全局特征提取结构从特征的慢时间维度或多普勒维度提取序列关联性;接着,提出基于自适应卷积权重学习的特征融合模块,实现快慢时间特征和距离多普勒特征的高效融合;最后,对多层次特征进行融合、上采样和非线性映射获得检测结果。基于两个公开雷达数据集上的实验验证了所提检测器的检测性能。     

基于曲面类型与深度学习融合的三维掌纹识别技术

传统的2维掌纹识别在图像采集时容易受到干湿度、残影和压力等影响,使得其鲁棒性和准确性降低。为解决这些问题,3维掌纹识别技术应运而生。现有的3维掌纹身份认证技术需要将掌纹的特征提取与匹配识别分开进行,不仅延缓了识别时间,更增加了不同方法优化组合的难度。该文提出一种基于曲面类型(ST)与深度学习融合的3维掌纹识别方法。该方法利用ST图像表示3维掌纹特征,并将其作为卷积神经网络(CNN)的输入,实现网络的训练。测试图像可自行提取掌纹图像特征信息并在网络中直接完成识别。实验结果表明,该文方法在公开数据集上得到了99.43%的准确率和28 ms的识别时间,与传统3维掌纹识别方法相比均有提高,实现了3维掌纹的快速高精度识别。     

基于毫米波雷达三维点云的人体动作识别数据集与方法

毫米波雷达凭借其出色的环境适应性、高分辨率和隐私保护等优势,在智能家居、智慧养老和安防监控等领域具有广泛的应用前景。毫米波雷达三维点云是一种重要的空间数据表达形式,对于人体行为姿态识别具有极大的价值。然而,由于毫米波雷达点云具有强稀疏性,给精准快速识别人体动作带来了巨大的挑战。针对这一问题,该文公开了一个毫米波雷达人体动作三维点云数据集mmWave-3DPCHM-1.0,并提出了相应的数据处理方法和人体动作识别模型。该数据集由TI公司的IWR1443-ISK和Vayyar公司的vBlu射频成像模组分别采集,包括常见的12种人体动作,如走路、挥手、站立和跌倒等。在网络模型方面,该文将边缘卷积(EdgeConv)与Transformer相结合,提出了一种处理长时序三维点云的网络模型,即Point EdgeConv and Transformer (PETer)网络。该网络通过边缘卷积对三维点云逐帧创建局部有向邻域图,以提取单帧点云的空间几何特征,并通过堆叠多个编码器的Transformer模块,提取多帧点云之间的时序关系。实验结果表明,所提出的PETer网络在所构建的TI数据集和Vayyar数据集上的平均识别准确率分别达到98.77%和99.51%,比传统最优的基线网络模型提高了大约5%,且网络规模仅为1.09 M,适于在存储受限的边缘设备上部署。     

基于一种卷积神经网络的目标快速跟踪技术

特定动态目标的快速检测及跟踪,是计算机视觉领域重要的课题。改变特征图在YOLOv3卷积神经网络中的选取位置,通过收集相关网络数据(类似模式分析、统计建模和计算学习视觉对象类别数据集合,即PASCAL Visual Object Classes数据集)构建自定义数据集合进行训练,使用面积的交并比完成辅助类别的联合,构建了能够实时检测特定目标在相关可视对象类检测数据集合上mAP@75达到47.41的检测器。联合卡尔曼滤波和匈牙利算法,通过将面积信息加入到匈牙利算法的代价矩阵中,改善了使用原方法产生大量ID切换(ID switch)的问题。该方法满足快速识别与跟踪的要求,在使用一张NVIDIA GeForce GTX 1060 6GB GPU条件下,平均速度能达到0.109 7 s/帧。     

基于迁移学习的三子网图像去雾方法

目前大部分图像去雾算法只在一种或几种均匀雾图数据集中有较好的表现,对于不同风格或非均匀雾图数据集去雾效果较差,同时算法在实际应用中会因模型泛化能力差导致模型场景受限。针对上述情况,该文提出一种基于迁移学习的卷积神经网络(CNN)用于解决去雾算法中非均匀雾图处理效果不佳和模型泛化能力差等问题。首先,该文使用ImageNet预训练的模型参数作为迁移学习模型的初始参数,以加速模型训练收敛速度。其次,主干网络模型由3个子网组成：残差特征子网络、局部特征提取子网络和整体特征提取子网络。3子网结合以保证模型可从整体和局部两个方面进行特征提取,在现实雾场景(浓雾、非均匀雾)中获得较好的去雾效果。该文在模型训练效率、去雾质量和雾图场景选择灵活性3个方面进行了研究和改进,为衡量模型性能,模型选择在去雾难度较大的非均匀雾图数据集NTIRE2020和NTIRE2021上进行定量与定性实验。实验结果证明3子网模型在图像主观和客观评价指标两个方面都取得了较好的效果。该文模型改善了算法泛化性能差和小数据集难以进行模型训练的问题,可将该文成果广泛应用于小规模数据集和多变场景图像的去雾工作中。     

基于深度学习的摘钩机器人手爪位置控制研究

摘钩机器人在自动化生产线中的应用日益广泛,尤其在物流和制造业中具有广阔的应用前景。摘钩任务要求机器人手爪具备高精度的空间位置控制能力,以应对复杂的工作环境,而传统的手爪控制方法往往难以应对多变的环境和多样化的目标物体。文中提出了一种基于深度学习的摘钩机器人手爪位置控制模型,利用深度卷积神经网络（Deep Convolutional Neural Network,DCNN）与强化学习算法,构建了一种适应性强、精度高的手爪位置控制系统。此外,该系统还使用了改进的梯度下降算法来优化模型参数,以提高控制精度和响应速度。实验结果表明,该控制系统在复杂多变的场景中具有优异的定位精度和较快的响应速度,显著提高了摘钩机器人的操作性能和鲁棒性。     

基于深度卷积神经网络的行人检测应用

随着计算机视觉技术的快速发展,其在行人检测领域得到了重要的应用,提高了行人检测的准确性,但行人遮挡和密集场景下的检测仍面临着诸多挑战。文中基于 YOLOv8 模型,对行人遮挡问题进行了改进,旨在提高其检测精度和速度。实验结果显示,优化后的模型在保持较低计算复杂度的同时,显著提升了检测精度和速度,为深度学习技术的发展提供了参考。