基于深度卷积和自编码器增强的微表情判别

为了判别微表情种类,提出基于深度卷积神经网络和迁移学习的微表情种类判别网络MecNet.为了提高MecNet在CASME Ⅱ、SMIC和SAMM联合数据库上的微表情种类判别准确率,提出基于自编码器的微表情生成网络MegNet,以扩充训练集.使用CASME Ⅱ亚洲人的微表情样本,生成欧美人的微表情样本.设计卷积结构实现图像编码,设计基于子像素卷积的特征图上采样模块实现图像解码,设计基于图像结构相似性的损失函数用于网络优化.将生成的欧美人的微表情样本加入MecNet训练集.实验结果表明,使用MegNet扩充训练集能够有效地提高MecNet微表情种类判别准确率.结合MegNet、MecNet的算法在CASME Ⅱ、SMIC和SAMM组成的联合数据库上的表现优于大部分现有算法.     

基于ACNN和Bi-LSTM的微表情识别

针对微表情动作幅度小、强度低等缺点,提出了一种基于带有注意力机制的卷积神经网络(ACNN)和双向长短期记忆网络(Bi-LSTM)相结合的神经网络结构。实验采用CASME II数据集,为了减少出现过拟合的风险,首先将预处理后的特征向量经过预训练的VGG16网络提取出基本特征,接着对输出特征进行裁剪,得到带有局部特征的24个微表情识别块和带有整个图片特征的全局特征向量;然后将24个识别块分别经过局部识别块注意力卷积神经网络(BR-ACNN)提取出带有注意力信息的局部特征,将全局特征向量经过全局注意力卷积神经网络(GR-ACNN)提取出带有注意力信息的全局特征;最后,将提取的局部和全局特征,经过Bi-LSTM提取出微表情序列之间的相关性信息。实验结果显示,5折交叉验证平均准确率为0.69,UF₁为0.638 2,UAR为0.675 0。CASME II数据集上结果显示,所提算法模型相对OFFApexNet模型,其UF₁提高了0.028 1,UAR提高了0.096 9;相对ATNet模型,其UF₁提高了0.007 2,UAR提高...     

一种高性能可重构深度卷积神经网络加速器

由于深度卷积神经网络的卷积层通道规模及卷积核尺寸多样,现有加速器面对这些多样性很难实现高效计算。为此,基于生物脑神经元机制提出了一种深度卷积神经网络加速器。该加速器拥有类脑神经元电路的多种分簇方式及链路组织方式,可以应对不同通道规模。设计了3种卷积计算映射,可以应对不同卷积核大小;实现了局部存储区数据的高效复用,可大量减少数据搬移,提高了计算性能。分别以目标分类和目标检测网络进行测试,该加速器的计算性能分别达498.6×10 ⁹次/秒和571.3×10 ⁹次/秒;能效分别为582.0×10 ⁹次/(秒·瓦)和651.7×10 ⁹次/(秒·瓦)。     

基于迁移学习与深度森林的晶圆图缺陷识别

为了有效识别晶圆图缺陷模式并及时诊断制造过程的故障源,提出基于迁移学习和深度森林集成的DenseNet-GCForest晶圆图缺陷模式识别模型. 为了解决深度学习模型训练困难和晶圆图缺陷类型数目不平衡的问题,利用迁移学习将深度卷积神经网络DenseNet在ImageNet上预训练的网络权重参数迁移至本模型并重新设计分类层,以减少深度网络模型的训练时间并提高模型的特征提取能力;基于DenseNet网络提取的高维抽象晶圆图特征,引入深度森林模型进行晶圆图特征缺陷模式识别. 工业案例的实验验证结果表明,该方法的识别准确率达到了96.8%,并提高了识别效率,其性能优于典型的卷积神经网络以及其他常用识别方法.     

基于卷积神经网络的目标检测

为了完成视频图像中人体检测,将卷积神经网络和梯度算法结合.将YOLO网络模型结构以及算法函数进行了优化调整.为了保留视频时间信息,引入了卷积神经网络反馈时间维度.采用长短记忆卷积神经网络(LSTM)进行训练,通过将迭代过程的最优解保留,加快了梯度算法中的搜索速度,并且保证收敛于全局最优解.     

基于3D-CBAM注意力机制的人体动作识别

针对已有的动作识别方法的特征提取不足、识别率较低等问题,结合双流网络、3D卷积神经网络和卷积LSTM网络的优势,提出一种融合模型. 该融合模型为了更好地提取人体动作特征,采用SSD目标检测方法将人体目标分割出作为局部特征和原视频的全局特征共同训练,并采用后期融合进行分类; 将3D卷积块注意模块采用shortcut结构的方式融合到3D卷积神经网络中,加强神经网络对视频的通道和空间特征提取; 并且通过将神经网络中部分3D卷积层替换为ConvLSTM层的方法,更好地得到视频的时序关系. 实验在公开的KTH数据集     

一种识别表情序列的卷积神经网络

传统的人脸表情识别方法需要人为指定特征训练方向,卷积神经网络方法虽然可以自动训练分类特征,但是存在无法识别表情序列的弊端．针对此问题,运用一种多网络融合技术,使构建的网络能够对表情序列进行识别．网络构建方法为:首先构建多个卷积神经网络,使每个网络处理一帧图片;然后将处理结果在融合层进行融合;最后通过一个分类器输出识别结果．在CK+人脸表情数据库上,分别对3帧、4帧和5帧表情序列进行实验,均获得了较高的识别率．     

基于深度学习的面部微表情识别

微表情图片具有高度的相似性和密集性的细节信息,传统的微表情识别主要采用手工制作的方法,其识别种类与识别精度均无法满足精确的特征提取训练,因此提出一种深度学习方法,可以有效解决微表情识别在种类数量、准确度和速度上的问题.采用数据增强后合成的图像训练数据集,以处理后的数据集来训练卷积神经网络CNN模型.实验结果证明了所提出...     

基于深度卷积神经网络的羽绒图像识别

由于图像中羽绒形态及其多样性,传统的图像识别方法难以正确识别羽绒分拣图像中的羽绒类型,其识别精度也难以达到实际生产的要求.为解决上述问题,构造了一种用于羽绒类型识别的深度卷积神经网络,并对其权值初始化方法进行了改进.首先利用视觉显著性模型提取羽绒图像的显著部分,然后将图像的显著部分输入到稀疏自动编码器中进行训练,得到一组符合数据集统计特性的卷积核集合.最后采用Inception及其变种模块实现深度卷积神经网络的构造,通过增加网络深度来提高网络的识别精度.试验结果表明,用所构造的深度卷积神经网络对羽绒图像识别的精度较传统卷积神经网络的提高了2.7%,且改进的权值初始化方法使网络的收敛速度提高了25.5%.     

基于深度学习监控场景下的多尺度目标检测算法研究

针对监控环境下的视频图像处理存在漏检这一问题,分析现有目标检测算法中普遍使用的深度学习方法—Faster R-CNN,在VGG16卷积神经网络基础上,对深度卷积神经网络进行改进,在第一层卷积层中加入空洞卷积核,扩展神经网络的宽度,使得目标检测模型具有尺度不变性.在深度学习平台PyTorch下对Cifar-10数据集进行了实验,实验结果显示,改进的目标检测算法具有较好的尺度不变性,在监控场景下更具优势.     

面向中国手语合成的视频语义描述方法

为提高手语合成视频的真实感,提出一种面向手语合成的视频语义描述方法,并基于语义描述构建出相应的视频数据库.采集特定研究领域的手语视频数据,按照词义把源视频切分成词条基元和基于人体-部件的多层次过渡基元,通过对视频基元每帧图像进行语义描述来建立它们的多维语义模型.每个视频基元的多维语义模型代表了该视频每帧图像所包含的具体手语信息,包括位置、手形、韵律等.在手语合成过程中,通过解析视频的多维语义模型即可实时地调用有用的信息.该视频语义描述方法可为手语合成提供实时一致的语义理解,并且在拼接2段不同韵律的手语视频时,可通过解析出的韵律信息适当地调整过渡帧的插值位置,进而合成韵律一致的过渡视频.     

基于时空特征和神经网络的视频超分辨率算法

提出了一种基于时空特征和神经网络的视频超分辨率重建算法,实现了视频视觉分辨率质量和细节清晰度的提升. 该算法综合考虑了外部图像块之间的关联映射关系和内部图像块间的相似性,利用深度卷积神经网络学习得到的拟合系数快速地重建视频细节. 采用时空非局部特征相似性优化重建结果,将相邻视频帧间的非局部互补冗余信息融入学习视频帧结果中,解决了误匹配等问题,进一步提升了超分辨率性能. 实验结果表明,所提方法在客观评价指标和主观视觉效果上均取得了较好的重建效果.     

自适应权值卷积特征的鲁棒目标跟踪算法

针对传统基于固定权值卷积特征的深度学习跟踪算法在部分视频跟踪失败的问题,提出一种新颖的基于响应图和熵函数的评估各卷积神经网络层跟踪性能的方法. 该方法能根据评估结果自动调整各层的权值系数;同时引入边界框检测机制,当跟踪响应最大值小于给定阈值时,采用滑动窗口采样一定数量的边界框,并对边界框进行评估,生成初始建议边界框;最后在初始建议边界框的基础上进行相关滤波跟踪,并给出模型更新策略。 将文中算法与其他9种算法在OTB-2013视频数据库上进行跟踪仿真,实验结果表明,所提算法具有较高的中心点距离准确率和跟踪成功覆盖率。     

一种基于脉线流卷积神经网络的人群异常行为检测算法

在计算机视觉领域，人群异常行为检测技术可以广泛应用于视频监控、智能视频分析、群体行为识别等领域，因此，受到了学者们的广泛关注。由于视频中人群目标具有尺度变化大、透视形变、标注偏置等特点，人群异常行为检测依然是一个具有挑战性的难题。为此，本文提出了一种基于脉线流和卷积神经网络的人群异常行为检测方法(Streak Flow CNN Abnormal Behavior Detection，简称SFCNN-ABD)。SFCNN-ABD通过卷积神经网络获取显著的人群行为空域特征，并通过脉线流结合卷积神经网络获取人群行为时域特征。SFCNN-ABD是一个双流网络，网络结构由两个深度残差网络作为骨干网络，分别为空域网络和时域网络。其中，空间域网络的输入是原始视频帧，提取人群行为的表观特征，而时域网络利用脉线流提取人群行为的运动特征，脉线流能更准确地识别场景中的空域和时域变化，因而能进一步提升人群异常行为检测的准确性。最后将两个网络的输出进行融合，完成人群异常行为的检测。在UMN和VIF两个公开基准数据集进行了测试，实验结果表明本文方法的性能优于当前主流算法，验证了本文方法的有效性。     

基于级联卷积神经网络的视频动态烟雾检测

复杂场景中烟雾特性的提取是目前视频烟雾检测领域的主要挑战。针对该问题,提出一种静态和动态特征结合的卷积神经网络视频烟雾检测框架。在静态单帧图像特征检测的基础上,进一步分析其时空域上的动态纹理信息以期克服复杂的环境干扰。实验结果显示,该级联卷积神经网络模型可有效应用于复杂视频场景中烟雾事件的实时检测。     

深度连续卷积神经网络模型构建与性能分析

为了提升卷积神经网络特征提取能力,设计了一种基于连续卷积的深度卷积神经网络模型.该模型采用小尺度的卷积核来更细致地提取局部特征,并借助连续的两个卷积层增加模型的非线性表达能力,结合Dropout技术降低神经元之间的相互依赖,利用抑制网络过拟合对模型进行优化.人脸表情、手写数字字符和彩色图像的目标识别实验表明,在图像较为复杂时,该模型在识别的准确性和泛化性能上比手工特征提取方法及一般的2、3层卷积结构具有明显的优势.     

混合PSO优化卷积神经网络结构和参数

为了使卷积神经网络在非经验指导下自动寻得最优连接,并提高其参数优化效率,提出用粒子群优化卷积网络参数,并用离散粒子群优化卷积网络特征图之间连接结构的新方法。先使用粒子群优化所有权值,再采用离散粒子群优化降采样层和卷积层之间特征图连接结构。将该方法用于MNIST数据集和CIFAR-10数据集,实验结果表明,相比其他连接结构的卷积神经网络和其他识别方法,该方法可以有效实现网络结构及参数的优化,加速网络收敛并提高识别准确比。