基于过渡帧概念训练的微表情检测深度网络

为了更准确地从视频中检测面部微表情,针对微表情数据库样本规模较小的特点,采用迁移学习方法将深度卷积神经网络应用于微表情检测问题. 选取预训练过的深度卷积神经网络模型,保留卷积层及预训练参数,添加全连接层和分类器,构造一个二分类的微表情检测深度网络（MesNet）. 为了去除微表情数据库中影响网络训练的噪声标签,提出过渡帧的概念和自适应识别过渡帧算法. MesNet在CASME II、SMIC-E-HS与 CAS(ME)²数据库上的曲线下面积（AUC）分别达到0.955 6、0.933 8与0.785 3,其中在CASME II短视频数据库和 CAS(ME)²长视频数据库上均取得最优结果,表明MesNet具有高精度和广适用范围的特点;过渡帧对比实验结果表明,构造训练集时从原始视频中去除过渡帧能够有效提高MesNet微表情检测性能.     

基于ACNN和Bi-LSTM的微表情识别

针对微表情动作幅度小、强度低等缺点,提出了一种基于带有注意力机制的卷积神经网络(ACNN)和双向长短期记忆网络(Bi-LSTM)相结合的神经网络结构。实验采用CASME II数据集,为了减少出现过拟合的风险,首先将预处理后的特征向量经过预训练的VGG16网络提取出基本特征,接着对输出特征进行裁剪,得到带有局部特征的24个微表情识别块和带有整个图片特征的全局特征向量;然后将24个识别块分别经过局部识别块注意力卷积神经网络(BR-ACNN)提取出带有注意力信息的局部特征,将全局特征向量经过全局注意力卷积神经网络(GR-ACNN)提取出带有注意力信息的全局特征;最后,将提取的局部和全局特征,经过Bi-LSTM提取出微表情序列之间的相关性信息。实验结果显示,5折交叉验证平均准确率为0.69,UF₁为0.638 2,UAR为0.675 0。CASME II数据集上结果显示,所提算法模型相对OFFApexNet模型,其UF₁提高了0.028 1,UAR提高了0.096 9;相对ATNet模型,其UF₁提高了0.007 2,UAR提高...     

基于深度学习的面部微表情识别

微表情图片具有高度的相似性和密集性的细节信息,传统的微表情识别主要采用手工制作的方法,其识别种类与识别精度均无法满足精确的特征提取训练,因此提出一种深度学习方法,可以有效解决微表情识别在种类数量、准确度和速度上的问题.采用数据增强后合成的图像训练数据集,以处理后的数据集来训练卷积神经网络CNN模型.实验结果证明了所提出...     

基于三元组卷积神经网络的图像检索

针对图像检索中图像间相似度和训练集带标签样本不足问题,提出一种改进的三元组卷积神经网络的图像检索算法。采用基于三元组卷积神经网络,在相似数据集上进行网络训练,为图像检索项目提取更好的特征。实验结果表明,该算法在相似数据集上进行重训练,有助于提高基于内容的图像检索任务的性能。     

基于深度卷积生成对抗网络的不平衡大数据监测与诊断

针对不平衡数据集的在线监测与诊断问题,提出一种基于深度卷积生成对抗网络的算法模型.通过生成器与判别器之间的不断对抗,实现对数据训练网络参数的调整和优化,并得到近似分布数据,用以矫正数据集的不平衡性.利用深度卷积网络的转置卷积层替代池化层,在检测空间内实现上下同步采样,同时避免反复选择数据训练层参数而带来高成本计算.生成...     

基于多尺度卷积神经网络的变压器故障诊断方法

为了提高变压器故障识别的诊断精度,提出一种基于多尺度卷积神经网络模型的变压器故障诊断方法。首先,在1DCNN结构基础上设计2个多尺度卷积模块,构造变压器故障识别模型的总体结构。其次,针对样本特征较少问题,采用基于比值法的特征扩充方法,将样本特征由5维增强至25维;针对故障样本量少以及故障间样本数分布不平衡问题,采用基于对抗生成网络的样本数增强方法,生成大量模拟样本。最后,利用改造后的数据集对所设计的模型进行训练与测试。结果表明,模型平均准确率为93.24%,与相关主流方法在不同数据集下实验对比,本模型表现效果良好。     

基于迁移学习的少样本朝鲜语古籍文字的识别方法

为解决少样本朝鲜语古籍文字识别精度低的问题,提出了一种基于迁移学习的少样本文字识别方法.首先提出了一种结合传统数据增强和条件深度卷积生成对抗网络的数据增强方法,以此扩充朝鲜语古籍文字图像的训练样本数.其次,将富样本集预训练得到的模型迁移到少样本数据集的学习任务中,以此实现少样本的朝鲜语古籍文字识别.实验结果表明,提出的数据增强方法能够满足模型预训练和少样本的学习要求,且VGG16、ResNet18和ResNet50 3种网络模型在测试集上均获得良好的识别性能,其中ResNet50的识别准确率最高(99.72%).因此,该方法可有效解决小样本的朝鲜语古籍文字识别问题,并可为其他语种的小样本文字识别提供参考.     

基于深度卷积自编码网络的小样本光伏热斑识别与定位

针对传统卷积神经网络训练需要大量数据、而热斑效应图像样本量较少的现状,构建一种深度卷积自编码网络模型用于小样本光伏热斑识别与定位.首先对原始光伏红外图像做预处理得到小样本数据集,然后构建一种以卷积神经网络为基础、结合自编码器的深度卷积自编码网络模型.该模型能自动学习并提取小样本图像中的有效特征,提高识别准确率.实验结果...     

基于双网络及多尺度判决器的图像修复算法

为了有效解决修复复杂背景及高分辨率图像时产生的边界扭曲、伪影及训练不稳定的缺陷,提出了一种基于双生成对抗网络及多尺度判决器的图像修复算法。首先,将待修复图像输入基于空洞卷积(Dilated Convolution)层的内容预测网络,以重构损失和基于生成对抗损失的全局判决器为标准,进行粗修复.然后将粗修复结果输入细节修复网络,经空洞卷积路径和感知(Contextual Attention)卷积路径解码和反卷积后,送入三个不同尺度的判决器进行优化。在公认的图像数据集上对本文算法进行训练和测试,实验结果显示：提出方法在修复背景复杂及高分辨率图像时,能生成合理的结构和清晰的纹理细节,其主客观指标均优于对比算法。     

光流模值估计的微表情捕捉

采用力的加速度参量展开描述人脸表情的变化过程,直接反映变化速度,从而有效捕捉表情序列中由不完全肌肉运动所引起的微表情关键帧.利用Horn-Schunck(H-S)光流法对连续运动的人脸图像序列提取运动目标的运动特征;通过光学应变张量算法,结合运动特征中的光流速度估计,推导出加速度参量;利用全局阈值算法对加速度模值和速度与张量模值作分类、比较,实现微表情图像序列关键帧的提取.采用Oulu大学SMIC微表情数据库中16个实验对象的88个微表情片段作为实验样本,平均正确识别率可达80.7%,比仅利用光学张量算法的正确识别率高12.5%.实验结果表明,所提出的加速度参量对微表情提取更具有效性.     

基于多尺度条件生成对抗网络血细胞图像分类检测方法

针对血细胞图像中白细胞样本较少和生成细胞图像细节不清晰,导致检测精度较低的问题,提出基于多尺度鉴别器的条件生成对抗网络. 该网络通过生成并添加大量逼真的白细胞图像到分类检测网络训练集的方式,实现对血细胞图像的生成和分类检测. 在现有条件生成对抗网络真假鉴别器中,引入多尺度卷积核、池化域并在通道上拼接,提升鉴别器对微观细节纹理特征和宏观几何特征的鉴别能力;引入梯度相似性损失函数,以提高生成细胞图像的亮度及边缘清晰度,提升图像的真实感. 实验证明,在图像生成阶段,增加多尺度鉴别器和梯度相似性损失函数提高了生成细胞图像的质量;在图像分类检测阶段,对比仅有真实数据训练的情况,增加细胞样本多样性使细胞分类检测的平均精度由90.4%提升至94.7%.     

Potential emotion recognition based on the fusion of the spatio-temporal neural network and facial pulse signals

(Micro) expression has a certain effect on emotion recognition,but in the case of artificial concealment,it is prone to misjudgment.Although the recognition effect of physiological signals is more accurate,the data collection is often complicated,which is not convenient for rapid personnel emotion checking.In response to the above problem,this paper adopts a non-contact chromatic model-based method to collect pulse signals,extract features based on the pulse signals,and integrate the proposed spatio-temporal neural network to realize potential emotion recognition.Experimental results show that the proposed two-way latent emotion recognition framework can well integrate the emotion information contained in micro-expressions and physiological signals,and that the effect in micro-expression recognition is improved to some extent compared with the current micro-expression recognition algorithms commonly used at this stage.     

管道漏磁图像的卷积核信息熵相似度约束方法

为了提高卷积神经网络中卷积核对管道漏磁图像的特征学习能力,提出一种基于信息熵相似度约束的卷积核优化方法.建立一种信息熵相似度约束规则,通过判定条件对权值相近或相似度过高的卷积核进行优化.搭建实验平台并建立样本数据库进行实验,该方法可优化其特征提取能力,得到具有区分目标和背景语义信息能力的优化卷积核.结果表明,优化卷积核对目标具有较强的特征提取能力,能提高网络分类准确率和工作效率,实验结果与理论分析具有很好的一致性.     

一种多尺度嵌套卷积神经网络模型

卷积神经网络模型要求训练图像与测试图像在空间尺度上一致.为弱化这一限制,对卷积层特征提取器进行多尺度改进,提出了一种尺度不变卷积神经网络模型,以自动适应输入图像在平面空间上的尺度变化.同时,将多层Maxout网络嵌入新模型中,以进一步提高特征提取能力,提高图像识别与分类的准确性.实验测试结果表明,该模型提高了传统卷积神经网络模型的尺度不变性和分类精度.     

Multi-Scale Feature Extraction for Joint Classification of Hyperspectral and LiDAR Data

With the development of sensors, the application of multi-source remote sensing data has been widely concerned. Since hyperspectral image (HSI) contains rich spectral information while light detection and ranging (LiDAR) data contains elevation information, joint use of them for ground object classification can yield positive results, especially by building deep networks. Fortunately, multi-scale deep networks allow to expand the receptive fields of convolution without causing the computational and training problems associated with simply adding more network layers. In this work, a multi-scale feature fusion network is proposed for the joint classification of HSI and LiDAR data. First, we design a multi-scale spatial feature extraction module with cross-channel connections, by which spatial information of HSI data and elevation information of LiDAR data are extracted and fused. In addition, a multi-scale spectral feature extraction module is employed to extract the multi-scale spectral features of HSI data. Finally, joint multi-scale features are obtained by weighting and concatenation operations and then fed into the classifier. To verify the effectiveness of the proposed network, experiments are carried out on the MUUFL Gulfport and Trento datasets. The experimental results demonstrate that the classification performance of the proposed method is superior to that of other state-of-the-art methods.     

基于改进Fisher准则的深度卷积神经网络识别算法

为了有效利用深度学习技术自动提取特征的能力,并解决当训练样本量减少或者迭代次数降低时识别性能急速下降的问题,提出了基于Fisher准则的深度学习算法.该方法在前馈传播时,采用卷积神经网络自动提取图像的结构信息等特征,同时利用卷积网络共享权值和池化、下采样等方法减少了权值个数,降低了模型复杂度;在反向传播权值调整时,采用了基于Fisher的约束准则.在权值的迭代调整时既考虑误差的最小化,又同时让样本保持类内距离小,类间距离大,从而使权值能更加快速地逼近有利于分类的最优值,当样本量不足或训练迭代次数不多时可有效地提高系统的识别率.大量的实验结果证明:该基于Fisher准则的混合深度学习算法在标签样本不足或者较少训练次数的情况下依然能达到较好的识别效果.     

基于双注意力CrossViT的微表情识别方法

微表情是人们试图隐藏自己真实情绪时不由自主泄露出来的面部表情，是近年来情感计算领域的热点研究领域.微表情是一种细微的面部运动，难以捕捉其细微变化的特征.本文基于交叉注意力多尺度ViT （CrossViT）在图像分类领域的优异性能以及能够捕捉细微特征信息的能力，将CrossViT作为主干网络，对网络中的交叉注意力机制进行改进，提出了DA模块（Dual Attention）以扩展传统交叉注意力机制，确定注意力结果之间的相关性，从而提升了微表情识别精度.本网络从三个光流特征（即光学应变、水平和垂直光流场）中学习，这些特征是由每个微表情序列的起始帧和峰值帧计算得出，最后通过Softmax进行微表情分类.在微表情融合数据集上，UF1和UAR分别达到了0.727 5和0.727 2，识别精度优于微表情领域的主流算法，验证了本文提出网络的有效性.     

大气低频声信号识别深度学习方法研究

针对全面禁核试低频声监测中需要对大气低频声信号进行有效识别的问题,对深度神经网络中的卷积神经网络进行了研究,提出了一种将低频声信号转换为图像,然后采用卷积神经网络进行识别,并对学习过程进行改进的方法。将该方法与基于人工设计特征的支持向量机方法进行了对比实验,实验结果表明,在训练数据集不大的情况下,通过改进学习过程的卷积神经网络可以挖掘出信号的潜在特征,具有和支持向量机同等的识别能力。