基于光流和自编码器的微表情检测方法

微表情检测广泛应用在谎言识别、心理健康和情感分析等场合,构建微表情检测模型需要充足的训练数据,但是标注微表情需要过高的成本,导致自发性微表情样本库数量过少,给微表情检测带来了极大的挑战。针对这个挑战提出一种新的微表情检测方法FLOW-AENET:提取人脸的光流特征,将光流特征作为自编码器的输入,利用深度学习模型对特征进行处理,再将学习到的特征加入SVM分类器中做二分类,在含有微表情的一类中,根据ROIS区域的变化程度判断出微表情产生的起始帧、顶峰帧和结束帧。在CASEME、CASME II等数据集上进行实验研究,结果表明,FLOW-AENET方法相比于其他方法具有明显的优势。     

一种改进的光流算法

光流法是运动图像序列分析的一种重要方法。该文通过引入前向－后向光流方程,计算其Hessian矩阵,把Hessian矩阵条件数的倒数作为Lucas－Kanade光流法的加权阵,可有效消除局部邻域中不可靠约束点,同时提高基本约束方程解的稳定性。实验表明该方法相对于其它梯度约束光流法具有更好的可靠性。     

基于三维卷积神经网络和峰值帧光流的微表情识别算法

针对现有微表情识别技术未能有效利用峰值帧前后时间空间特征的缺点,文中提出基于三维卷积神经网络和峰值帧光流的微表情识别算法.首先,提取峰值帧前后相邻帧间的光流场,在保留微表情重要时间、空间信息的同时,去除冗余信息,减少计算量.然后,利用三维卷积神经网络,从光流场中提取增强的时空特征,实现微表情的分类识别.最后,通过在3个微表情数据库上的对比实验证实文中算法准确度较高.     

基于光流法的不良视频检测算法

提出了一种适用于流媒体中的不良视频检测算法,提出了4点约束光流算法,利用局部光流信息提取     

一种基于PSO的改进光流算法

针对变分光流法无法有效检测由间断、遮挡等因素造成的错误光流分量的缺陷,提出一种基于PSO(Particle Swarm Optimization)的光流算法。该方法在Classic+NL算法模型的基础上计算出光流后,引入前向光流和后向光流的运动一致性理论来判断遮挡区域,并通过基于PSO的修补法来实现对遮挡区域错误光流的有效修补,同时,利用邻域光流修补法实现了再次修补。实验结果表明,该方法能有效克服由间断、遮挡等因素造成的错误光流分量的缺陷,更准确地刻画出光流,提高光流的计算精度。     

结合C3D与光流法的微表情自动识别

由于微表情动作幅度小且持续时间短,使其识别难度大.针对此问题,提出一个结合三维卷积神经网络(3D Convolutional neural network,C3D)和光流法的微表情识别方法.所提出的方法先用光流法从微表情视频中提取出包含动态特征的光流图像系列,然后将得到的光流图像系列与原始灰度图像序列一起输入到C3D网络,由C3D进一步提取微表情在时域和空域上的特征.在开放数据集CASMEⅡ上进行了模拟实验,实验表明本文所提出的方法对微表情的识别准确率达到67.53％,优于现有方法.     

一种改进的帧间差光流场算法

结合运动目标检测帧差法运算速度快和光流法活动目标检测准确度高的特点,提出一种改进的帧间差光流场计算的运动目标检测算法。在帧差部分采用隔帧差分从而可以检测到帧间位移小于1个像元而多帧累积位移大于1个像元的运动点目标;在光流计算时,引入通用动态图像模型（GDIM）建立新的光流约束条件,克服了亮度变化引起的约束方程不成立问题。算法仅对帧差法后图像中不为零的像素进行光流场计算,提高了目标检测的准确性和检测速度。仿真实验证明了该算法的有效性。     

基于全局光流特征的微表情识别*

以改善微表情识别效果为目标,研究基于梯度的全局光流特征提取算法.针对精细图像间大位移问题,引入多分辨率策略对图像分层,通过迭代重加权最小二乘法逐层优化目标函数,求解最优光流,保证运动跟踪的准确性.为了体现人脸关键部位的动作差异,提出分区的特征统计方法,将光流图像划分为若干矩形区域,在局部区域内归纳各点光流运动情况,增强特征的有效性.实验表明,文中方法提升整体识别率和各类情感区分的准确度.     

结合空间注意力机制与光流特征的微表情识别方法

针对微表情运动的局部性问题,提出一种将深度学习的空间注意力机制与微表情光流特征相结合的微表情识别自动方法.首先,采用帧差法识别缺少峰值帧标记的微表情样本的峰值帧;然后,利用TV-L1光流法提取微表情起始帧与峰值帧之间的光流水平、垂直分量图,并根据光流的水平、垂直分量图导出对应的光流应变模式图;将3个光流图以通道叠加的方式连接起来,构成微表情的光流特征图;最后,在Inception模块搭建的卷积神经网络中设计了一种包含可学习参数的空间注意力单元,使模型在特征提取过程中能够更加关注存在微表情运动的区域.在空间注意力单元中利用3?3和7?7这2种大小的卷积核进行空间注意力的推断,使模型能够综合地考虑不同尺度卷积核的注意力推断结果.实验结果表明,该方法在MEGC2019综合微表情数据集上的识别准确率达到0.788,优于已有的微表情识别方法.     

一种结合光流法与三帧差分法的运动目标检测算法

运动目标的检测是计算机视觉研究的重要内容之一,光流法是其中的一种重要方法.由于计算光流的算法复杂,限制了它的使用.本文提出一种结合光流法与三帧差分法的运动目标检测算法,该算法简化了光流的计算,选择图像中具有代表性的Harris角点,只对这些像素点计算光流信息,有效地减少了复杂度,由于检测得到的运动目标区域不够完整,引入了三帧差分法作为简化光流法的补充.经过实验,该方法使光流法达到了实时性要求,取得了好的效果,优于单独运用两种方法中的任何一种取得的效果.     

基于改进差分和光流的新型运动目标检测方法

针对运动目标检测中的空洞和虚假目标的问题, 提出一种改进差分和改进光流的运动目标检测方法. 该方法首先对连续的七帧图像依次进行预处理、差分、灰度变换和二值化处理, 并将前、后三帧二值图像分别累加得到的二值图像进行逻辑与运算, 得到中间帧中运动目标的粗略区域; 其次将中间帧与背景帧差分, 并对得到的图像进行边缘提取和二值化处理, 然后对其进行像素的算术运算, 得到中间帧中运动目标的精确区域; 在基础上通过改进的光流法得到运动目标的准确信息; 最后通过阈值分割和形态学处理完成对目标的分割. 对比实验表明, 该方法能实现运动目标的准确快速检测与分割.     

基于光流法的快速车道线识别算法研究

为提取无人驾驶车前方车道线信息,提出一种使用光流法的快速车道线识别算法。首先,根据连续视频帧之间的时间相关性,运用光流法检测车辆前方背景的相对移动。然后,利用车辆背景中特征点的移动方向和距离,对本帧图像中车道线的位置进行粗略定位,从而缩小本帧图像中车道线的检测区域,加速车道线识别算法。最后,通过对车道线像素点的处理,给出车道线类型信息。该算法提升了车道线检测算法的效率,降低了复合算子车道线检测算法的时间复杂度。在720*480像素下,算法实现了13.5Hz的处理速度,相较仅使用复合算子的处理算法提升了39.6%的处理速度,且算法检测效果良好。实车实验证明了算法的有效性和实时性。     

基于光流周期特性的视频帧率上转篡改检测

视频帧率上转是视频时域篡改的一种常见篡改手段,它通过周期性地在两个视频帧中间插入中间帧的方式,实现将视频由低帧率转换到高帧率的目标.本文提出了一种基于光流周期特性的视频帧率上转篡改检测算法,首先将视频转为帧图像序列,然后采用Horn-Schunck光流法计算每帧图像每个像素点的光流矢量,并计算相邻帧图像光流的变化率.最后利用快速傅里叶变换对光流变化率数据进行频谱分析,根据最高谱线的幅值与平均幅值的比值阈值来判别视频是否经过篡改.实验表明,算法不仅能够准确识别待测视频是否经过帧率上转篡改,并且提高了视频压缩的鲁棒性能,具有一定的实际应用价值.     

一种改进的谐波电流检测算法

针对基于瞬时无功功率理论的谐波检测算法实时性差、不能直接用于单相谐波检测的问题,提出采用滑窗迭代DFT算法来提高谐波检测的实时性;并针对传统DFT在非同步抽样时存在错误的问题,提出采用自适应抽样算法来自动调整抽样时间,从而减小DFT在非同步抽样时的计算误差。仿真结果表明,基于自适应抽样的滑窗迭代DFT算法能够实时有效地检测出谐波电流,具有很好的目标跟随性和抗干扰性。     

基于光流场的鲁棒性视频水印算法

为改善视频水印抗H.264压缩的性能,提出一种基于光流场的视频水印算法。根据视频图像中各点的光流速度,计算其帧图片的总光流,再根据总光流的差值来选定视频关键帧,在这些关键帧中利用DCT分块变换来嵌入水印信息。实验结果表明,该算法能有效对抗H.264的3种压缩模式,满足了水印的鲁棒性和视频高压缩率的双重要求。     

Improved Accuracy in Gradient-Based Optical Flow Estimation

Optical flow estimation by means of first derivatives can produce surprisingly accurate and dense optical flow fields. In particular, recent empirical evidence suggests that the method that is based on local optimization of first-order constancy constraints is among the most accurate and reliable methods available. Nevertheless, a systematic investigation of the effects of the various parameters for this algorithm is still lacking. This paper reports such an investigation. Performance is assessed in terms of flow-field accuracy, density, and resolution. The investigation yields new information regarding pre-filter, differentiator, least-squares neighborhood, and reliability test selection. Several changes to previously-employed parameter settings result in significant overall performance improvements, while they simultaneously reduce the computational cost of the estimator.     

基于光流残差的视频超分辨率重建算法

随着卷积神经网络的发展,视频超分辨率算法取得了显著的成功。因为帧与帧之间的依赖关系比较复杂,所以传统方法缺乏对复杂的依赖关系进行建模的能力,难以对视频超分辨率重建的过程进行精确地运动估计和补偿。因此提出一个基于光流残差的重建网络,在低分辨率空间使用密集残差网络得到相邻视频帧的互补信息,通过金字塔的结构来预测高分辨率视频帧的光流,通过亚像素卷积层将低分辨率的视频帧变成高分辨率视频帧,并将高分辨率的视频帧与预测的高分辨率光流进行运动补偿,将其输入到超分辨率融合网络来得到更好的效果,提出新的损失函数训练网络,能够更好地对网络进行约束。在公开数据集上的实验结果表明,重建效果在峰值信噪比、结构相似度、主观视觉的效果上均有提升。     

一种改进的视频图像检测跟踪算法

针对运动目标在运动过程中的交叉、遮挡等情况,采用自适应阈值的Vibe算法来压缩背景杂波和相关噪声,进而对运动目标进行检测.采用基于Camshift优化的粒子滤波算法对运动目标进行跟踪,该算法在粒子滤波算法的基础上结合Camshift算法的优点,加入当前观测信息,使粒子更好地采样于目标周围,提高了粒子效率,节省了算法时间.实验表明,自适应阈值的Vibe算法能够准确检测复杂场景中的运动目标,并能够适应噪声干扰和光照变化,而基于Camshift优化的粒子滤波算法能够在目标快速运动、遮挡情况下对目标进行准确跟踪.