实时课堂教学系统的视频采集研究

针对当前视频捕获设备驱动模式各不相同的现状,提出了一种能够应用于多种不同驱动模型视频捕获设备的视频采集方案.该方案可以对不同驱动模型的视频捕获设备统一进行参数设置.利用DirectShow技术实现了实时课堂教学系统中视频采集模块.在实现视频采集时,研究了对于不同硬件DirectShow构建的Filter Graph的差别.实验测试显示,实现的视频采集模块能够对不同的硬件设备进行参数设置,提高了实时课堂教学系统的硬件兼容性.     

交通信号灯状态判别

介绍了机动车违章闯红灯视频自动监测系统的基本原理和实现框架,分析了其中的关键技术,并提出了一个视频交通信号灯状态判别模型以解决交通信号灯状态判别这个关键问题。该模型在闯红灯视频自动监测系统中得到应用。实际结果表明该模型准确、可靠、实用、鲁棒性强。     

动画视频中的“闪光灯”检测

现有的视频检测技术主要是针对普通视频而设计的．然而动画视频因其制作过程与传统视频有着巨大的差别,导致现有的闪光灯检测技术对动画视频检测效果往往不理想。针对动画视频的特点．提出一种针对动画视频的闪光灯检测技术．可以有效地检测视频中的闪光灯及类闪光灯效果．提高镜头检测的准确率。     

飞机液压系统健康状态综合评估技术研究

针对目前飞机液压系统健康状态难以准确评估问题,构建了一个基于灰色聚类法和熵权法相结合的飞机关键部件—液压系统两级健康状态综合评估模型。该模型首先利用熵权法对飞机液压系统各部件相关参数的权重进行计算并确定,然后利用灰色聚类法对飞机液压系统各部件进行健康状态综合评估,得到各部件的聚类系数。在此基础上,用所得各部件聚类系数构成飞机液压系统健康状态综合评估的评判矩阵,再用熵权法计算并确定飞机液压系统各部件的权重,最后利用灰色聚类法对飞机液压系统的整体健康状态进行综合评估,从而得到飞机液压系统健康状态综合评估结果。通过实例对所构建的评估模型进行试验验证。研究结果表明,所构建的健康状态评估模型能够实现飞机液压系统健康状态综合评估效能,具有良好的工程应用前景。     

基于流量特征的数字媒体网络视频通信流量预测系统

为了提高数字媒体网络视频通信流量预测能力,提出基于流量特征的数字媒体网络视频通信流量预测系统.构建分布式传感信息采集和多维空间存储结构模型,采用多源信息融合和特征重组方法实现时间序列重构,采用相空间重构和特征压缩方法,建立特征聚类模型,提取重建响应特征量,通过流量传输信道均衡控制方法,实现对数字媒体网络视频通信流量的实...     

基于压缩域的视频检索系统模型

文章提出了一个基于内容的视频检索系统模型,该模型直接对压缩视频数据进行处理,可节约解压缩的时间,减少运算量,提高系统处理效率。文章对该模型的系统结构以及系统实现所需的一些关键技术进行了介绍。     

基于FPGA的视频火灾检测系统设计

为了提高火焰检测精度和减少装置的成本,在Altera公司CycloneⅡ系列的FPGA实验板上实现了基于视频的火焰检测原型系统设计与开发.该系统在FPGA上建立混合高斯模型,对视频进行前期处理,极大地减少了类火焰区域的提取时间.随后将处理过的视频数据,通过DMA模式送入SOPC系统中的SDRAM存储,并进行后期算法处理.对20多个火灾视频进行测试与研究,实验结果表明,该系统能有效地检测火灾发生,具有较好的实时性,并且降低了成本,利于集成.     

视频数据的时间序列挖掘方法研究

不同类型的视频具有不同的内容和不同的内容组织结构.目前由于安全防护问题的升温,综合视频监控系统和交通监控系统引起了较多的关注.但是并没有文献对这一类型视频数据的挖掘提出一个较完整的挖掘框架.文中针对监控视频等具有相对固定背景特征视频数据的视频运动挖掘问题,提出了在跟踪视频对象运动的基础上,提取视频对象的运动轨迹,结合时间特性形成时间序列数据,并进一步对视频数据进行相似性查询和聚类挖掘的系统模型.     

无线多路视频传输调度协议模型的设计

针对无线视频传输中如何对多个场景实现实时监控的问题,提出一种无线多路视频流传输调度的协议模型。该协议模型主要包括视频传输起始阶段通信双方的确立方式、基于连接状态的多路视频传输调度以及通信数据流的加密控制方法。该模型适用于任何面向IP网络的无线多路视频传输,已在基于窄带CDMA1x网络的无线视频传输系统中取得了良好的应用效果。     

针对近重复视频的FD-means聚类清洗算法

近几年,随着视频数据规模的不断增加,近重复视频数据不断涌现,视频的数据质量问题越来越突出。通过近重复视频清洗方法,有助于提高视频集的数据质量。然而,目前针对近重复视频清洗问题的研究较少,主要集中于近重复视频检索等方面的研究。现有研究方法尽管可以有效识别近重复视频,但较难在保证数据完整性的前提下,自动清洗近重复视频数据,以便改善视频数据质量。为解决上述问题,提出一种融合VGG-16深度网络与FD-means（feature distance-means）聚类的近重复视频清洗方法。该方法借助MOG2模型和中值滤波算法对视频进行背景分割和前景降噪;利用VGG-16深度网络模型提取视频的深度空间特征;构建一种新的FD-means聚类算法模型,通过迭代产生的近重复视频簇,更新簇类中心点,并最终删除簇中中心点之外的近重复视频数据。实验结果表明,该方法能够有效解决近重复视频数据清洗问题,改善视频的数据质量。     

双流增强融合网络微表情识别

为解决微表情识别领域数据集样本数量少,样本类型分布不均导致识别率鲁棒性差的问题,提出了一种基于双流增强网络的微表情识别模型。该模型基于单帧RGB图像流及光流图像流的双流卷积神经网络,以权威数据集为基础,数据增强为基准,构建微表情识别模型。通过在SoftMax逻辑回归层融合单帧空域信息和光流时域信息,对两个独立流的网络性能进行提升,并通过引入基于带循环约束的生成对抗网络的图像生成方式对数据集进行扩充。通过将输入微表情视频帧序列进行分解,将其分割为双流网络的灰度单帧序列与光流单帧序列,对两类序列图进行数据增强,再进行微表情识别模型构建的方法,有效提高了微表情识别率。基于双流增强网络的微表情识别模型可以较好提升微表情识别准确度,鲁棒性较好,泛化状态较稳定。     

基于深度时空残差卷积神经网络的课堂教学视频中多人课堂行为识别

针对课堂教学场景遮挡严重、学生众多,以及目前的视频行为识别算法并不适用于课堂教学场景,且尚无学生课堂行为的公开数据集的问题,构建了课堂教学视频库以及学生课堂行为库,提出了基于深度时空残差卷积神经网络的课堂教学视频中实时多人学生课堂行为识别算法.首先,结合实时目标检测和跟踪,得到每个学生的实时图片流;接着,利用深度时空残...     

Video multimodal emotion recognition based on Bi-GRU and attention fusion

A video multimodal emotion recognition method based on Bi-GRU and attention fusion is proposed in this paper. Bidirectional gated recurrent unit (Bi-GRU) is applied to improve the accuracy of emotion recognition in time contexts. A new network initialization method is proposed and applied to the network model, which can further improve the video emotion recognition accuracy of the time-contextual learning. To overcome the weight consistency of each modality in multimodal fusion, a video multimodal emotion recognition method based on attention fusion network is proposed. The attention fusion network can calculate the attention distribution of each modality at each moment in real-time so that the network model can learn multimodal contextual information in real-time. The experimental results show that the proposed method can improve the accuracy of emotion recognition in three single modalities of textual, visual, and audio, meanwhile improve the accuracy of video multimodal emotion recognition. The proposed method outperforms the existing state-of-the-art methods for multimodal emotion recognition in sentiment classification and sentiment regression.

     

基于深度学习的海底观测视频中鱼类的识别方法

针对海底环境恶劣、海底观测视频品质差导致视频中的海洋鱼类识别难的问题，提出一种基于深度学习的海洋鱼类识别方法。首先，将海底观测视频分解为图片，由于海底观测视频中存在较大比例的空白数据，使用背景差分法过滤不包含鱼类的图片，缩短处理全部数据的时间；然后，考虑到海底拍摄环境亮度低、场景模糊的实际情况，对图片基于暗通道先验算法进行预处理提高品质；最后，以卷积神经网络（CNN）为基础构建深度学习模型，并且提出了权重化特征的卷积过程，提高模型的鲁棒性。实验结果表明:面对较差品质的海底观测视频图片，在深度学习模型结构相同的条件下，与普通卷积神经网络模型相比，使用权重化卷积作为隐层并且加入预处理过程后，对海洋鱼类识别准确率的提升幅度达到23%，有助于实现对海底观测视频图片中海洋鱼类的精准识别。     

基于时空兴趣点和概率潜动态条件随机场模型的 在线行为识别方法

针对在线行为连续序列的识别问题以及行为识别模型的稳定性问题,提出一种监控视频中基于概率潜动态条件随机场（PLDCRF）的在线行为识别方法。首先,应用时空兴趣点（STIP）对行为特征进行提取;再利用PLDCRF模型识别室内人体的活动状态。PLDCRF模型融合了隐含状态变量,能够构建姿态序列子结构,可以选取姿态之间的动态特征,并且直接标记出未分割序列;同时也可以正确地标记出行为间的转换过程,从而明显改善了行为识别的效果。隐含条件随机场（HCRF）、潜动态条件随机场（LDCRF）、潜动态条件神经场（LDCNF）以及PLDCRF模型对10种不同动作的识别率比较结果表明,所提PLDCRF模型对连续的行为序列的综合识别能力更强,并且有更好的稳定性。     

在线融合特征的眼睛状态识别算法

针对人脸视频中眼睛定位精度影响眼睛状态识别正确率问题,提出了一种融合在线肤色模型的眼睛状态识别算法。首先,在人脸主动表观模型(AAM)定位的基础上,使用当前用户的肤色特征,建立在线肤色模型;其次,在初步定位的眼睛区域,再次使用在线肤色模型,定位内外眼角点的精确位置,并利用眼角点的位置信息提取精确的眼睛区域;最后,提取眼睛区域的局部二值特征(LBP),使用支持向量机(SVM)算法,实现对眼睛睁闭状态的鲁棒识别。实验结果表明,对比全局定位的眼角点定位算法,该算法可以进一步降低眼角点的对齐误差,在低分辨人脸中使用在线融合特征的睁闭眼状态的准确识别率分别为95.03%及95.47%,分别比直接使用Haar特征和Gabor特征的识别率提升2.9%和4.8%,在实时人脸视频中,使用在线特征可以明显提高眼睛状态识别效果。     

采用Transformer网络的视频序列表情识别

目的 相比于静态人脸表情图像识别,视频序列中的各帧人脸表情强度差异较大,并且含有中性表情的帧数较多,然而现有模型无法为视频序列中每帧图像分配合适的权重。为了充分利用视频序列中的时空维度信息和不同帧图像对视频表情识别的作用力差异特点,本文提出一种基于Transformer的视频序列表情识别方法。方法首先,将一个视频序列分成含有固定帧数的短视频片段,并采用深度残差网络对视频片段中的每帧图像学习出高层次的人脸表情特征,从而生成一个固定维度的视频片段空间特征。然后,通过设计合适的长短时记忆网络(long short-term memory network,LSTM)和Transformer模型分别从该视频片段空间特征序列中进一步学习出高层次的时间维度特征和注意力特征,并进行级联输入到全连接层,从而输出该视频片段的表情分类分数值。最后,将一个视频所有片段的表情分类分数值进行最大池化,实现该视频的最终表情分类任务。结果 在公开的BAUM-1s(Bahcesehir University multimodal)和RML(Ryerson Multimedia Lab)视频情感数据集上的试验结果表明,该...     

格拉斯曼流形降维及应用研究

视频人脸识别的核心问题是如何准确、高效地构建人脸模型并度量模型的相似性,为此提出一种维数约减的格拉斯曼流形鉴别分析方法以提高集合匹配的性能。首先通过子空间建模图像集合,引入投影映射将格拉斯曼流形上的基本元素表示成对应的投影矩阵。然后,为解决高维矩阵计算开销大以及在小样本条件下不能有效描述样本分布的缺陷,引入二维主成分分析方法对子空间的正交基矩阵降维。通过QR分解正则化降维后的矩阵,得到一个低维、紧致的格拉斯曼流形以获得图像集更好的表达。最后将其投影到高维核空间中进行分类。在公开的视频数据库中的实验结果证明,提出的方法在降低计算开销的同时能够获得较高的正确率,是一种有效的基于集合的对象匹配和人脸识别方法。     

双模态车载语音控制仿真系统的设计与实现

针对音、视频双模态语音识别能有效地提高噪声环境下的识别率的特性,本文设计了车载语音控制指令识别实验系统。该系统模拟车载环境,把说话时的视频信息融入到语音识别系统中,系统分为模型训练、离线识别和在线识别3部分。在线识别全程采用语音作为人机交互手段,并具备用户自适应的功能。离线识别部分将系统产生的数据分层次进行统计,非常适合进行双模态语音识别算法研究。