Multi-modal feature fusion based on multi-layers LSTM for video emotion recognition

Emotion is a key element in video data. However, it is difficult to understand the emotions conveyed in such videos due to the sparsity of video frames expressing emotion. Meanwhile, some approaches proposed to consider utterances as independent entities and ignore the inter-dependencies and relations among the utterances in recent years. These approaches also ignore the key point of multi-modal feature fusion in the feature learning process. In order to handle this problem, in this paper, we propose an LSTM-based model that can fully consider the relations among the utterances and also handle the multi-modal feature fusion problem in the learning process. Finally, the experiments on some popular datasets demonstrate the effectiveness of our approach.

     

基于关联模式挖掘的决策规则提取方法

在数据挖掘领域,关联规则的挖掘和基于粗糙集理论抽取决策规则是两种截然不同的方法,但在统计意义下两种方法产生的规则基本相同。结合关联规则挖掘方法和粗糙集方法的优点,基于Apriori算法提出一种优化算法,获取具有一定支持度和可信度阈值且不产生冗余的决策规则,以提高粗糙集属性值约简算法的性能。     

一种基于模糊关联规则挖掘的攻击识别系统

降低攻击识别中的漏报率和误报率是现在一个急需解决的问题。论文分析了攻击识别的需求与模糊关联规则挖掘的有关概念,并且以此为基础构建了一个攻击识别系统。该系统不但能够很好地满足攻击识别的要求,而且还能同时对异常攻击和滥用攻击进行识别,并且在很大程度上降低了攻击识别中的漏报率和误报率,极大地增强了信息系统的生存力。     

基于类决策树分类的特征层融合识别算法

针对雷达组网量测数据不确定性大、信息不完备等特点, 基于决策树分类算法的思想, 创建类决策树的概念, 提出一种基于类决策树分类的特征层融合识别算法. 所给出的算法无需训练样本, 采用边构造边分类的方式, 选取信 息增益最大的属性作为分类属性对量测数据进行分类, 实现了对目标的识别. 该算法能够处理含有空缺值的量测数据, 充分利用量测数据的特征信息. 仿真实验结果表明, 类决策树分类算法是一种简单有效的特征层融合识别算法.

     

基于MIMO-CNN的多模态坐姿识别

为解决坐姿多样性(不同体型、同一坐姿的差异性)和摄像头角度变化对坐姿的识别的影响,提出一种基于MI-MO(多输入多输出)-CNN的多模态坐姿识别方法.在预处理后的人体坐姿深度图像的基础上,得到人体坐姿在笛卡尔平面上的左视图和俯视图的投影,使用设计的MIMO-MobileNet对人体坐姿在前后和左右方向的坐姿分别进行识别...     

基于事件框架的主题事件融合研究*

针对事件抽取获得的单个元事件无法完整描述主题事件的特点,提出了一种主题事件的融合方法,通过该方法将与同一主题相关的所有元事件整合在一起,以层次化的形式表示。首先定义了一种事件融合框架TEFF(topic event fusion framework)。该框架根据各类元事件在主题事件中的作用,将主题事件以层次化的形式表示。同时给出元事件和主题的相关度计算方法,通过该算法来评价元事件和主题的相关度。在TEFF的指导下,通过相关度计算,实现主题事件的融合。在以2008年起的金融危机为主题的实验中,取得了F值为7     

基于扩展格框架标注的视频事件多维关联规则挖掘方法

针对视频复杂运动事件进行了分析, 对用于自然语言处理的格语法理论进行了扩展, 增加时间格结构, 并采用扩展后的格框架对复杂事件进行了标注, 并将数据存储在数据立方体中, 最后采用MDFP-growth方法对多维概念格进行关联规则的挖掘。在实验部分, 对比了扩展后的格框架与扩展前原方法对复杂事件标注的结果, 并比较扩展了时间格后的四维数据〈PRED, Ag, T, Loc〉和扩展前三维数据〈PRED, Ag, Loc〉挖掘其关联规则中系统运行时间, 产生规则数对比结果及视频检测的准确率和召回率对比。实验证明, 提出的方法能更加准确地标注出复杂事件, 并具有更高的处理效率。     

基于宽度学习方法的多模态信息融合

多模态机器学习通过有效学习各个模态的丰富特征来解决不同模态数据的融合问题。考虑到模态间的差异性,基于宽度学习方法提出了一个能够学习和融合两种模态特征的框架,首先利用宽度学习方法分别提取不同模态的抽象特征,然后将高维特征表示在同一个特征空间进行相关性学习,并通过非线性融合得到最后的特征表达,输入分类器进行目标识别。相关实验建立在康奈尔大学抓取数据集和华盛顿大学RGB-D数据集上,实验结果验证了相比于传统的融合方法,所提出的方法具有更好的稳定性和快速性。     

基于局部二值模式和级联AdaBoost的多模态人脸识别

提出了一种基于局部二值模式(LBP)和 级联AdaBoost的多模态人脸识别方法。采用级联AdaBoost算法分别从人脸深度图像和灰度图像的大量区域LBP直方图(RLBPH)中选出最有利于分类的少量特征,并连接成一个直方图向量,再分别用线性判别分析构建相应的线性子空间,用余弦相似度作为投影向量的相似度量,用求和规则进行信息融合。在FRGC数据库上的实验结果表明,提出的方法采用少量的特征取得了很好的识别效果,等错误率仅为1.40%。     

基于少量特征点的多模态人脸识别

针对二维人脸识别对姿态和光照变化较为敏感的问题,提出了一种基于少量特征点的多模态人脸识别方法。在训练阶段,对三维人脸数据进行二次处理和数据挖掘,为建立完备的特征模板奠定了基础;提出了一种简洁高效的样本聚类方法,克服了特征提取过程中的非线性问题;通过局部特征分析(Local Feature Analysis,LFA)实现了特征点"局部"与"全局"信息的融合。实验证明该方法在具有较高执行效率的同时,对人脸图像的姿态和光照变化具有理想的鲁棒性,在WHU-3D小规模人脸数据库上取得了98.06%的识别率。     

MapReduce框架下基于正负关联规则的视频人物关系挖掘

针对目前视频人物关系挖掘中关系单一的问题,提出了一种MapReduce框架下基于关联规则的视频人物关系挖掘方法。首先对预处理过的视频图像进行人脸聚类,其次引入了关系方向、关系权重、关系影响三个关系细化的概念,对所得人脸事务数据库进行了正负关联规则挖掘,最后比较了挖掘结果关系图同客观关系图在对应图节点度数上的差异。实验表明,该方法可以挖掘出客观人物关系图主要结构,相对于其他人物关系挖掘方法完成了人物关系的细化,对视频内容分析的研究具有较强的参考价值。     

基于注意力机制的多模态人体行为识别算法

提出了基于注意力机制的多模态人体行为识别算法;针对多模态特征的有效融合问题,设计基于注意力机制的双流特征融合卷积网络(TAM3DNet, two-stream attention mechanism 3D network);主干网络采用结合注意力机制的注意力3D网络(AM3DNet, attention mechanism 3D network),将特征图与注意力图进行加权后得到加权行为特征,从而使网络聚焦于肢体运动区域的特征,减弱背景和肢体静止区域的影响;将RGB-D数据的颜色和深度两种模态数据分别作为双流网络的输入,从两条分支网络得到彩色和深度行为特征,然后将融合特征进行分类得到人体行为识别结果。     

基于强度图和深度图的多模态人脸识别

提出将全局特征表征方法2DFLD、2DPCA与局部特征表征方法LBP相结合,应用到人脸二维强度图和三维深度图进行识别;对不同分类方法的识别得分再进行归一化加权融合。对比实验结果表明,LBP对2DFLD和2DPCA的识别结果有改善作用,二维强度图和三维深度图的得分归一化加权融合对整个识别率也有一定的改善,在CASIA3D人脸数据库上的识别率最高可达94.68%。     

基于特征融合与决策树技术的表情识别方法

针对复杂状况下传统表情识别方法存在的问题,提出一种新的非特定人表情识别方法。该算法首先提取每张表情图像的HOG特征和Haar小波特征,然后将两种不同的特征串行融合得到整幅图像的特征,最后通过SVM多分类器完成各层人脸表情的分类识别。在JAFFE人脸表情库上的仿真实验中,该方法的分类准确率达到87.9%,平均时耗达到10.296 6s。对比实验结果表明,所提算法具有更高的识别率、更好的实时性和更强的鲁棒性。     

融合事件相机的视觉场景识别

目的 传统视觉场景识别（visual place recognition,VPR）算法的性能依赖光学图像的成像质量,因此高速和高动态范围场景导致的图像质量下降会进一步影响视觉场景识别算法的性能。针对此问题,提出一种融合事件相机的视觉场景识别算法,利用事件相机的低延时和高动态范围的特性,提升视觉场景识别算法在高速和高动态范围等极端场景下的识别性能。方法 本文提出的方法首先使用图像特征提取模块提取质量良好的参考图像的特征,然后使用多模态特征融合模块提取查询图像及其曝光区间事件信息的多模态融合特征,最后通过特征匹配查找与查询图像最相似的参考图像。结果 在MVSEC（multi-vehicle stereo event camera dataset）和RobotCar两个数据集上的实验表明,本文方法对比现有视觉场景识别算法在高速和高动态范围场景下具有明显优势。在高速高动态范围场景下,本文方法在MVSEC数据集上相较对比算法最优值在召回率与精度上分别提升5.39%和8.55%,在Robot‐Car数据集上相较对比算法最优值在召回率与精度上分别提升3.36%与4.41%。结论 本文提出了融合事件相机的视觉场景识别算法,利用了事件相机在高速和高动态范围场景的成像优势,有效提升了视觉场景识别算法在高速和高动态范围场景下的场景识别性能。     

Design of embedded system of volleyball training assistant decision support based on association rules

Volleyball generally determined by two judges and two lines hosted. In the first volleyball net official referees in the table is positioned at the opposite side of the raised platform. The first referee does not move around, but they need to stand for long periods, usually 45 min to two hours, depending on the length of the game, while maintaining a high level of focus and alertness. The second referee assists and stood first referee make a call, primarily focused on network play across the floor. Volleyball is a fast-moving, the area contains. Therefore, it is possible to follow the action visually, look at the small details are very important. Volleyball officials must always stay alert and focused during playback, so as not to miss a beat. Ref 12 feet along a second transfer region and a first edge opposite the lateral movement of the referee and the ball game. The judge of the production line stood on the opposite corner throughout the game, and the contact with the in and out call to assist the first referee and search for the ball on the net blocked. Judges need excellent eyesight, good judgment and agility, move up and down the sideline to get the ball and avoid collisions with the best perspective of the player.     

基于卷积神经网络的多模态视频场景分割优化算法

针对基于内容的视频检索中场景分割效率有待提高的问题,提出了一种基于卷积神经网络提取特征的多模态视频场景分割优化算法。首先利用改进的VGG19网络从视频镜头中提取多种模态的底层特征和语义特征,再将这些特征组成向量,然后通过三重损失学习与镜头相似度计算等方法,使场景分割问题转换为对镜头边界的二分类问题,最后建立评分机制优化所得结果,获取分割好的视频场景及对应的场景边界,完成场景分割任务。实验结果表明,该算法能对视频场景进行有效分割,整体查全率与查准率分别能达到85.77%、87.01%。     

基于梯度融合规则的医学图像融合方法*

为了更好地满足临床诊断和治疗的需要,本文提出了一种在图像融合阶段对测量值进行自适应梯度加权和图像重建时采用CoSaMP重建算法相结合的方法。该算法首先对两幅源图像分块并进行稀疏表示,同时利用观测矩阵进行测量。在测量数据融合阶段引入图像梯度来反应图像本身的边界信息,先计算每幅分块子图像的梯度;然后利用自适应梯度加权的融合规则得到融合的测量数据,并对融合测量数据进行随机压缩采样;最后通过CoSaMP算法对采样数据进行信息重构实现测量数据的恢复。该方法克服了图像融合时信息畸变的缺陷,并且可以根据不同融合区域自动调整融合规则的权重系数,有效地避免了设置固定权重系数造成的融合误差。实验结果和评价指标验证了本文算法的有效性和先进性。