基于超图模型的复杂视频事件检测

近年来,语义事件分析越来越受到重视,典型语义事件的检测与识别是一个具有挑战性的研究领域。提出了基于超图模型的复杂视频事件检测方法,通过分析对象的运动轨迹,检测出视频中的所有子事件并构建时序关系图及依赖关系图,从而生成子事件超图,并通过谱超图聚类分析来检测相应的复杂事件。采用图变换工具AGG进行模拟实验,其实验结果表明,该方法具有较高的准确率与召回率。     

基于自编码器及超图学习的多标签特征提取

在实际应用场景中越来越多的数据具有多标签的特性,且特征维度较高,包含大量冗余信息.为提高多标签数据挖掘的效率,多标签特征提取已经成为当前研究的热点.本文采用去噪自编码器获取多标签数据特征空间的鲁棒表达,在此基础上结合超图学习理论,融合多个标签对样本间几何关系的影响以提升特征提取的性能,构建多标签数据样本间几何关系所对应超图的Laplacian矩阵,并通过Laplacian矩阵的特征值分解得到低维投影空间.实验结果证明了本文所提出的算法在分类性能上是有效可行的.     

基于概率超图的视频事件语义检测

视频事件类别的归属具有模糊性和不确定性,将超图的点边射入矩阵拓展成概率形式的软超图进行关联关系分析和语义分析,将会更有利于提高多事件检索检测的精准率和召回率。提出基于概率超图模型的视频事件语义检测算法（PHVESD）。 该方法首先将颜色、灰度共生矩阵、Tchebichef矩、局部二值模式（LBP）等四种底层视觉特征进行融合; 然后定义视频段的亲密度函数并利用亲密度的信息构建概率超图模型,其中每条超边对应一种事件语义;采用随机游走过程来预测视频段属于每条超边的概率;最后结合阈值采用条件概率模型对视频段进行事件语义分类。将该方法用于交通突发事件多语义检测中并与其他的识别算法相比较,实验结果表明,与基于超图模型的多标签随机游走算法（MLRW）相比,PHVESD的算法使多语义事件检测的准确率提高了10%,召回率提高了8%。     

基于标签推理和注意力融合的多标签文本分类方法

目前许多多标签文本分类方法主要关注文档表示,而丢失了大量标签相关的语义信息,导致分类效果不理想。针对以上问题,提出一种基于标签推理和注意力融合的分类方法,挖掘文档中与标签相关的特征以及相似标签之间的相关性,学习标签信息进行标签推理,同时采用注意力机制自学习地融合文档表示和标签表示,最终完成多标签分类任务。在AAPD和RCV1-V2数据集上进行实例验证,该方法的F1值分别达到了0.732和0.887,与其他最新方法相比其准确度均有提升,实验结果证明了标签推理和注意力融合策略的有效性。     

特征融合的多标签文本分类研究

作为多标签文本分类的一个重要步骤,目前特征提取方法已取得重大进展,但基于深度学习的特征提取方法存在获取特征单一、不全面等问题,因此,本文提出新的特征融合提取模型,即使用BiGRU提取文本的全局特征,Capsule network提取文本的局部特征和位置信息,同时使用TF-IDF提取文本的统计特征。实验证明该模型在公共数据集RCV1-V2和AAPD上的性能都得到改进。     

采用标签组合与融合注意力的多标签文本分类

传统的多标签文本分类算法在挖掘标签的关联信息和提取文本与标签之间的判别信息过程中存在不足,由此提出一种基于标签组合的预训练模型与多粒度融合注意力的多标签文本分类算法。通过标签组合的预训练模型训练得到具有标签关联性的文本编码器,使用门控融合策略融合预训练语言模型和词向量得到词嵌入表示,送入预训练编码器中生成基于标签语义的文本表征。通过自注意力和多层空洞卷积增强的标签注意力分别得到全局信息和细粒度语义信息,自适应融合后输入到多层感知机进行多标签预测。在特定威胁识别数据集和两个通用多标签文本分类数据集上的实验结果表明,提出的方法在能够有效捕捉标签与文本之间的关联信息,并在F1值、汉明损失和召回率上均取得了明显提升。     

融合多跳关系标签与依存句法结构信息的事件检测模型

大部分基于依存句法分析的事件检测方法仅聚焦于依存句法结构上的单跳联系,忽视了词与词之间的多跳联系,造成事件触发词与部分相关实体间的语义缺失,从而影响了事件检测效率。因此,为了充分利用词语间的语义相关性提升事件触发词的识别能力,提出了融合多跳关系标签和依存句法结构信息的事件检测模型。构建了一种新型的依存句法多跳树以及多跳关系标签搜索算法,增强了核心词汇的事件表征能力,并结合图注意力网络聚合了词的多阶表示,提升了事件检测性能。在ACE2005数据集上的实验结果显示,提出的增加了多跳关系标签信息的事件检测方法比基准模型性能提升了近2%。     

多图谱与联合标签融合策略相结合的主动脉CT图像分割

主动脉图像自动分割技术在主动脉疾病的早期诊断、风险评估及手术治疗中发挥重要作用。本文采用了基于多图谱的医学图像分割技术,并将之与联合标签融合（Joint label fusion,JLF）策略相结合应用于3D主动脉CT图像的自动分割问题中。联合标签融合策略考虑了各个图谱之间的相互关系,能够有效抑制图谱间冗余信息的干扰,进而提高标签融合精度。本文提出了一种图谱更新算法以应对图谱数量不足的问题,在提高分割精度的同时,保持了较低的计算复杂度。在15例主动脉CT图像数据上的分割结果表明,本文方法能有效地对3D主动脉图像进行分割,与3种基于传统融合方式的图谱分割法相比,本文方法具有更高的分割精度。     

检测优化的标签多伯努利视频多目标跟踪算法

在检测器与跟踪器结合的视频多目标跟踪算法中,检测器好坏将直接影响整个跟踪算法性能,尤其是检测器的漏检以及误检,会导致目标的漏跟以及误跟,增加碎片化轨迹以及身份标签变换次数增加的问题。针对这些问题,在标签多伯努利的滤波框架下,设计了新的量测驱动新生目标识别方法以更快速精准地捕获新生目标。设计了目标重识别方法,结合标签多伯努利算法能够在短时间内维持标签的不变性,减少了碎片化轨迹及标签跳变数。引入新的模板选取策略,以避免将被遮挡的目标加入到模板中污染模板。考虑到标签多伯努利滤波为在线推理算法,采用了并行化加快算法的运算效率。结果表明,在标签多伯努利的框架下,提出算法能够有效解决标签跳变以及目标被遮挡无法准确跟踪的问题,在具有挑战性的MOT17数据集上进行测试,与其他相关滤波方法进行比较,具有不错的跟踪效果。     

An improved direct labeling method for the max–flow min–cut computation in large hypergraphs and applications

Algorithms described so far to solve the maximum flow problem on hypergraphs first necessitate the transformation of these hypergraphs into directed graphs. The resulting maximum flow problem is then solved by standard algorithms. This paper describes a new method that solves the maximum flow problem directly on hypergraphs, leading to both reduced run time and lower memory requirements. We compare our approach with a state–of–the–art algorithm that uses a transformation of the hypergraph into a directed graph and an augmenting path algorithm to compute the maximum flow on this directed graph: the run–time complexity as well as the memory space complexity are reduced by a constant factor. Experimental results on large hypergraphs from VLSI applications show that the run time is reduced, on average, by a factor approximately 2, while memory occupation is reduced, on average, by a factor of 10. This improvement is particularly interesting for very large instances, to be solved in practical applications.     

融合BERT与标签语义注意力的文本多标签分类方法

多标签文本分类(MLTC)是自然语言处理(NLP)领域的重要子课题之一.针对多个标签之间存在复杂关联性的问题,提出了一种融合BERT与标签语义注意力的MLTC方法TLA-BERT.首先,通过对自编码预训练模型进行微调,从而学习输入文本的上下文向量表示;然后,使用长短期记忆(LSTM)神经网络将标签进行单独编码;最后,利...     

建模交互关系和类别依赖的视频动作检测

目的 视频动作检测旨在检测出视频中所有人员的空间位置,并确定其对应的动作类别。现实场景中的视频动作检测主要面临两大问题,一是不同动作执行者之间可能存在交互作用,仅根据本身的区域特征进行动作识别是不准确的;二是一个动作执行者在同一时刻可能有多个动作标签,单独预测每个动作类忽视了它们的内在关联。为此,本文提出了一种建模交互关系和类别依赖的视频动作检测方法。方法 首先,特征提取部分提取出关键帧中每个动作执行者的区域特征;然后,长短期交互部分设计短期交互模块（short-term interaction module,STIM）和长期交互模块（long-term interaction module,LTIM）,分别建模动作执行者之间的短期时空交互和长期时序依赖,特别地,基于空间维度和时间维度的异质性,STIM采用解耦机制针对性地处理空间交互和短期时间交互;最后,为了解决多标签问题,分类器部分设计类别关系模块（class relationship module,CRM）计算类别之间的依赖关系以增强表征,并利用不同模块对分数预测结果的互补性,提出一种双阶段分数融合（two-stage score...     

多标签传播和边缘局部分析的显著性检测

针对显著性检测中显著目标周围模糊的现象,提出了一种基于多标签传播和边缘局部分析的图像显著性检测算法。首先提取最信赖的目标和背景标签,通过基于元胞更新策略的多标签传播算法,准确定位显著目标;然后提出了一种新颖的分析边缘局部线索并完成分类标记的策略,以消除目标边缘的模糊现象。公开数据集上的实验结果显示,检测结果有效地抑制了目标周围的背景,解决了目标周围的模糊问题,清晰均匀地突出了显著目标。     

基于双目视觉的气动式乒乓球发球机发球轨迹检测方法

针对传统气动式乒乓球发球机的轨迹检测方法检测误差大,存在着乒乓球的落点不理想的问题,提出基于双目视觉的气动式乒乓球发球机发球轨迹检测方法。首先根据摄像机参数建立旋转矩阵,基于双目视觉技术将旋转矩阵处理为投影矩阵,根据矩阵约束条件降低选位误差,标定检测点位;其次考虑发球机的发球方式,计算乒乓球在旋转过程中,旋转力道打破不旋球的平衡受力时所承载的各项阻力;最后建立球体运动状态下的轨迹模型,引入衰减系数,降低轨迹检测误差,以此实现基于双目视觉的气动式乒乓球发球机发球轨迹检测。实验结果表明,与传统检测方法相比,所研究的方法得到的球体落点更加精准,控制误差效果较强,可适用于发球机发球轨迹实际检测。     

A new spatio-temporal method for event detection and personalized retrieval of sports video

In this paper, a new spatio-temporal method for adaptively detecting events based on Allen temporal algebra and external information support is presented. The temporal information is captured by presenting events as the temporal sequences using a lexicon of non-ambiguous temporal patterns. These sequences are then exploited to mine undiscovered sequences with external text information supports by using class associate rules mining technique. By modeling each pattern with linguistic part and perceptual part those work independently and connect together via transformer, it is easy to deploy this method to any new domain (e.g baseball, basketball, tennis, etc.) with a few changes in perceptual part and transformer. Thus the proposed method not only can work well in unwell structured environments but also can be able to adapt itself to new domains without the need (or with a few modification) for external re-programming, re-configuring and re-adjusting. Results of automatic event detection progress are tailored to personalized retrieval via click-and-see style using either conceptual or conceptual-visual query scheme. Experimental results carried on more than 30 hours of soccer video corpus captured at different broadcasters and conditions as well as compared with well-known related methods, demonstrated the efficiency, effectiveness, and robustness of the proposed method in both offline and online processes.     

基于生成对抗网络和网络集成的面部表情识别方法EE-GAN

由于现实生活场景差异大,人类在不同场景中表现的情感也不尽相同,导致获取到的情感数据集标签分布不均衡;同时传统方法多采用模型预训练和特征工程来增强与表情相关特征的表示能力,但没有考虑不同特征表达之间的互补性,限制了模型的泛化性和鲁棒性.针对上述问题,提出了一种包含网络集成模型Ens-Net的端到端深度学习框架EE-GAN...     

弱标签环境下基于语义邻域学习的图像标注

心电图（electrocardiogram, ECG）异常的自动检测是一个典型的多标签分类问题,训练分类器需要大量有高质量标签的样本. 但心电数据集异常标签经常缺失或错误,如何清洗弱标签得到干净的心电数据集是一个亟待解决的问题. 在一个标签完整且准确的示例数据集辅助下,提出一种基于异常特征模式 (abnormality-feature pattern, AFP) 的方法对弱标签心电数据进行标签清洗,以获取所有正确的异常标签. 清洗分2个阶段,即基于聚类的规则构造和基于迭代的标签清洗. 在第1阶段,通过狄利克雷过程混合模型（Dirichlet process mixture model, DPMM）聚类,识别每个异常标签对应的不同特征模式,进而构建异常发现规则、排除规则和1组二分类器. 在第2阶段,根据发现和排除规则辨识初始相关标签集,然后根据二分类器迭代扩展相关标签并排除不相关标签. AFP方法捕捉了示例数据集和弱标签数据集的共享特征模式,既应用了人的知识,又充分利用了正确标记的标签;同时,渐进地去除错误标签和填补缺失标签,保证了标签清洗的可靠性. 真实和模拟数据集上的实验证明了AFP方法的有效性.