基于超图的汉越双语新闻话题要素提取

针对汉越双语新闻话题文本集合中多语言、多文本的特点,在超图模型的基础上,运用PageRank随机游走排序方法提取出汉越新闻话题要素。首先根据触发词激励的方法提取新闻中的事件要素,然后在此基础上构建话题超图模型,将汉越事件要素作为结点,将文本集合中的句子作为超边,根据概率评估函数计算结点和超边的初始权重,最后采用PageRank随机游走方法,对要汉越事件素进行评分,最终得到汉越话题要素。实验结果表明,该方法相比只考虑单文本事件要素提取方法的效果有显著提高。     

基于时序概率超图模型的视频多语义标注

在基于语义的视频检索系统中,为了弥补视频底层特征与高层用户需求之间的差异,提出了时序概率超图模型。它将时间序列因素融入到模型的构建中,在此基础上提出了一种基于时序概率超图模型的视频多语义标注框架（TPH-VMLAF）。该框架结合视频时间相关性,通过使用基于时序概率超图的镜头多标签半监督分类学习算法对视频镜头进行多语义标注。标注过程中同时解决了已标注视频数据不足和多语义标注的问题。实验结果表明,该框架提高了标注的精确度,表现出了良好的性能。     

基于超图模型的复杂视频事件检测

近年来,语义事件分析越来越受到重视,典型语义事件的检测与识别是一个具有挑战性的研究领域。提出了基于超图模型的复杂视频事件检测方法,通过分析对象的运动轨迹,检测出视频中的所有子事件并构建时序关系图及依赖关系图,从而生成子事件超图,并通过谱超图聚类分析来检测相应的复杂事件。采用图变换工具AGG进行模拟实验,其实验结果表明,该方法具有较高的准确率与召回率。     

融合时间综合影响的轮盘赌游走个性化推荐算法

传统的基于图的推荐算法忽略了时间综合信息影响从而导致推荐质量不高。针对这一问题,提出一种融合时间综合影响的轮盘赌游走个性化推荐算法。该算法以用户项目二分图为基础,引入衰减函数,将时间综合信息对推荐的影响量化成图节点的关联概率;然后采用轮盘赌模型根据关联概率选择游走目标;最终对每个用户做出top-N推荐。实验结果表明:该算法比传统基于图的随机游走PersonalRank算法在推荐的准确度、召回率以及覆盖率指标上都有明显提高。     

局部自适应输入控制的随机游走抠图

针对传统性抠图算法中,非完全正确用户标注及不精确超像素分割造成的信息误扩散,以随机游走算法为基础,提出带软性约束的抠图算法。通过对扩展Dirichlet问题的推导,指出带软约束的随机游走与部分自吸收随机游走概率的关联性。以吸收概率为指导,在传统相似扩散所构建的图模型上,根据局部窗口内特征矩阵的秩与方差设计了输入控制矩阵,使得信息扩散的过程能够跟随图像的局部特征进行自适应扩散。最后将软约束随机游走应用到单帧双层抠图及视频抠图中。实验表明,所提算法具有信息远距传播能力和良好的容错性能,尤其在用户标注不够充分的情况下能够取得更加优良的抠图结果。     

基于拓扑独立成分分析和高斯混合模型的视频语义概念检测

针对目前词袋模型(BoW)视频语义概念检测方法中的量化误差问题,为了更有效地自动提取视频的底层特征,提出一种基于拓扑独立成分分析(TICA)和高斯混合模型(GMM)的视频语义概念检测算法。首先,通过TICA算法进行视频片段的特征提取,该特征提取算法能够学习到视频片段复杂不变性特征;其次利用GMM方法对视频视觉特征进行建模,描述视频特征的分布情况;最后构造视频片段的GMM超向量,采用支持向量机(SVM)进行视频语义概念检测。GMM是BoW概率框架下的拓展,能够减少量化误差,具有良好的鲁棒性。在TRECVID 2012和OV两个视频库上,将所提方法与传统的BoW、SIFT-GMM方法进行了对比实验,结果表明,基于TICA和GMM的视频语义概念检测方法能够提高视频语义概念检测的准确率。     

轨迹和多标签超图配对融合的视频复杂事件检测

视频数据中包含丰富的运动事件信息,从中检测复杂事件,分析其中的高层语义信息,已成为视频研究领域的热点之一。视频复杂事件检测,主要对事件中多语义概念进行检测分析,对多运动目标的特征进行描述,发现底层特征与高层语义概念间的关系,旨在从各类视频特征及相关的原始视频数据中自动提取视频复杂事件中语义概念模式,实现“跨越语义鸿沟”的目标。在超图理论的基础上,提出了针对运动目标特征分别构建轨迹超图和多标签超图,并对其进行配对融合,用于检测视频复杂事件。实验结果证明,同其他方法如基于普通图的事件检测方法和基于超图的多标签半监督学习方法相比,新方法在检测复杂事件结果中具有更高的平均查准率和平均查全率。     

融合边界连通性与局部对比性的图像显著性检测

本文提出了一种融合边界连通性与局部对比性的图像显著性检测算法.首先,构造包围前景区域的凸包并利用K-means聚类算法,增强凸包内前景区域,抑制背景区域.为获取更加准确的前景概率,建立超像素图模型并结合随机游走模型计算超像素显著值,再利用聚类内显著值传播计算超像素前景概率.然后,利用边界连通性计算超像素背景概率.最后,融合前景概率与背景概率计算超像素最后的显著值.而且,为克服单一显著性检测算法的局限性,在DS证据理论的基础上,设计了一种新的融合算法.实验结果表明:在DUT-OMRON、ECSSD、MSRA10K三个公开数据集上,提出的算法得到的显著图更接近于真值图,且在准确率-召回率曲线、F-measure值以及平均绝对误差值三个评估指标上均优于其他12种经典显著性检测算法获取的结果.     

基于超图随机游走标签扩充的微博推荐方法

向微博用户推荐对其有价值和感兴趣的内容,是改善用户体验的重要途径.通过分析微博特点以及现有微博推荐算法的缺陷,利用标签信息表征用户兴趣,提出一种结合标签扩充与标签概率相关性的微博推荐方法.首先,考虑到大部分微博用户未给自己添加任何标签或添加标签过少,视用户发布微博为超边,微博中的词视为超点来构建超图,并以一定的加权策略对超边和超点进行加权,通过在超图上随机游走,得到一定数量的关键词,对微博用户标签进行扩充;然后,采用相关性标签权重加权方案构建用户-标签矩阵,利用标签之间的概率相关性,构造标签相似性矩阵,对用户-标签矩阵进行更新,使该矩阵既包含用户兴趣信息,又包含标签与标签之间的关系.以新浪微博公开API抓取的微博信息作为实验数据进行了一系列的实验和分析,结果表明,该推荐算法具有较好的效果.     

基于代数连通性的复杂网络割边模型研究

传统的GN算法每次迭代删除一条边,时间复杂度高,其变种时间复杂度有所下降,但分割精度也有待于提高;在复杂网络图中,图的连通性是由拉普拉斯矩阵的第二小特征值决定的,通过最小化网络连通性,提出了贪婪谱优化割边模型,该模型在GN算法基础上,一次删除多条边,为避免出现边过度分割,每条边设置了权重;为了进一步降低时间复杂度,选择网络代数连通性下降最快的边进行删除,提出了基于边中心性测度的割边模型,与传统的利用最短距离和随机游走不同,模型采取谱分析方法对每条边定义边中心性测度,速度更快,分割精度能到达要求,适合处理中规模社区结构。     

基于双语主题和因子图模型的汉语-越南语双语事件关联分析

随着“一带一路”国家战略实施,我国与越南的交流与合作日益密切,及时掌握两国新闻事件动态意义重大。该文针对汉越双语新闻事件关联分析所面临的跨语言关联问题,研究汉越双语新闻事件关联分析方法。汉越双语新闻事件分析其实质是多语言多文本的理解问题。其主要难点是要解决多语言多文本下的新闻事件理解问题。该文提出了基于因子图模型的局部密切度传播算法。首先使用双语主题概率模型,从双语文档中获得双语主题及主题概率分布,然后基于新闻事件的文本相似度构建事件因子图模型,在因子图上对相互关联的事件使用局部密切度传播算法计算某一主题下所有相互关联的事件间的影响力。最后得到不同主题下事件间的影响力拓扑图。实验结果表明该方法相比相似度计算和词语共现的方法取得了不错效果。     

基于概率图与视觉显著性的海面目标检测方法

针对基于视觉的传统海面目标检测算法在水面无人艇的自动避碰应用中存在检测精确率、召回率低以及对复杂场景的适应性不足的问题,提出一种基于概率图与视觉显著性的海面目标检测算法。首先利用概率图模型分割出原始图像中的海界限区域与海面孤立目标;然后针对海界限区域子图像特点,设计了一种基于方向抑制的梯度特征,并结合背景先验改进频率调谐显著图,利用特征融合的方法提取海界限区域的潜在目标。实验结果表明,该算法能够有效抑制云、飞鸟、海天线和海杂波的背景干扰。与传统方法相比,提出的方法具有更高的精确率与召回率,且满足无人艇自动避碰实时性的要求。     

Abnormal visual event detection based on multi-instance learning and autoregressive integrated moving average model in edge-based Smart City surveillance

The abnormal visual event detection is an important subject in Smart City surveillance where a lot of data can be processed locally in edge computing environment. Real-time and detection effectiveness are critical in such an edge environment. In this paper, we propose an abnormal event detection approach based on multi-instance learning and autoregressive integrated moving average model for video surveillance of crowded scenes in urban public places, focusing on real-time and detection effectiveness. We propose an unsupervised method for abnormal event detection by combining multi-instance visual feature selection and the autoregressive integrated moving average model. In the proposed method, each video clip is modeled as a visual feature bag containing several subvideo clips, each of which is regarded as an instance. The time-transform characteristics of the optical flow characteristics within each subvideo clip are considered as a visual feature instance, and time-series modeling is carried out for multiple visual feature instances related to all subvideo clips in a surveillance video clip. The abnormal events in each surveillance video clip are detected using the multi-instance fusion method. This approach is verified on publically available urban surveillance video datasets and compared with state-of-the-art alternatives. Experimental results demonstrate that the proposed method has better abnormal event detection performance for crowded scene of urban public places with an edge environment.     

融合HCRF和AAM的足球视频精彩事件检测

精彩事件检测在体育视频语义分析领域具有很高的学术研究价值和广泛的市场应用前景.利用隐条件随机场(hidden conditional random field, HCRF)模型在表达和识别语义事件方面的强大功能,创新性地提出了一种融合了HCRF和情感激励模型(affective arousal model, AAM)的精彩事件检测方法. 首先,通过精彩事件视频结构语义分析,定义了13种多模态语义线索,以准确描述精彩事件富含的语义信息;其次,在基于概念格的多模态语义线索聚类基础上,添加时域特征信息,以构建特征值加权的情感激励模型,得到了各类精彩事件的情感激励值;最后,在小规模训练样本情况下,有效建立了各类精彩事件检测的HCRF模型,基于视频语义镜头序列、情感激励值序列和精彩事件之间的映射关系,从多模态语义线索、视频结构语义、情感语义等多个维度挖掘了精彩事件的潜在规律,实现了同一HCRF模型下各类精彩事件的同时检测. 实验证明了该方法的有效性.     

融合多跳关系标签与依存句法结构信息的事件检测模型

大部分基于依存句法分析的事件检测方法仅聚焦于依存句法结构上的单跳联系,忽视了词与词之间的多跳联系,造成事件触发词与部分相关实体间的语义缺失,从而影响了事件检测效率。因此,为了充分利用词语间的语义相关性提升事件触发词的识别能力,提出了融合多跳关系标签和依存句法结构信息的事件检测模型。构建了一种新型的依存句法多跳树以及多跳关系标签搜索算法,增强了核心词汇的事件表征能力,并结合图注意力网络聚合了词的多阶表示,提升了事件检测性能。在ACE2005数据集上的实验结果显示,提出的增加了多跳关系标签信息的事件检测方法比基准模型性能提升了近2%。     

Using Webcast Text for Semantic Event Detection in Broadcast Sports Video

Sports video semantic event detection is essential for sports video summarization and retrieval. Extensive research efforts have been devoted to this area in recent years. However, the existing sports video event detection approaches heavily rely on either video content itself, which face the difficulty of high-level semantic information extraction from video content using computer vision and image processing techniques, or manually generated video ontology, which is domain specific and difficult to be automatically aligned with the video content. In this paper, we present a novel approach for sports video semantic event detection based on analysis and alignment of webcast text and broadcast video. Webcast text is a text broadcast channel for sports game which is co-produced with the broadcast video and is easily obtained from the web. We first analyze webcast text to cluster and detect text events in an unsupervised way using probabilistic latent semantic analysis (pLSA). Based on the detected text event and video structure analysis, we employ a conditional random field model (CRFM) to align text event and video event by detecting event moment and event boundary in the video. Incorporation of webcast text into sports video analysis significantly facilitates sports video semantic event detection. We conducted experiments on 33 hours of soccer and basketball games for webcast analysis, broadcast video analysis and text/video semantic alignment. The results are encouraging and compared with the manually labeled ground truth.      

SVAS: Surveillance Video Analysis System

This paper introduces a Surveillance Video Analysis System, called SVAS, for surveillance domain, in which the semantic rules and the definition of event models can be learned or defined by the user for automatic detection and inference of complex video events. In the scope of SVAS, an event model method named Interval-Based Spatio-Temporal Model (IBSTM) is proposed. SVAS can learn action models and event models without any predefined threshold values and generates understandable and manageable IBSTM event models. Hybrid machine learning methods are proposed and used. A set of feature models named Threshold Model, which reflects the spatio-temporal motion analysis of an event, is kept as the first model. As the second model, Bag of Actions (BoA) model is used in order to reduce the search space in the detection phase. Markov Logic Network (MLN) model, which provides understandable and manageable logic predicates for users, is kept as the third model. SVAS has high performance event detection capability due to its interval-based hierarchical manner. It determines related candidate intervals for each main model of IBSTM and uses the related main model when needed rather than using all models as a whole. The main contribution of this study is to fill the semantic gap between humans and video computer systems such that, on the one hand it decreases human intervention through its learning capabilities, but on the other hand it also enables human intervention when necessary through its manageable event model method. The study achieves all of them in the most efficient way through its machine learning methods. The proposed system is applied to different event datasets from CAVIAR, BEHAVE and our synthetic datasets. The experimental results show that our approach improves the event recognition performance and precision as compared to the current state-of-the-art approaches.