基于三维人体语义模型的人行为自然语言描述

研究视频场景中人体行为自然语言描述的实现方法。首先建立三维人体的语义模型和主要的关节点运动模型,并建立人体运动语义描述基本数据库。应用图像自动场景标注技术来描述背景图像。通过人体简单动作的语义逻辑运算,得到人的组合动作和相互动作。将人的行为动作组合场景语义,从而准确描述出人在复杂场景的语义行为。最后建立简单的中文语法规则,得到人在场景中行为的自然语言描述。实验结果表明:与传统的二维模型相比,三维模型结合了场景语义并能解决遮挡问题,可以准确表达更为复杂的人类行为。     

基于语义模型的人运动图像跟踪

计算机视觉研究中，为了实施对人运动图像的跟踪，本文提出了基于变化区域的对象刚体标注法和语义模型跟踪法，通过对标注的刚体特征点在空间位移的估算，结合特征点在水平面上投影所形成的特征码来构成刚体的运动语义数学模型，从语义模型来计算特征点的运动位置，从而实现对人运动的跟踪，对于人的复杂运动描述也具有参考价值。     

图像语义的模型结构描述

图像语义是研究图像模式识别与图像检索的一个新理论。如何有效地建立起图像语义的描述,图像的语义模型能够给出一个直观的、形象的描述,为研究图像语义奠定快速的、可靠的基础。文章从图像固有属性、图像对象和人为意识三方面就图像语义的模型作了一些探讨性研究,为进一步研究图像语义的描述奠定了基础。     

一种基于本体与描述文本的网络图像语义标注方法

网络图像语义自动标注是实现对互联网中海量图像管理和检索的有效途径,而自动有效地挖掘图像语义是实现自动语义标注的关键。网络图像的语义蕴含于图像自身,但更多的在于对图像语义起不同作用的各种描述文本,而且随着图像和描述知识的变化,描述文本所描述的图像语义也随之变化。提出了一种基于领域本体和不同描述文本语义权重的自适应学习的语义自动标注方法,该方法从图像的文本特征出发考查它们对图像语义的影响,先通过本体进行有效的语义快速发现与语义扩展,再利用一种加权回归模型对图像语义在其不同类型描述文本上的分布进行自适应的建模,进而实现对网络图像的语义标注。在真实的Wcb数据环境中进行的实验中,该方法的有效性得到了验证。     

一种基于多层语义特征的图像理解方法

视觉场景理解包括检测和识别物体、推理被检测物体之间的视觉关系以及使用语句描述图像区域.为了实现对场景图像更全面、更准确的理解,将物体检测、视觉关系检测和图像描述视为场景理解中3种不同语义层次的视觉任务,提出一种基于多层语义特征的图像理解模型,并将这3种不同语义层进行相互连接以共同解决场景理解任务.该模型通过一个信息传递图将物体、关系短语和图像描述的语义特征同时进行迭代和更新,更新后的语义特征被用于分类物体和视觉关系、生成场景图和描述,并引入融合注意力机制以提升描述的准确性.在视觉基因组和COCO数据集上的实验结果表明,所提出的方法在场景图生成和图像描述任务上拥有比现有方法更好的性能.     

基于支持向量机的图像情感语义注释和检索算法的研究

图像语义检索是当前图像检索的一个新的研究热点,其中情感语义是最高层的语义,通常用形容词来描述.本文提出了一种新的图像情感语义注释算法,以图像的简单特征来描述图像内容,建立图像的特征空间;用形容词表达图像的情感语义,通过认知心理实验和因子分析建立情感空间;采用支持向量机算法建立图像内容和其所表达的情感语义之间的联系,并自动对未曾评价过的图像进行注释.在此基础上,提出图像的情感检索方法,实现了服装和风景图像的情感检索,取得了较好的实验结果.     

图像语义的图形化标注和检索研究

基于图像语义进行检索的目的是希望能够更好地从用户的角度出发,查找出与用户理解相一致的图像。针对目前图像语义检索过程中存在的问题,提出一个基于对象的图像语义内容标注模型和检索框架。首先利用分割算法获取图像中的语义对象区域,然后以MPEG-7标准中的语义描述方案为基础,利用图形化结构实现图像语义内容的标注。在检索过程中,用户把查询内容转化为图形化描述结构,通过提取该描述图的不同长度的路径信息形成查询文档,与图像库中的图像语义标注文档进行匹配实现图像检索。实验结果表明,提出的方法能够有效地实现基于语义的图像标注和检索,与全文检索相比,有较高的查全率和查准率。     

基于外部信息源的WWW图像语义提取研究

HTML文档作为WWW图像的外部信息源和我体，蕴涵了丰富的描述图像内容的文本信息。为了实现基于语义的WWW图像检索，本文提出了一种WWW图像语义表征模型和图像语义词典的建设方法，给出了一种利用图像语义词典从嵌有WWW图像的HTML网页的相关外部文本信息中提取WWW图像语义信息的具体方法和实验结果。     

基于语义测度的图像相似性计算研究

针对图像检索中的低层视觉特征相似性度量问题,提出一种基于语义测度的图像相似性计算方法。该方法在图像区域分割的基础上,通过构建图像区域子块与语义元数据之间的统计映射关系,实现图像内容的统计语义描述,建立图像之间、图像与语义类别、语义类别之间的分层语义相似测度。通过对自然图像库的实验结果表明,该方法在相似图像检索中具有更好的性能。     

基于个性化本体的图像语义标注和检索

针对目前图像检索系统较难实现语义检索的问题,提出了一种新的以本体为核心的图像语义标注和检索模型。构建个性化本体描述图像语义,继而提取基于概念集的图像语义特征并利用本体中“Is-A”关系设计相似性度量方法最终实现语义扩展检索。其难点在于顶级本体向个性化本体进化,以及基于概念集和“Is-A”关系实现语义相似度量的方法。通过系统的初步实现与相关实验的验证,该模型的检索准确度可达88.6%,明显高于传统的基于关键字和基于通用本体的图像检索,实现了图像智能检索功能。     

基于Boosting RBF神经网络的人体行为识别

提出一种基于BoostingRBF神经网络的人体行为识别方法,该方法利用规范化的运动历史图像(MHI)进行图像序列表示,从中提取Zernike矩的统计描述特征,然后提出Adaboost算法自适应地选择图像序列的特征作为RBF神经网络的输入,为了进一步提高神经网络的泛化能力,采用一种调整权值分布,限制权重扩张的改进的Boosting方法,分类器以加权投票方式进行分类决策。实验结果表明,提出的方法能够有效地识别人体运动类别。     

基于实时视频感知的虚拟体育交互系统

针对疫情常态化背景下,传统体育项目受场地、器材等限制,市场上相关产品价格昂贵、可扩展性不足等问题,提出了一种基于实时视频感知的虚拟体育交互系统.该系统设计视频数据采集模块和人体关节点提取模块,结合OpenPose获取人体的关节点坐标,实时捕捉人体手势以及肢体动作.动作语义理解模块包括运动动作理解和绘图动作理解.前者根据运动中肢体关节点的相对位置关系,识别运动动作语义.后者将手腕部关节点绘图动作轨迹生成为草图图像,使用AlexNet进行识别分类,解析为对应的绘制动作语义.该模型在边缘端设备的分类准确率为98.83%.采用基于Unity设计的草图游戏应用作为可视化交互界面,实现在虚拟场景中的运动交互.该系统使用实时视频感知交互方式实现居家运动健身,无需其他的外部设备,具有更强的参与度和趣味性.     

图像语义特征的抽取方法及其应用

从高级信息的角度来描述图像语义，建立图像语义的特征矢量空间和语义划分的结构关系，实现图像与语义值的结构表达。为了有效地获取语义特征值表达，给出了图像语义特征空间选择与最小判别方法，构建了底层特征到高层语义的映射结构与计算表达式，并将特征值应用于图像检索。原理方法和实验数据表明该方法对图像检索具有积极意义。     

Human action recognition based on scene semantics

Like outdoors, indoor security is also a critical problem and human action recognition in indoor area is still a hot topic. Most studies on human action recognition ignored the semantic information of a scene, whereas indoors contains varieties of semantics. Meanwhile, the depth sensor with color and depth data is more suitable for extracting the semantics context in human actions. Hence, this paper proposed an indoor action recognition method using Kinect based on the semantics of a scene. First, we proposed a trajectory clustering algorithm for a three-dimensional (3D) scene by combining the different characteristics of people such as the spatial location, movement direction, and speed. Based on the clustering results and scene context, it concludes a region of interest (ROI) extraction method for indoors, and dynamic time warping (DTW) is used to study the abnormal action sequences. Finally, the color and depth-data-based 3D motion history image (3D–MHI) features and the semantics context of the scene were combined to recognize human action. In the experiment, two datasets were tested and the results demonstrate that our semantics-based method performs better than other methods.

     

基于深度数据的人体动作识别方法

本文提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。本文从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,本文利用Lapacian eigenmaps(LE)流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,本文用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。本文用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时本文也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文识别效果优于以往方法。实验结果表明本文所提的方法适用于基于深度图像序列的人体动作识别。     

基于流形学习的人体动作识别

目的 提出了一个基于流形学习的动作识别框架,用来识别深度图像序列中的人体行为。方法 从Kinect设备获得的深度信息中评估出人体的关节点信息,并用相对关节点位置差作为人体特征表达。在训练阶段,利用LE（Lalpacian eigenmaps）流形学习对高维空间下的训练集进行降维,得到低维隐空间下的运动模型。在识别阶段,用最近邻差值方法将测试序列映射到低维流形空间中去,然后进行匹配计算。在匹配过程中,通过使用改进的Hausdorff距离对低维空间下测试序列和训练运动集的吻合度和相似度进行度量。结果 用Kinect设备捕获的数据进行了实验,取得了良好的效果;同时也在MSR Action3D数据库上进行了测试,结果表明在训练样本较多情况下,本文方法识别效果优于以往方法。结论 实验结果表明本文方法适用于基于深度图像序列的人体动作识别。     

融合显著性图像语义特征的人体相似动作识别

目的 基于骨骼的动作识别技术由于在光照变化、动态视角和复杂背景等情况下具有更强的鲁棒性而成为研究热点。利用骨骼/关节数据识别人体相似动作时,因动作间关节特征差异小,且缺少其他图像语义信息,易导致识别混乱。针对该问题,提出一种基于显著性图像特征强化的中心连接图卷积网络（saliency image feature enhancement based center-connected graph convolutional network,SIFE-CGCN）模型。方法 首先,设计一种骨架中心连接拓扑结构,建立所有关节点到骨架中心的连接,以捕获相似动作中关节运动的细微差异;其次,利用高斯混合背景建模算法将每一帧图像与实时更新的背景模型对比,分割出动态图像区域并消除背景干扰作为显著性图像,通过预训练的VGG-Net(Visual Geometry Group network)提取特征图,并进行动作语义特征匹配分类;最后,设计一种融合算法利用分类结果对中心连接图卷积网络的识别结果强化修正,提高对相似动作的识别能力。此外,提出了一种基于骨架的动作相似度的计算方法,并建立一个相似动作数据集。结果 ...     

Automatic Annotation and Retrieval of Images

Although a variety of techniques have been developed for content-based image retrieval (CBIR), automatic image retrieval by semantics still remains a challenging problem. We propose a novel approach for semantics-based image annotation and retrieval. Our approach is based on the monotonic tree model. The branches of the monotonic tree of an image, termed as structural elements, are classified and clustered based on their low level features such as color, spatial location, coarseness, and shape. Each cluster corresponds to some semantic feature. The category keywords indicating the semantic features are automatically annotated to the images. Based on the semantic features extracted from images, high-level (semantics-based) querying and browsing of images can be achieved. We apply our scheme to analyze scenery features. Experiments show that semantic features, such as sky, building, trees, water wave, placid water, and ground, can be effectively retrieved and located in images.