基于三维人体语义模型的人行为自然语言描述

研究视频场景中人体行为自然语言描述的实现方法。首先建立三维人体的语义模型和主要的关节点运动模型,并建立人体运动语义描述基本数据库。应用图像自动场景标注技术来描述背景图像。通过人体简单动作的语义逻辑运算,得到人的组合动作和相互动作。将人的行为动作组合场景语义,从而准确描述出人在复杂场景的语义行为。最后建立简单的中文语法规则,得到人在场景中行为的自然语言描述。实验结果表明:与传统的二维模型相比,三维模型结合了场景语义并能解决遮挡问题,可以准确表达更为复杂的人类行为。     

基于改进的OCC情感模型的自然风景图像分类研究

网络技术的发展和图像获取设备的普及导致数字图像迅速增长,依靠先进的技术提取图像蕴含的情感语义实现图像情感语义分类正是当前各行业急需解决的问题。为此提出一种基于改进的OCC情感模型的自然风景图像情感语义分类方法。通过融入性格、心情因素描述图像的个性情感,使用BP神经网络实现,解决图像分类中的语义理解问题。使用百度图片频道上下载的600张场景图像进行训练和测试,实验通过与人工计算结果相比较,取得了良好的分类效果,可为更多类型的图像情感语义分类打好基础,具有一定的实用价值。     

基于支持向量机的图像情感语义注释和检索算法的研究

图像语义检索是当前图像检索的一个新的研究热点,其中情感语义是最高层的语义,通常用形容词来描述.本文提出了一种新的图像情感语义注释算法,以图像的简单特征来描述图像内容,建立图像的特征空间;用形容词表达图像的情感语义,通过认知心理实验和因子分析建立情感空间;采用支持向量机算法建立图像内容和其所表达的情感语义之间的联系,并自动对未曾评价过的图像进行注释.在此基础上,提出图像的情感检索方法,实现了服装和风景图像的情感检索,取得了较好的实验结果.     

一种图像局部特征的语义提取方法

本文提出了一种基于期望最大化(EM)算法的局部图像特征的语义提取方法。首先提取图像的局部图像特征,统计特征在视觉词汇本中的出现频率,将图像表示成词袋模型;引入文本分析中的潜在语义分析技术建立从低层图像特征到高层图像语义之间的映射模型;然后利用EM算法拟合概率模型,得到图像局部特征的潜在语义概率分布;最后利用该模型提取出的图像在潜在语义上的分布来进行图像分析和理解。与其他基于语义的图像理解方法相比,本文方法不需要手工标注,以无监督的方式直接从图像低层特征中发掘图像的局部潜在语义,既求得了局部语义信息,又获得了局部语义的空间分布特性,因而能更好地对场景建模。为验证本文算法获取语义的有效性,在15类场景图像上进行了实验,实验结果表明,该方法取得了良好的分类准确率。     

基于域自适应的云南重彩画无监督情感识别

计算机视觉中,深度学习之所以取得如此巨大的突破,均得益于可获得的大规模标记数据集,而在图像情感分析中,由于情感语义的模糊性,导致图像情感标注困难,公开可获得图像情感数据集较少,其规模也小,制约了基于深度学习的图像情感分析性能。情感语义具有其特有的有序性和极性分组特征,而已有的图像情感分析方法中很少关注到情感语义的这些本质特征。基于域自适方法,考虑情感语义的本质特征,提出一种基于推土机距离的情感语义对齐方式,将带标记的情感数据集的训练模型更好地迁移到无标记的情感数据集上,实现无监督的图像情感分析,解决情感数据集标注困难的问题。该方法应用于创建的云南重彩画数据集,实验结果表明,其能有效地对齐源域和目标域数据,实现无监督的情感数据集自动标注,有利于扩充图像情感数据集规模。     

图像层次语义描述的初步研究

关于图像情感的研究主要在心理学和工程学两个领域进行.现有的标准刺激材料来源有限,工程学图像情感研究缺乏专用的刺激材料库,更没有建立涉及对象语义层次的刺激材料群,极大地限制了图像情感的研究.通过对现有刺激材料库的比较和确定对象语义描述,对筛选出的刺激图像进行多层语义标注,形成标注文档并建立图像层次语义描述体系.     

基于SWRL本体推理研究

随着语义Web的兴起,本体技术已成为计算机学科中的一个研究热点。在分析本体、Web本体语言OWL和语义网规则描述语言SWRL的概念和特点的基础上,利用MPEG-7标准中的视觉描述子来描述图像的特征,采用本体建立图像的语义特征,将SWRL引入图像情感识别领域,利用SWRL构建推理规则。通过建立图像的本体信息和推理规则,并用规则推理出本体中隐含的信息,实现图像情感识别,使计算机具有一定的情感推理能力。     

场景语义树图像标注方法

自动图像标注是一项具有挑战性的工作,它对于图像分析理解和图像检索都有着重要的意义.在自动图像标注领域,通过对已标注图像集的学习,建立语义概念空间与视觉特征空间之间的关系模型,并用这个模型对未标注的图像集进行标注.由于低高级语义之间错综复杂的对应关系,使目前自动图像标注的精度仍然较低.而在场景约束条件下可以简化标注与视觉特征之间的映射关系,提高自动标注的可靠性.因此提出一种基于场景语义树的图像标注方法.首先对用于学习的标注图像进行自动的语义场景聚类,对每个场景语义类别生成视觉场景空间,然后对每个场景空间建立相应的语义树.对待标注图像,确定其语义类别后,通过相应的场景语义树,获得图像的最终标注.在Corel5K图像集上,获得了优于TM(translation model)、CMRM(cross media relevance model)、CRM(continous-space relevance model)、PLSA-GMM(概率潜在语义分析-高期混合模型)等模型的标注结果.     

情感语义图像检索技术研究

图像中所蕴涵的丰富语义仅用若干低级物理特征是不能进行完整描述的,而且在语义映射时也会有信息丢失,因而产成“语义鸿沟”是在所难免的。将多特征融合,建立情感语义模型,分析情感的概念解析功能对提高智能信息检索的精度和效率是非常必要的。论文讨论了图像的颜色、纹理等特征的提取与表示,低阶图像可视化特征到高阶图像语义特征的映射过程,图像的情感语义分类,建立了情感语义模型,实现对基于情感语义图像的检索。对由2500幅数字图像组成的数据集进行了实验,并对实验结果进行分析,部分结果是令人满意的,而且提高了基于内容图像检索的精度。     

基于本体的图像情感语义识别研究

抽取图像颜色、形状、纹理特征,通过本体映射,建立本体表示的图像情感特征库。以中国情感图片系统作为训练样本,挖掘图像特征与情感之间的关联关系,并通过语义网规则语言SWRL（Semantic Web Rule Language）表示关联规则,建立情感映射规则库。情感推理引擎使用情感映射规则对图像特征进行推理,达到识别图像情感语义的目的。     

Kinect与Unity3D数据整合技术在体感游戏中的应用研究

通过分析Kinect与Unity3D数据整合关键技术,从WPF与Unity 3D内部调用方式展开系统设计。设计分为Unity3D场景展示模块、Unity3D的接口模块和Kinect的数据获取三模块。其中Unity3D接口模块实现了的场景设置,骨骼绑定、镜像运动、近景模式、平滑处理功能;Kinect数据获取模块通过代码实现设备控制、骨骼绑定算法、设备图像获取。测试证明,通过C#对非托管的dll的管理方式,导入Kinect硬件的驱动程序,调用自定义的数据结构和算法,实现在unity 3D场景中,使用Kinect体感镜头控制场景中的人物模型运动,提高了体感游戏的开发效率,在体感游戏的开发和应用中有一定的社会推广价值。     

基于增强现实技术的AR赛车游戏

AR赛车是一款融入了增强现实技术的3D赛车游戏。在赛车游戏中运用增强现实技术．使得游戏有了全新的控制方式和场景效果。在游戏控制方式上,玩家不再需要用键盘来控制赛车,而是通过在摄像头前操纵有特定标识图案的纸片来控制赛车;在场景效果上,AR赛车不再像传统游戏那样始终处于虚拟场景中,而是采用真实场景与虚拟物体相结合。这些特点将会给玩家带来全新的游戏体验。     

Mobile phone-based mixed reality: the Snap2Play game

The ubiquity of camera phones provides a convenient platform to develop immersive mixed-reality games. In this paper we introduce such a game which is loosely based on the popular card game “Memory”, where players are asked to match a pair of identical cards among a set of overturned cards by revealing only two cards at a time. In our game, the players are asked to match a “digital card”, which corresponds to a scene in a virtual world, to a “physical card”, which is an image of a scene in the real world. The objective is to convey a mixed-reality sensation. Cards are matched with a scene identification engine which consists of multiple classifiers trained on previously collected images. We present our comprehensive overall game design, as well as implementation details and results. We also describe how we constructed our scene identification engine and its performance. Finally, we present an analysis of player surveys to gauge the potential market acceptance.

数据预测技术及其在网络游戏中的应用

在网络游戏中采用数据预测技术，即使在数据传输过程中发生堵塞延迟等情况，仍然能使游戏流畅运行。根据网络游戏中的实际情况，提出了一种基于吸引子原理的角色行为预测算法。它是以网络游戏中的统计规律作为依据，更好地预测了角色在游戏中的行为，从而在网络情况不佳的情况下，仍然保证了游戏的基本流畅。     

基于函数截获的游戏内置广告集成技术

伴随互联网的普及,互联网广告得到快速发展,游戏内置广告已成为一种新兴的互联网广告形式。由于玩家数量庞大,网络游戏的媒体价值不断增长,与其相关的广告集成技术也获得一定发展。现有游戏内置广告技术采用SDK的集成方式,需要大量修改网络游戏源代码,广告逻辑与游戏逻辑耦合度高,难以实现复杂的交互式广告。提出一种基于函数截获的游戏内置广告集成技术,克服现有SDK广告集成技术的不足。该技术截获并替换三维图形绘制函数,动态执行脚本[11]程序,在不修改游戏客户端源代码的情况下,集成图像、视频、三维物体和动态交互式点击广告。实验结果表明,应用该技术在网络游戏场景中集成广告,不影响游戏运行的流畅性,游戏画面仍保持较高的刷新帧率。     

目标三维场景建模与实时红外仿真技术研究

针对景象匹配系统对红外图像实时性的要求越来越高的特点,提出了基于目标三维场景的实时红外仿真方法。首先,设计了红外场景仿真的总体方案;其次,对材质红外图像计算、红外图像数据库建立、基于全球三维场景的实时红外场景建模三个关键技术做了初步实现;最后,结合红外场景仿真方案完成了系统。实验结果表明：该方法生成的红外图像与实拍红外图像的变化规律基本一致,从而为实时制备红外基准图提供了一种有效途径。     

足球比赛场景的三维再现和自动解说

特定领域的视频解说巳成为当前多媒体研究的热点问题，其中一个主要应用领域是体育运动的解说与分析，文中介绍一个实用的足球比赛场景的三维重建和视频解说系统；首先通过足球比赛的视频序列恢复场景的三维模型，包括球员的位置、速度等参数，以及足球的运动轨迹，并根据这些信息和特定的先验知识识别球员的动作行为；进而对比赛过程加以评论；最后构造一个OpenGL的虚拟环境，用户可以在球场上漫游，从任意视角观看比赛。     

采用向量化运算进行图像融合的真实感纹理映射

提出一种基于向量运算体现纹理形变要求的映射对应点获取方法,根据场景表面纹理走势特点划分表面形变控制网格,以网格边界为形变控制向量,通过对控制向量的合成取得映射点;同时,根据对应点亮度进行图像融合达到纹理真实感融入．对于场景表面纹理走势细节性变化给出了网格调整方法,进一步使用三次参数样条曲线拟合映射区域,基于曲率半径进行边界多边形化以实现对映射区域的精确判断．该方法能产生高度真实感的虚拟实景效果．     

基于Retinex理论的多曝光图像融合算法

多曝光图像融合技术是将一组场景相同但曝光程度不同的图像序列直接融合成为一幅含有更多场景细节信息的高质量图像。针对现有算法局部对比度差和色彩失真的问题，结合Retinex理论模型提出了一种新的多曝光图像融合算法。首先，基于Retinex理论模型，利用光照估计算法将曝光序列图像分为入射光分量序列和反射光分量序列，然后分别采用不同的融合方法对这两组序列进行处理。对于入射光分量，要保证场景的全局亮度的变化特性并且削弱过曝光和欠曝光区域的影响；而对于反射光分量，要采用适度曝光的评价参数来更好地保留场景的色彩及细节信息。分别从主观和客观两方面对所提算法进行了分析。实验结果表明，同传统基于图像域合成的算法相比，该算法在结构相似度（SSIM）上平均提升了1.7%，另外在图像色彩和局部细节上的处理效果更好。