基于长短时预测一致性的大规模视频语义识别算法

片段视频语义识别旨在识别视频中短小片段的语义概念,是视频分析的一项重要任务.由于片段视频的数量巨大且缺乏可参考的网络标签,片段视频的标记十分困难,通常只能对部分片段视频进行标记.如何利用有限的语义标签提高片段视频语义识别的准确率是一项关键挑战.因此本文提出了一种基于长短时预测一致性的视频语义识别算法.该算法通过引入完整...     

元数据管理的一致性和可靠性保障策略研究

随着企业的快速发展,企业内外部数据也越来越丰富,此时元数据管理就成为了很多公司的关键问题。元数据管理的一致性和可靠性保障对于元数据中的操作请求来讲是非常重要的。本文主要对元数据管理的一致性保证策略以及元数据管理的可靠性保证策略进行分析。     

内容一致性行人重识别算法

行人重识别是指利用计算机视觉技术识别不同监控设备下的目标行人,该技术在公共安全与相册管理等方面应用较广.然而现有行人重识别算法在局部特征区域划分后出现离异值使该区域内容不一致,导致局部特征可区分性降低.提出一种基于局部区域特征选择的内容一致性行人重识别算法.将行人图像输入残差卷积神经网络取得张量,根据局部区域内容一致性...     

语音识别前端鲁棒性问题综述

随着手持设备的日益小型化以及一些特殊场合的限制,使用语音识别这种自然的人机接口技术愈发显得迫切。基于HMM架构的语音识别技术经过几十年的发展,在实验室环境下已经取得了很高的识别率。当前已经取得的技术要想走向实用化,所面临的最大障碍来自于语音识别前端的鲁棒性问题。本文对语音识别的前端鲁棒性问题做了比较深入细致的分析,并在此基础上比较全面地介绍了解决这些棘手问题所采取的一些措施。文章最后对语音识别前端鲁棒性问题给出了一定的讨论和展望。     

基于视角一致性三元组损失的车辆重识别技术

车辆重识别是一项跨摄像头检索目标车辆的任务,主要通过提取车辆外观特征并计算特征间的距离度量来实现。目前,视角多样性给该任务带来了巨大挑战:极端视角下的正样本对和相似视角下的负样本对容易被混淆,这严重影响了识别效果。为了解决这一问题,基于区域分割提出了车辆重识别的视角一致性三元组损失。用分割区域面积分布的一致性来估计视角一致性,进而根据视角一致性筛选三元组。该方法使网络重点学习容易被混淆的样本对之间的距离度量,从而提升模型在多视角复杂场景下的表现。实验结果显示,该方法各项指标均优于参考方法,并且对视角挑战性大的样本的提升效果尤其明显,这充分体现了该方法的有效性和优越性。     

基于随机采样一致性的规则棒料位姿识别

获得规则堆放棒料的位姿信息是引导机械手抓取的关键,对获取的规则堆放棒料的三维点云进行滤波处理得到顶层的棒料点云,采用随机采样一致性算法(RANSAC)对滤波后的顶层棒料进行分割,最终得到每根棒料的半径、位置和姿态等信息。仿真实验表明:本方法识别结果的正确性;通过对直径为35. 00 mm,长度为80. 00 mm的规则堆放棒料进行扫描,在选择不同的参数的情况下,对同一根棒料点云进行多次分割,实验结果表明:当迭代次数k=20,距离阈值t=0. 7时,分割结果稳定,耗时160 ms左右;棒料半径的最大误差为0. 47 mm,本方法具有一定的鲁棒性和可行性。该方法能准确识别规则堆放棒料的位置和姿态,能广泛应用于棒类零件的位姿识别与机械手引导抓取。     

基于一致性图卷积模型的多模态对话情绪识别

多模态对话情绪识别是一项根据对话中话语的文本、语音、图像模态预测其情绪类别的任务。针对现有研究主要关注话语上下文的多模态特征提取和融合,而没有充分考虑每个说话人情绪特征利用的问题,提出一种基于一致性图卷积网络的多模态对话情绪识别模型。该模型首先构建了多模态特征学习和融合的图卷积网络,获得每条话语的上下文特征;在此基础上,以说话人在完整对话中的平均特征为一致性约束,使模型学习到更合理的话语特征,从而提高预测情绪类别的性能。在两个基准数据集IEMOCAP和MELD上与其他基线模型进行了比较,结果表明所提模型优于其他模型。此外,还通过消融实验验证了一致性约束和模型其他组成部分的有效性。     

以操作系统为中心的存储一致性模型--线程一致性模型

分布共享存储系统为保证程序的正确执行,必须通过存储一致性模型对共享存储访问顺序加以限制,而现有模型在可扩展性和操作系统级实现方面存在不足。结合多线程的特点,提出了一种以操作系统为中心的线程一致性模型,通过并行程序执行过程中线程状态的变化来观察和限制存储访问事件的正确顺序,有利于系统的可扩展性、一致性维护信息获取的方便性和完备性以及操作系统本身的设计和实现。分别从模型的定义、正确性证明、实现方案和性能分析等几个方面展开了论述。     

基于UML模型的一致性研究

采用统一建模语言UML进行系统建模的过程中,模型一致性的建立和维护是正确建模的必要前提。在UML模型的基础上对模型一致性问题进行了分析,给出了一致性问题的分类及模型一致性产生的原因。在此基础上进行模型一致性研究,并提出了关于模型一致性问题的解决方案和思路。     

浅谈用户界面设计

用户界面(UI)设计是一个动态的、逻辑的推理过程。某种特定的用户群体需要某种特定的界面设计。要让产品获得成功,就要把用户心智模型切入产品分析研究设计阶段中作为理论依据。本文以心智模型理论为切入点,结合逻辑学,心理学和美学等理论知识,深入浅出地探讨了一些影响用户界面设计的关键因素。     

自适应人机界面的结构设计

文章在研究自适应人机界面理论模型的基础上,进行了自适应人机界面的结构设计,并给出其工作流程。     

Integrated Person Tracking Using Stereo,Color, and Pattern Detection

We present an approach to real-time person tracking in crowded and/or unknown environments using integration of multiple visual modalities. We combine stereo, color, and face detection modules into a single robust system, and show an initial application in an interactive, face-responsive display. Dense, real-time stereo processing is used to isolate users from other objects and people in the background. Skin-hue classification identifies and tracks likely body parts within the silhouette of a user. Face pattern detection discriminates and localizes the face within the identified body parts. Faces and bodies of users are tracked over several temporal scales: short-term (user stays within the field of view), medium-term (user exits/reenters within minutes), and long term (user returns after hours or days). Short-term tracking is performed using simple region position and size correspondences, while medium and long-term tracking are based on statistics of user appearance. We discuss the failure modes of each individual module, describe our integration method, and report results with the complete system in trials with thousands of users.     

Th-Notes多通道共享笔记系统的设计与实现

笔记对课堂学习或参加会议的重要性是不言而喻的。在课堂和会议实现电子化的情况下,它的作用更显重要,其功能也更为丰富。课堂上电子讲稿文件和其它电子媒体的使用既丰富了授课内容,也省略了板书的时间。这提高了讲课的效率和节奏。但也导致学生笔记的速度跟不上教师的讲课速度,造成学生笔记的困难。电子笔记将能帮助学生解决笔记的困难,学生还可通过共享电子笔记来进行讨论。另外缺席的学生还能在事后借助于电子笔记来获取关于教师授课的板书及讲解过程的信息。现有的电子笔记系统已经做了很多尝试,但是都存在这样或那样的缺陷。通过对现有电子笔记系统的分析,以及对改进电子笔记系统的关键技术的研究,提出一个新的电子笔记系统的设计方案。在新的设计方案中,多通道、实时、共享等特性作为系统的特点,而对音频、视频、PPT文档和手写笔记的同步存储采用MPEG7标准和XML技术,解决了多通道信息的存储问题。该系统分为在线学习和离线学习,从六个方面完成整体功能设计,分别是笔处理、麦克风处理、视频显示处理、PPT文档处理、笔记录同步实时存储处理和笔记录检索处理。该系统已经从技术的角度实现了音频、视频、PFT文档和手写笔记同步存储,但是该系统还未能实现通过摄像头进行人脸识别,确定用户身份的功能,系统还有待进一步优化。     

基于优化目的的人机界面知识化表示方法

对一种新的人机界面操作和交互行为的知识化表示方法进行了介绍和分析。以语义网络为基础,通过对人在界面操作中的知识作业过程及交互行为进行分析研究,建立了一种带距离标识的基于面向对象的语义网络的界面知识化表示方法,提供了人机界面特征集定义、推理规则和交互描述模型。该表示方法从界面语义模型和心理语义模型的角度描述了交互,能够正确地描述人机界面的语义知识特征。并以手机短信界面为例说明了该方法的有效性和必要性。     

一种新的人机界面—PUIs

长期以来 ,图形用户界面 (GUIs)一直是人机交互 (HCI)的主流平台。GUI风格的交互让用户使用计算机时更为方便 ,尤其对于办公自动化应用。然而 ,随着人们使用计算机方式的变化以及计算任务种类和数量的大量增加 ,GUIs已经很难实现满足用户需求所必需的所有交互形式。为了适应更多更广的情况 ,人们需要一种更自然、更直观、能自适应、更易为人们接受的界面形式。于是 ,感知用户界面 (PUIs—PerceptualUserInterfaces)成为人机界面中的新热点 ,其主要目的是使人机交互更像人与人之间的交互以及人与世界的交互。本文介绍了蓬勃发展的PUI领域 ,然后简要介绍了三个基于视觉技术的实际系统     

以人为本的人机界面设计思想

为使计算机的人机界面适应人的思维和行为特性,在进行人机界面设计时,需要依据用户的认知特点,采用折中功能的设计方法,从而使设计出的人机界面能减少用户的记忆负荷,减少用户的学习操作时间,简化操作方法。     

The challenge of interface design for communication theory: from interaction metaphor to contexts of discovery

Those who study interface design still have not resolved the issue of whether the computer is a passive medium or a communicative participant with which we can hope to ‘engage in conversation’. The authors think that this controversy reflects an inadequate philosophy of interface design, which cannot account for what purpose a medium serves in a human communication. In a short history of humancomputer interface research, we trace the development of this philosophy through three generations of computer interface technology and find that its failure lies in the conceptual limitations of its driving concept of interaction.

Just as the concept of interaction provided the transition from the past (command-line interface) to the present (desktop metaphor interface), perhaps, the concept of engagement can provide the transition from our present understanding of the ‘interactive desktop’ interface to multimedia's ‘contexts of discovery’.

The development of multimedia gives interface designers the ultimate challenge to develop interface technology that will simulate human-to-human communication. Should human communication theory be able to treat the conceptual deficiencies of interface design philosophy? The authors find fundamental challenges here and briefly indicate what Charles S. Peirce's semiotic might offer as an age-old remedy.     

基于HMM-FNN模型的复杂动态手势识别

复杂动态手势识别是利用视频手势进行人机交互的关键问题.提出一种HMM-FNN模型结构.它整合了隐马尔可夫模型对时序数据的建模能力与模糊神经网络的模糊规则构建与推理能力,并将其应用到复杂动态手势的识别中.复杂动态手势具备两大特点:运动特征的可分解性与定义描述的模糊性.针对这两种特性,复杂手势被分解为手形变化、2D平面运动与Z轴方向运动3个子部分,分别利用HMM进行建模,HMM模型对观察子序列的似然概率被作为FNN的模糊隶属度,通过模糊规则推理,最终得到手势的分类类别.HMM-FNN方法将高维手势特征分解为低维子特征序列,降低了模型的复杂度.此外,它还可以充分利用人的经验辅助模型结构的创建与优化.实验表明,该方法是一种有效的复杂动态手势识别方法,并且优于传统的HMM模型方法.     

State-of-the-art virtual reality hardware for computer-aided design

Virtual reality is an exciting new field, which may offer significant improvements in the efficiency of human-computer interface for a wide variety of computer applications. This paper serves to identify technology developments in virtual reality hardware devices that may allow for development of a more efficient user interface for computer-aided design packages for mechanical design functions. Presented is a survey of the current state of the art in the rapidly changing field of virtual reality hardware devices. The devices are broken down into classes that are related to user interface features that may improve the efficiency of computer-aided design functions. Classes of virtual reality hardware devices are identified needing future research and development to implement the most effective virtual reality computer-aided design interface.