基于多点手势识别的人机交互技术框架

提出了一种基于机器视觉的多点手势识别方法及其人机交互技术框架。指尖跟踪和手势识别服务程序通过一个普通的摄像机捕获用户手的运动,对多个指尖目标进行实时检测和跟踪,在指尖跟踪结果基础上利用BP神经网络实现多点手势识别,并根据指尖跟踪和手势识别结果构造相应的消息(包括低级指点消息和高级手势消息)发送给客户端应用程序,客户端响应消息并进行相应的处理。该框架可以帮助开发人员的在应用程序中增加类似iPhone多点触摸控制的多点手势识别控制功能,实现更加自然的人机交互,提高用户操作体验。     

基于唇形的人机交互系统研究及其应用

针对在噪声环境中基于语音的人机交互系统鲁棒性差的问题,本文提出一种新颖的基于唇形的人机交互方法。该方法通过定义不同的唇形来进行人机交互。首先使用adaboost算法实时检测到唇部,然后通过离散余弦变换(Discrete Cosine Transform DCT)提取唇部特征,最后使用支持向量机(Support Vector Machine SVM)进行唇形的识别。     

基于Hausdorff距离的手势识别

随着先进人机交互技术的提出及发展，手势识别正成为其中一项关键技术，基于视觉的手势识别是当前涉及图象处理，模式识别，计算机视觉等领域的一个比较活跃的课题，由于Hausdorff距离模板匹配的方法具有计算量小，适应性强的特点，因此基于Hausdorff距离，建立了一个手势识别系统，该系统采用边缘特征像素点作为识别特征，并首次利用Hausdorff距离模板匹配的思想，在距离变换空间内，实现了中国手指字母集上的基于单目视觉的30个手指字母的手势识别，为提高系统的鲁棒性，还提出了修正的Hausdorff距离形式，测试集上的平均识别率为96．7％，实验结果表明，基于Hausdorff距离的模板匹配方法用于基于听觉的静态手势识别是可行的。     

基于改进Faster R-CNN的嘴部检测方法

在通过嘴部进行人机交互的场景下,外界光线变化、小目标检测的复杂性、检测方法的不通用性等因素给不同场景下嘴部的识别带来了很大困难.该文以不同场景下的人脸图像为数据源,提出了一种基于改进Faster R-CNN的人脸嘴部识别算法.该方法在Faster R-CNN框架中结合多尺度特征图进行检测,首先将同一卷积块不同卷积层输出的特征图结合,然后对不同的卷积块按元素进行求和操作,在输出的特征图上进行上采样得到高分辨率的表达能力更强的特征,从而提高了嘴部这种小目标的检测性能.在网络训练试验中运用多尺度训练和增加锚点数量增强网络检测不同尺寸目标的鲁棒性.实验表明,相比于原始的Faster R-CNN,对嘴部的检测准确率提高了8%,对环境的适应性更强.     

一种基于人工免疫原理的入侵检测系统模型

基于人工免疫学原理，设计了一个基于自然免疫和疫苗接种机制相结合的入侵检测系统模型以及相关算法，该算法充分考虑了数据包负载部分包含的入侵信息，并将疫苗接种机制引入入侵检测中，使入侵检测系统＋增强了对未知攻击的识别能力。同时，该方法的提出也给网络安全领域提供了一种新的研究思路。     

基于自适应鲁棒性的入侵检测模型

传感器与网络技术的迅猛发展促进了信息物理系统的发展与应用.而传统网络系统的入侵检测技术已经发展成熟,信息物理系统(CPS)可以在借鉴传统网络系统入侵检测技术的基础上,结合自身特性进行改进.针对CPS所处地理位置复杂及网络传输不可靠导致的检测鲁棒性不高的问题,提出基于稀疏降噪自编码网络(SDAE)的入侵检测算法;同时,考虑到CPS对模型适应性及推广性的需求,将基于差分变换的头脑风暴优化算法(DBSO)与改进的自编码网络相结合,形成基于DBSO优化SDAE(DBSO-SDAE)的检测算法.该算法具有自动提取入侵数据最优特征表示的能力,同时在进一步提高模型鲁棒性的前提下,可极大地增强模型的适应性.仿真结果表明,所提出的DBSO-SDAE模型与其他模型相比,具有较高的鲁棒性、自适应性及较优的检测实时性,可极大地满足CPS对检测算法的高需求.     

基于模糊Hit-Miss变换的信息填涂卡识别方法研究*

介绍了一个针对信息填涂卡识别的OMR技术,这是自动阅卷系统中非常关键的一个环节。介绍了模糊Hit-Miss变换的原理,并基于该原理,详细介绍了OMR算法。为了增强系统的鲁棒性和适应性,对识别信度进行评估,并由用户根据实际情况设定适当的阈值。实验结果表明,本文方法性能优越,有很高的实用价值。     

基于RGB-D摄像头的实时手指跟踪与手势识别

近些年,基于视觉的手部跟踪与手势识别一直是人机交互和计算机视觉等领域的研究热点。传统方法主要是使用单目或多目RGB摄像头等设备获得手部位置、方向等信息,但RGB摄像头易受到复杂背景、光照变化、纹理的限制,导致其准确性、实时性和鲁棒性都较差。随着可获得场景深度信息的家用RGB-Depth(RGB-D)摄像头的发展和上市,可以利用深度信息较好地克服上述环境问题。首先定义了一个基于RGB-D摄像头的3D交互空间,根据深度信息将手部区域从复杂背景、多变的光照条件下进行分割;然后提出了一种基于深度摄像头的手指识别和跟踪方法,该方法基于手部轮廓对人手及手指进行识别和跟踪;最后通过对手指位置和轨迹的跟踪进行手势识别,从而实现人机交互。对提出的方法进行的实验验证了它的准确性、实时性和鲁棒性。     

基于Sugeno模糊模型的ANFIS在手势识别中的应用

手势识别正在成为人机交互技术研究中的一种重要模式,运用摄像机和计算机视觉技术捕获静态手势图像,在YCr Cb空间下利用高斯分布对肤色建模,通过计算背景颜色像素概率分割出干净的手势图像,再采用基于Sugeno模糊模型的自适应神经-模糊推理系统识别手势。与传统的神经网络识别系统相比,该识别方法具有较好的自适应性和鲁棒性。实验结果表明,基于Sugeno模糊模型的自适应神经-模糊推理系统能够有效地进行特征学习,正确识别率可以达到95%左右,是一个非常有效的静态手势识别方法。     

摄像机在线标定中的棋盘格角点自动检测方法

针对摄像机在线标定的特殊需要，研究棋盘格角点的自动检测问题。利用棋盘格角点共面特点，将平面到平面的变换引入到角点检测中，实现了角点的自动粗定位。在粗定位窗口内，通过角点检测算子与区域能量中心共同实现了角点精确定位。该算法将角点的检测与排序巧妙地结合起来，不仅对全局和局部光照变化都具有较强的适应性，还解决了图像中某些角点检测失败时，其他角点的正确检测与排序问题。实验结果表明，该方法不仅在鲁棒性和检测精度方面高于常用棋盘格角点检测方法，而且全部处理过程可自动实现，在摄像机在线标定中具有很高的实际应用价值。     

激光指示器多参数检测系统软件设计

针对激光指示器多参数检测系统的结构特点,结合面阵CCD图像采集原理,开发了集数据采集技术和图像处理技术于一身的应用测试软件。介绍了软件的总体设计方案和具体实现过程,解决了激光指示器性能参数无法定量测量的问题,填补了国内多数兵器厂家没有专门针对激光指示器多参数检测的现代测试手段的空白。     

基于USB摄像头的激光笔辅助教学系统的设计与实现

实现一个利用激光笔与投影仪大屏幕进行互动的辅助教学系统。首先,通过USB摄像头检测激光亮点在屏幕上的位置。然后,通过计算机上的相应算法实现无线鼠标的功能,激光点轨迹的绘制,放大屏幕上的重要区域,清屏以及幻灯片的上下翻页功能。专门为这套辅助教学系统设计的激光笔使得教师在课堂里实现这种互动更为灵敏和连续。     

基于图像处理的划线激光笔系统设计

论文设计一种划线激光笔系统,通过USB摄像头拍摄投影屏,编制软件采集图像并进行处理,检测出激光笔在屏幕上的亮点位置,在屏幕上绘制亮点的轨迹线,使教师能够操作激光笔在投影屏上指示时能够留下痕迹,起到较好的指示作用。系统设计红光和绿光组合的激光笔,在摄像头前设置可通过绿光的滤光片,实现激光笔发射绿光时系统划线,而发射红光时则不划线的功能。系统可以增加演讲的交互性,使讲解更加生动。     

Extracting 3D facial animation parameters from multiview video clips

We propose an accurate and inexpensive procedure that estimates 3D facial motion parameters from mirror-reflected multiview video clips. We place two planar mirrors near a subject's cheeks and use a single camera to simultaneously capture a marker's front and side view images. We also propose a novel closed-form linear algorithm to reconstruct 3D positions from real versus mirrored point correspondences in an uncalibrated environment. Our computer simulations reveal that exploiting mirrors' various reflective properties yields a more robust, accurate, and simpler 3D position estimation approach than general-purpose stereo vision methods that use a linear approach or maximum-likelihood optimization. Our experiments show a root mean square (RMS) error of less than 2 mm in 3D space with only 20-point correspondences. For semiautomatic 3D motion tracking, we use an adaptive Kalman predictor and filter to improve stability and infer the occluded markers' position. Our approach tracks more than 50 markers on a subject's face and lips from 30-frame-per-second video clips. We've applied the facial motion parameters estimated from the proposed method to our facial animation system.     

基于自适应核密度估计的运动目标检测

在计算机视频监控系统中,主要的目的是在摄像机固定的视频图像中检测出运动目标,在诸多检测方法中最常用的是减背景技术。减背景技术的关键是背景建模,噪声的干扰、检测方法的自适应性、模型的正确性等问题都是在背景建模过程中必须解决的问题。为了提高建模精度,本文提出了一个非参数化建模技术,称为自适应核密度估计,具有较好的适应性和鲁棒性。它是一种基于场景中像素的概率密度函数来构建的非参数核密度估计的统计模型。     

Real-time single camera natural user interface engine development

Natural user interfaces (NUIs) provide human computer interaction (HCI) with natural and intuitive operation interfaces, such as using human gestures and voice. We have developed a real-time NUI engine architecture using a web camera as a means of implementing NUI applications. The system captures video via the web camera, implements real-time image processing using graphic processing unit (GPU) programming. This paper describes the architecture of the engine and the real-virtual environment interaction methods, such as foreground segmentation and hand gesture recognition. These methods are implemented using GPU programming in order to realize real-time image processing for HCI. To verify the efficacy of our proposed NUI engine, we utilized it in the development and implementation of several mixed reality games and touch-less operation applications, using the developed NUI engine and the DirectX SDK. Our results confirm that the methods implemented by the engine operate in real time and the interactive operations are intuitive.     

排除光流错误跟踪点的鲁棒方法

针对光流法用于跟踪光照变化和部分遮挡情况下的物体容易产生漂移的问题,通过比较跟踪点与该点补集映射关系产生的投影点之间的距离,提出了一种光流错误跟踪点排除方法——异类距法.首先证明了异类距排除误差最大元素的正确性;然后在静止场景受光照变化和部分遮挡情况下,给出了异类距排除错误跟踪点以及摄像机姿态矩阵在时间序列上的分布.针对视频序列的抖动情况,与传统方法进行比较的实验结果表明,该方法对于排除错误跟踪点是鲁棒的.     

基于DM642的纬斜检测系统设计及实现

目前国内普遍采用的整纬装置为光电整纬,依靠采集透射过织物的光强度来检测纬斜,但这种方式对织物的厚度及纹理程度具有一定制约性;针对这个问题设计了一种基于DM642的摄像式的纬斜检测系统,充分利用DM642的高速运算能力,对织物的纹理进行图像处理,来实现纬斜角度实时的检测;该系统以TMS320DM642处理器为核心,包括视频采集、视频显示、视频存储、视频处理、外部通信5个模块,并在该硬件平台基础上实现了基于投影映射的纬斜检测算法;映射算法的阈值采用20,根据统计的大于阈值的数目来得到纬线偏移的角度;应用结果表明本系统具有良好的实时性并且精度可达到95％,可用于工业现场的实时纬斜检测.     

Symmetry-based monocular vehicle detection system

In this paper, we describe the development of a symmetry-based vehicle detection system. The system uses a single forward looking camera to capture the road scene. Vehicles are detected based on their edges and symmetrical characteristics. A method to extract the symmetric regions in the image using a multi-sized window and clustering technique is introduced. We hypothesize the vehicle’s locations in the image from the detected symmetric regions and the regions are then further processed to enhance their symmetrical edges. A bounding box of a vehicle is detected from the projection maps of the enhanced vertical and horizontal edges. The hypothesized vehicles are then verified using a two-class classifier, which consists of an edge oriented histogram (EOH) feature extractor and a support vector machine (SVM). Once a vehicle is verified, a tracking process based on a Kalman filter and a reliability point system is used to track the movement of the vehicle in consecutive video frames. The system was successfully implemented and tested on a standard PC. Experimental results on live video feed and pre-recorded video sequences for various road scenes showed that the system is able to detect multiple vehicles in real time.     

基于激光扫描与视频融合的交通流检测技术

交通流检测技术是实现城市交通现代化管理的核心技术之一,是智能交通系统的重要组成部分。使用基于激光扫描和视频技术融合的检测方法,利用激光扫描的测距高精度和视频信息的丰富度,使用数据坐标转换矩阵将多源交通流信息进行数据融合,实现对车辆速度,流量,和密度的高精度检测。实验表明,该方法有较高准确性和很强的鲁棒性,具备推广价值。