面向多投影显示墙的手势交互系统设计与实现

在PC集群驱动的多投影显示环境下,设计并实现了一个基于计算机视觉技术和数据手套的手势交互系统(gesture-based interaction system,GBIS).GBIS整合了满足色彩一致性和特征一致性的特征点跟踪算法来实现交互动作的捕捉,并配合数据手套的有限状态机输出,实现了实时的沉浸式手势交互.实验结果表明:当所用摄像头的采集频率不低于30帧时,该系统能够实时地跟踪手臂的交互动作,同时保持较高的跟踪精度和交互可靠性.     

面向多投影显示墙的画面校正技术

多投影显示墙是缓解对超高分辨率显示屏幕不断增长的需求与单台显示设备分辨率有限性之间矛盾的有效手段,但目前还缺乏规范化的模式和方法以支持高精度、高可靠性的画面校正.提出一种颜色校正方案以解决上述问题.首先介绍多投影显示墙画面校正中存在的主要问题和现有的解决方法;在此基础上,给出了多投影显示墙的画面校正流程和几何校正方法;然后讨论了多投影显示墙画面校正结果的评价标准,提出了投影仪的广义颜色模型和基于搜索技术的视觉无缝方法.该方案使用数码相机实现了高精度的视觉无缝画面校正,从而提高了构造多投影显示墙的效率并降低了维护成本.校正结果在多种类型的投影墙系统中得到验证和应用,对指导多投影显示墙的搭建和维护具有较高的理论与实践价值.     

背投式多投影系统中各向异性问题的研究

目的 针对背投式多投影系统中存在的各向异性问题,提出一套行之有效的解决方案.方法 首先,为了解决以静态观众为主体的多投影系统各向异性问题,基于反馈机制提出了以特定位置为中心的“最佳观测域”,并在该区域内实现了真正的视觉无缝画面校正;然后,基于视觉人体跟踪技术进一步提出了以特定交互者为中心的“动态最佳观测域”框架,并结合模糊预测控制思想从人体重心检测、跟踪和投影仪亮度实时补偿等3个方面对该框架内的各个组成模块的关键技术进行了阐述.结果 实验结果显示,利用交互者运动的时空连续性优化后的动态最佳观测域算法,具有较好的鲁棒性和实时性.同时,与其他类似方法相比获得了更好的视觉无缝校正效果,其中观测距离为1 m、3 m和5 m时,对应的亮度样本标准差分别为17.11、13.17和9.2.结论 提出的各向异性解决方案,将实时反馈信号引入校正过程中,有效提高了输出画面质量.通过实验测试和性能评估,验证了文中方法的可行性.     

基于预测控制的手臂运动估计

交互信息的获取是决定分布式虚拟现实系统沉浸感和真实感好坏的关键因素,通过对交互者手臂位置的跟踪,可以提供更加直观和谐的人机交互模式,为了跟踪手臂的运动轨迹,提出一种基于模糊预测控制理论的手臂运动估计算法——FPC-AME,通过提取来自2个同步摄像机的实时图像中交互者腕部和肘部的标识环信息,对手臂位置进行预测和估计,实现形象化的六自由度手臂导航．实验结果表明,在环境光照基本稳定的条件下,文中算法可以生成稳定、精确的手臂位置信息,相关研究对虚拟环境下的沉浸式交互具有较高的理论意义和实用价值．     

CEBus家庭网络管理器的设计与实现

在介绍了家庭网络(HomeNet)发展概况以及消费总线(ConsumerElectronicBus)和公共应用语言(CommonApplicationLanguage-)的基础上,详细描述了基于CEBus的家庭网络管理器的硬件接口和软件设计与实现,重点在于管理器的软件设计。     

基于多支路残差深度网络的跨视角步态识别方法

针对基于卷积神经网络的步态识别模型不能充分利用局部细粒度信息的问题,提出基于多支路残差深度网络的跨视角步态识别方法.将多支路网络引入卷积神经网络中,分别提取步态轮廓序列图中不同粒度的特征,并利用残差学习和多尺度特征融合技术,增强网络的特征学习能力.在公开步态数据集CASIA-B和OU-MVLP上的实验证实文中方法的识别准确率较高.     

基于自适应遗传算法的手势识别

基于小样本库的手势识别是先进人机交互研究中的一个重要分支.根据Tortoise人手模型训练手势模式库并结合交互者的具体手部特征进行手形训练,生成适用于特定交互者的手势模式库.在交互过程中,根据来自一个或多个同步摄像头的视频信息进行基于自适应遗传算法的手势识别.实验结果表明,在环境光照基本稳定的条件下,文中算法可以实现鲁棒的实时手势识别.     

一种结合Grabcut的Vibe目标检测算法

针对传统背景建模方法不能非常有效地提取出完整运动目标这一问题,提出了一种新颖的结合Grabcut和Vibe算法的运动目标检测方法.首先利用改进的Vibe目标检测算法初步寻找出当前帧中的所有可能目标前景区域;然后对这些前景区域进行进一步的选择从而滤去无效前景,合并有效区域;最后对每个前景区域再利用Grabcut算法来分割出更加完整的目标前景.实验结果表明,与传统的背景建模方法相比,本算法在有效时间内可以更加完整地分割出运动目标前景,对与背景颜色类似的目标前景也有很好的检测效果.     

基于改进U-net网络的气胸分割方法

气胸是肺部常见疾病之一,目前已有的X线气胸检测方法主要存在两个问题：一是气胸通常与肋骨、锁骨等组织重叠,在临床上存在较大的漏诊情况;二是现有的主流分割算法采用单一或双重阈值策略,导致结果不准确。针对上述问题,提出了一种新颖的气胸分割方法。该方法对胸片进行对比度限制自适应直方图均衡化,去除噪点并还原图像细节;通过以MBConvBlock为编码器模块的卷积神经网络层提取图像中抽象的深层特征;通过解码器对提取到的特征映射进行插值重构得到每个像素的二分类结果;采取改进的三重阈值策略输出更满足实际医用场景的结果。该方法在SIIM-ACR Pneumothorax数据集上得到的Dice相似系数值、精确率和召回率分别为87.21%、94.81%和88.96%,相比DeepLabV3+和U-net等网络,在气胸分割取得了更好的性能。实验结果表明该方法能够使X线气胸分割具有较高的精度,填补了目前气胸X线图像分割领域的不足。     

多投影显示墙的全局颜色校正

画面校正是实现无缝多投影显示墙系统的关键环节,针对此,提出了一种基于参数估计和统计思想的全局颜色校正方法.首先根据采样点的粗略分布建立亮度响应曲线的经验参数模型,并通过采样数据来确定该曲线的参数;然后依据亮度响应曲线,引入统计算法来调整投影仪输入,从而实现视觉上无缝的多投影拼接显示.最后在2×2和3×5多投影显示墙上进行了该算法的可行性和效果测试.结果表明,该算法比现有颜色校正算法的画面质量更好,亮度更高.