基于视觉感知的图形化人机交互界面分层模型

由于传统方法没有通过特征提取方法获取图像关键滤波纹理系数,导致人机交互界面图像存在增强效果不佳,非平缓区域、曲面区域等不同层次信息量不丰富的问题,为解决上述问题,设计了基于视觉感知的图形化人机交互界面分层模型.构建图像处理模型,采用边缘轮廓特征提取方法,获取关键滤波纹理系数与边缘轮廓信息分量等特征信息.使用层次分析方法对交互界面视觉传达效果进行优化.以交互界面各个区域视觉感知强度和边缘轮廓内视觉感知元素重要度为基础,建立基于视觉感知强度的图形化人机交互界面分层优化模型,并通过遗传算法求解该模型,实现图形化人机交互界面的分层优化.实验结果显示,上述模型的图像亮度增强效果更优,符合人眼视觉感知要求;信息熵始终处在较高数值,具有较好的图像融合效果,信息量丰富.     

基于雷达与视觉融合的双模态煤矿井下环境感知技术

环境感知是煤矿巡检机器人、视觉测量系统等场景应用的关键技术。单模态环境感知技术对煤矿井下复杂环境的感知能力较差。提出了雷达与视觉双模态空间融合方法,通过激光雷达和摄像仪之间的坐标转换来实现二者采集信息的融合,从而提高环境感知能力。为了更好地提取目标特征信息,提出了双模态融合环境感知网络架构技术路线：摄像仪和雷达采集的环境信息经雷达与视觉双模态空间融合方法进行融合处理,多模态特征融合网络模块提取融合信息中的目标特征,多任务处理网络模块采用不同的任务头处理目标特征信息,完成目标检测、图像分割、目标分类等环境感知任务。采用YOLOv5s目标检测算法搭建双模态特征提取网络模块进行实验,结果表明：基于雷达与视觉融合的双模态煤矿井下环境感知技术对井下巷道环境下行人检测的成功率较视觉、雷达感知分别提升15%,10%,对车道线、标志牌等各类目标分割的平均精度均值较视觉感知均提高10%以上,有效提升了煤矿井下环境感知能力,可为煤矿道路环境感知、视觉测量系统、无人矿车导航系统、矿井搜救机器人等应用场景提供技术支持。     

模拟视觉感知系统的无参考模糊图像质量评价

为了获得与人类视觉感知一致的图像质量评价方法, 本文提出一种模拟视觉感知系统的无参考模糊图像质量评价方法. 该方法通过比较不同模糊程度的图像特征的相似度来度量图像质量. 首先, 通过对待测图像进行人工模糊, 获得不同模糊程度的图像. 然后, 通过视网膜模型提取图像的细节信息. 接着, 采用奇异值分解用来获得图像的内部结构信息. 之后, 将待测图像与其它不同模糊度图像之间的细节相似度和奇异值相似度作为度量图像模糊度的特征向量. 最后, 将这些度量特征向量输入支持向量回归模型(SVR)进行训练, 获得最终的图像质量评估模型.在常用数据库上的实验结果表明, 该方法与人眼主观视觉感知的一致性优于比较方法.     

基于案例推理的轮式移动机器人仿变色龙视觉受污偶然性规划

为使移动机器人能够有效应对视觉受污这一突发事件,提出一种基于案例推理（CBR）的偶然性规划方法.首先,对搭载仿变色龙视觉系统的轮式移动机器人（WMR）进行描述,分析其双目负相关运动机制,并给出一种融合隔帧差分法与背景差分法的改进的污染物提取算法,实现动态场景中静止污染物的检测.然后,通过详细分析机器人视觉受污后的环境感知行为建立轮式移动机器人仿变色龙视觉受污环境感知模型,对基于CBR的视觉受污偶然性规划进行建模,并详细分析视觉受污后CBR的推理过程.最后,设计基于机器人目标跟踪常规规划的视觉受污偶然性规划实验,实验结果显示目标跟踪误差基本介于±15个像素之间,表明在视觉受污情况下跟踪效果良好.     

基于层次分析法语义知识的人脸表情识别新方法

在目前的人脸表情识别系统中,人脸表情的机器识别和人类感知之间存在着本质的差异,造成人脸表情识别率不高。为了减小人脸图像底层视觉特征与高层语义之间的语义鸿沟,提出一种基于层次分析法（AHP）语义知识的人脸表情识别新方法。该方法首先采用层次分析法对训练集中人脸图像进行高层语义描述,建立语义特征向量,在底层视觉特征提取阶段,提出一种二阶PCA（principal component analysis）方法来提取人脸图像的纹理特征;在识别阶段,仅利用输入人脸图像的底层视觉特征,采用K-NN（k-nearest neighbor）算法并结合学习阶段建立的语义特征向量,进行人脸表情分类识别。提出的人脸表情识别方法结合底层视觉特征和高层语义知识,减小了人脸图像底层视觉特征与高层语义之间的语义鸿沟。在JAFFE人脸表情数据库中进行实验,获得了93.92%的平均识别率。理论分析和实验结果表明,与其他的人脸表情识别方法相比,该方法具有更好的识别效果。     

结构感知深度学习的三维形状分类方法

为了解决复杂、海量三维模型的形状识别问题,提出了一种结构感知深度学习的三维形状分类方法.通过联合学习三维模型的几何结构和空间结构,生成具有结构感知的特征向量表示,该特征向量具有更强的识别力与稳定性,在三维形状分类中取得显著的效果.首先,提取优化的多尺度热核特征,并通过CNN学习模型,有效地获取三维形状的几何结构特征;其次,建立多视图卷积学习网络提取三维形状的空间结构特征;最后,通过联合优化学习生成具有结构感知的深度特征表示.文中采用了C++,Matlab,TensorFlow框架实现,并在公开的三维数据库中进行了大量实验,实验结果表明,文中方法获取的深层结构特征对于复杂拓扑结构、大尺度几何形变的三维形状具有稳定性;与相关方法对比,在三维形状分类中具有更高的分类精度.     

基于上下文感知的智能交互系统模型

上下文感知是提高人机交互智能性的重要途径,上下文信息能否在计算过程中真正发挥其作用主要取决于两个方面：一是从交互环境中提取和形成上下文;二是协调控制各种上下文与高层应用之间的通信．文中围绕这两个问题展开讨论,提出了一种上下文感知和调度的策略,并建立了一个基于上下文感知的智能交互系统结构模型．介绍了按照所述策略和模型构建的实例系统,初步证明了其合理性和有效性．     

基于触觉反馈的视觉手虚拟现实交互技术

为提高视觉手虚拟现实交互的效率与精度,引入触觉反馈技术,设计一种针对视觉手的虚拟现实交互技术。首先,利用底层视觉效应进行单元图像在指定范围内的归一化处理,提取多视点手姿态特征;其次,引入触觉反馈技术,根据手势缺陷示意图,利用感知理论提取不同手势下的感知信息;再次,利用矩阵不变效应定义触觉反应单元的阶级矩阵,并检测手势缺陷与指尖空间位置;最后,应用SolidWorks三维建模软件建立视觉手三维实体模型,使用一系列约束、装配语句进行视觉手位姿动作的虚拟现实空间匹配。设计对比实验,证明设计的视觉手虚拟现实交互技术可以缩短界面感知手势所需的时间,提高虚拟现实交互行为的精度。     

采煤机视频压缩感知跟踪方法

针对工作面光照强度低且不均匀、煤尘浓度大等问题,提出了一种采煤机视频压缩感知跟踪方法。该方法首先采用矩形滤波器对图像进行归一化处理,获取特征向量;然后依据压缩感知理论对目标样本和背景样本的Haar-like特征向量进行压缩处理,并基于压缩后的Haar-like特征向量建立目标模型并训练朴素贝叶斯分类器;最后采用朴素贝叶斯分类器识别目标图像和背景图像,实现采煤机动态跟踪。试验结果表明,该方法在采煤机移动、遮挡及环境照度不均匀、快速变化等情况下都能实现有效跟踪,平均跟踪帧速率达22帧/s。     

基于视觉识别的智能翻译机器人人机交互系统研究

为提高智能翻译机器人人机交互的准确率，提出一种基于视觉识别的智能翻译机器人人机交互方法。方法通过采用Faster R-CNN模型提取视觉图像序列特征，并采用图结构表示提取的视觉图像序列特征，然后进行编码-解码，实现了智能翻译机器人的人机交互。仿真结果表明，所提方法提取的视觉图像特征具有较高的准确率，在ImageNet数据集上的准确率均超过80%,在MS COCO数据集上的准确率均超过70%;图结构表示准确率较高，达到80%以上。相较于基于SOTA模型和基于VLN模型的人机交互方法，所提方法无论是使用束搜索还是预搜索进行评估，其加权路径长度和错误率更小，成功率和路径长度加权成功率更高。指令匹配的成功率达到95.42%,识别准确率较高，提出方法具有一定的有效性和优越性，可用于实际智能翻译机器人人机交互。     

基于均值漂移与粒子滤波的手势跟踪算法研究

基于视觉的手势跟踪技术在虚拟现实、人机交互、视觉监控等领域均有着广阔的应用。本文主要研究用于人机交互的手势跟踪,以颜色特征作为目标的表征方式,并结合MeanShift均值移住提出了一种基于颜色直方图的粒子滤波跟踪方法。仿真实验结果表明,本文研究的方法效果较好,能准确的对序列图中的手势进行跟踪。     

基于人眼双目视觉的3D深度运动感知特性研究

获取立体视觉信息是人们感知世界的基本能力之一,其中运动立体视觉信息的获取不仅是生物视觉系统在动态世界中生存的关键能力,也是人工视觉系统高效处理立体视频的重要手段。为了设计出贴合人眼视觉特性的3D深度运动感知模型,需要明确挖掘人类对立体运动感知的显著特征后再设计主观实验。文中根据单目和双目线索设计了立体运动视觉刺激视频,并采用控制变量的方法,分别探究了目标球体运动速度、参考球体旋转半径及被试正确感知的相互关系,并分析了目标运动方向与被试感知方向之间的关系。首先对实验条件进行探究,结果发现目标与参考的相对距离越小拦截成功率越高,该结果表明目标同参考之间的相对位置关系会影响被试的感知正确性。其次,采用了拦截成功百分比和感知偏差两个行为测量标准对被试感知能力进行分析,结果发现相比横向运动,深度运动正确感知的成功率超出约42.67%～47.01%。这表明不同运动方位的感知不对称,且深度运动带来的视觉刺激更明显。该研究探索了人类对运动感知的显著特征,并为后续设计3D运动感知模型提供了一种新的判断模型感知效果的主观对比标准,使原有立体感知能力的指标更加细化。     

双感知门控交互的多任务推荐模型

针对多任务推荐中存在负迁移的问题,提出一种双感知门控交互的多任务推荐模型（DPGI-MTRM）。首先,在多任务共享网络和专有网络中,创新性地设计了双感知特征提取模块（称为双感知专家层）,其作用是对输入特征得到元素级和向量级的双感知特征表示。其次,在门控网络的基础上提出了任务交互层,对经过门控网络输出的特征进行交互计算提取任务之间的高级语义相关性,同时采用残差方式加上原始输入门控的特征向量减少任务交互可能带来的噪音干扰。最后,通过堆叠双感知专家层、门控交互层,连接特定任务的神经网络输出层得到双感知门控交互的多任务推荐模型。此外,在模型训练时使用了梯度归一化的多目标优化方法,使该模型更好地收敛。在Census-income、Synthetic Data和Ali-CCP数据集上进行实验,采用AUC和MSE指标进行评估,实验结果表明,提出的模型表现优于其他基准模型,达到较为先进的性能。     

基于协同感知的视觉选择注意计算模型

鉴于在任务相关的视觉注意中,需要建立基于任务的视觉注意显著图来引导视觉注意,为此利用与人认知过程相接近的协同感知理论来研究基于任务的视觉注意计算模型,即首先利用协同识别理论研究二义及多义模式的视觉感知,得到协同视觉感知理论;然后将协同视觉感知中的模式与从视觉注意模型中提取的底层视觉特征相对应,利用偏置矩阵的性质计算底层视觉特征间受任务影响而产生的偏置,再由此偏置和底层视觉特征生成基于任务的视觉注意显著图;最后提出了基于协同感知理论的视觉选择注意计算模型。该算法用于基于任务的视觉搜索的实验结果表明,该算法是有效的,在认知上是合理的。     

类属图密集近邻搜索的视觉跟踪算法研究

提出一种基于密集近邻搜索的视觉跟踪算法,能够有效应对目标跟踪过程中出现的形变和遮挡问题.基于马尔科夫随机场建立图像分割模型,提取出目标部件,建立目标部件的类属图矩阵;通过搜索类属图矩阵中的密集近邻,得到相邻帧之间目标部件的匹配关系;通过匹配关系得到跟踪目标位置概率图,确定目标跟踪位置.实验结果表明:本文提出的方法相比其他同类方法效果更好.     

基于分离式标签协同学习的YOLOv5多属性分类

针对图像分类任务中卷积网络提取图像细粒度特征能力不足、多属性之间的依赖关系无法识别的问题,提出一种基于YOLOv5的车辆多属性分类方法 Multi-YOLOv5。该方法设计了多头非极大值抑制(Multi-NMS)和分离式标签损失(Separate-Loss)函数协同工作机制实现车辆的多属性分类任务,并采用卷积块注意力模块(CBAM)、SA(Shuffle Attention)和CoordConv方法重构了YOLOv5检测模型,分别从提升多属性特征能力提取、增强不同属性之间的关联关系、增强网络对位置信息的感知能力三方面提升模型对目标多属性分类的精准性。在VeRi等数据集上进行了训练与测试,实验结果表明,与基于GoogLeNet、残差网络(ResNet)、EfficientNet、ViT(Vision Transformer)等的网络结构相比,Multi-YOLOv5方法在目标的多属性分类方面取得了较好的识别结果,在VeRi数据集上,它的平均精度均值(mAP)达到了87.37%,较上述表现最佳的方法提高了4.47个百分点,且比原YOLOv5模型具有更好的鲁棒性,能为密集环境下的交通目标感知...     

虚拟现实综述

虚拟现实是人类在探索自然过程中创造形成的一种用于认识自然、模拟自然,进而更好地适应和利用自然的科学方法和技术.文中在分析虚拟现实全过程的基础上,给出虚拟现实问题的不同分类及一种理论表达,并抽象出虚拟现实领域的三大科学技术问题类;在此基础上从虚拟现实中的建模方法、虚拟现实表现技术、人机交互及设备、虚拟现实开发平台与支撑环境和虚拟现实应用等几个方面论述了虚拟现实当前的主要研究目标、研究成果和发展趋势;最后指出虚拟现实需要进一步致力研究解决的若干理论和技术问题.     

结合个性化建模和深度数据的三维人体姿态估计

利用深度传感器估计三维人体姿态是计算机视觉领域的一个重要问题,在人机交互、虚拟现实和动画设计等领域有重要的应用价值.针对该问题的主流方法是自底向上的方法,这类方法一般采用分类、回归或检索技术,可以直接从深度数据中估计三维肢体姿态,在人机交互中得到了很广泛的应用.但是这类方法依赖于大规模的姿态数据库,而且结果不够精确.本文提出一种结合个性化人体建模和深度数据的三维姿态估计方法,首先对运动对象建立三维虚拟人模型,然后利用该个性化的虚拟人模型与深度数据之间的点匹配关系构造姿态优化的目标函数,通过迭代优化目标函数,估计出与深度数据相吻合的三维姿态.与传统方法相比,本文方法不需要任何姿态数据库.实验表明,本文方法得到的结果更加精确.     

基于门控图卷积网络和协同注意力的视觉问答

经典的视觉注意力模型缺乏视觉对象间空间关系的推理能力,忽略了图像和问题文本之间的密集语义交互,导致在预测答案过程中对噪声的处理能力不足。针对上述问题,提出了一种基于门控图卷积网络和协同注意力的视觉问答模型。该模型基于图像中视觉对象之间的相对空间位置构建空间关系图;同时以问题为引导,在图卷积网络的基础上增加门控机制,能够动态控制具有不同空间关系的邻居对节点的贡献程度;然后将问题的词特征和带有空间关系感知能力的视觉特征输入双向引导的协同注意力模块,共同学习它们之间的密集语义交互。在VQA2.0数据集进行实验,结果表明：该模型具有较强的显式关系推理能力,在test-std测试集的总体准确率为70.90%,优于该数据集上的经典模型,有效地提升了视觉问答的准确率。     

自然图像中目标轮廓上显著边缘检测的计算模型

如何模拟人类视觉感知系统的感知过程,建立一个鲁棒性较好、无监督的自然图像中目标轮廓上显著边缘检测的计算模型是文中要讨论的问题。首先确定自然图像中目标所在的子区域。然后通过分析纹理以及颜色等低级视觉特征得到一组潜在的轮廓边缘,对这些潜在的轮廓边缘进行闭合性分析,建立各条潜在边缘之间闭合关系的图模型。最后通过最短路径找出最优的轮廓上的显著边缘。将该模型用于多幅自然图像,实验效果较好。该模型在生物学上的合理性也得到验证。