多模态特征融合与词嵌入驱动的三维检索方法

在基于点云和图像的三维模型分类检索中,现有特征融合方法忽略了模态内的特征信息和模态间的互补信息,存在融合特征丢失的问题,且分类标签和预测特征之间缺乏高维相关性,检索准确率较低。针对该问题,提出一种多模态特征和词嵌入联合驱动的网络结构,以对三维模型进行分类检索。在特征提取过程中,利用特征提取器提取来自点云和视图的三维模型特征,通过共享空间来对齐不同模态的特征。在模态融合过程中,计算不同模态之间的余弦相似度以增强模态特征,将增强特征进行拼接得到融合特征。在模型特征分类的过程中,通过建立词嵌入模型与分类标签的高维相关性实现三维模型特征的统一表示和分类检索。在ModelNet10和ModelNet40数据集上进行实验,结果表明,该网络的平均检索精度均值分别达到92.9%和91.5%,可以获取精准的三维模型特征描述符,与VoxNet、SCIF、MVCNN等检索方法相比,其能显著提高三维模型的检索精度和分类准确率。     

多点触控的沙画手势识别

针对多点触控手势间接指令问题,提出了基于多点触控的沙画手势识别系统,该识别系统由时间、空间、形状信息控制。提出一种手势图形建模方法,测量手势的笔划之间的空间和时间关系。采用聚类算法标记手势图形中笔划的形状信息作为局部形状特征;利用基准方法HBF49特征提取全局形状特征。通过一组有10种不同多点触控的沙画手势的数据集评估基于多点触控的沙画手势识别系统,使用图嵌入方法和SVM分类进行手势识别,识别的准确率达到94.75%。实验结果证明,此研究对完成基于多点触控的沙画虚拟系统有重要作用。     

基于全局双线性注意力的红外视频行为识别

针对红外视频缺少纹理细节特征以致在人体行为识别中难以兼顾计算复杂度与识别准确率的问题,提出一种基于全局双线性注意力的红外视频行为识别方法。为高效计算红外视频中的人体行为,设计基于两级检测网络的关节点提取模块来获得人体关节点信息,创新性地将所形成的关节点三维热图作为红外视频人体行为识别网络的输入特征;为了在轻量化计算的基础上进一步提升识别准确率,提出一种全局双线性注意力的三维卷积网络,从空间和通道两个维度提升注意力的建模能力,捕获全局结构信息。在InfAR和IITR-IAR数据集上的实验结果表明,该方法在红外视频行为识别中的有效性。     

多视角下的改进ICP算法

在逆向工程中,为处理庞大的三维点云数据,重建物体的表面,提出一种基于多视角的改进ICP算法。通过采集多视角下的点云数据,利用Delaunay三角剖分以及深度值信息对相邻两组点云的重合部分进行提取,根据三角面片重心与待测物体重心之间的距离将获得的点云数据进行分类配准,计算最优的旋转矩阵与平移向量,提高ICP算法的效率。实验结果表明,该算法能够提高配准精度,缩短配准时间,具有良好的稳定性。     

三维人手关节点的提取研究

近年来,以计算机为载体的人机交互愈发成为人们日常生活中的一个重要组成部分,人手作为仅次于语言的交流方式,有着不可或缺的作用,在人机交互中作为主要媒介有着重要的研究价值;针对在三维手势的多样性问题,在关节点的提取上基于特征匹配提出了一种新的关节点提取研究方法:跨维匹配-即二维数据与三维数据之间的匹配;在立体视觉手势交互的基础上,算法首先用kinect相机采集带有关节点标记的彩色图像和三维点云,然后通过特征点提取,获得手势点云指尖部分的坐标,最后进行匹配得到手势关节点的三维坐标;实验表明采用该方法来提取人手的关节点是可行的,并且在手势关节点的提取效果上也很精确,对研究手势的多样性有着非常重要的作用。     

基于多尺度双通道网络的人脸活体检测

人脸活体检测在人脸识别系统的安全保护中发挥着重要作用。现有基于频率域处理人脸活体检测问题的方法是从高频信息中提取边缘和纹理信息,进而获取伪造痕迹特征,但是频域方法对光照环境和传感器采集设备变化的适应性差,鲁棒性较差。针对该问题,提出了基于多尺度双通道神经网络的人脸活体检测方法,构建了频率域通道和空间域通道,分别从频率域图像和RGB图像中提取多尺度频率域特征和多尺度空间域特征,并采用注意力机制进行双通道的特征融合,增强了网络的特征提取能力。与同类方法相比,本文方法在Oulu-NPU和Siw数据集上的检测错误率最低,并且在Idiap Replay Attack数据集上的准确率可达99%以上,验证了本文所提出的多尺度双通道网络的有效性和鲁棒性。     

基于对象的XML知识表示方法

目的 为智能系统寻求一种较好的知识表示方法。方法 分析现有的各种知识表示方法，尤其是面向对象表示法和XML的知识表示方法。结果提示了基于对象的XML知识表示方法。结论 基于对象的XML知识表示方法将在知识表示中占据重要地位。     

软件工程课程体系教学模式的探索与改革

针对目前软件工程人才培养与社会需求脱节的问题,分析了软件工程课程教学中教学内容陈旧、实践环节薄弱、师资水平低下等突出问题,提出以市场需求为导向、更新教学内容、优化教学手段、改革实践教学模式、加强师生交流、促进师生共同提高的教学改革思路,并进行了积极的探索,取得了预期的效果。