多尺度特征与知识图谱融合的景区手写诗词识别

针对景区手写诗词存在背景纹理复杂、字体尺寸及风格多样等特点导致景区游客难以识别手写诗词的问题,首先,分析研究景区手写诗词的识别场景,设计景区诗词检测网络(detection of poetry in scenic areas-network, DPSA-Net)以提取景区手写诗词不同尺度的特征,并结合手写诗词字符间的链接依赖关系实现景区手写诗词检测;其次,设计了卷积循环聚合网络(convolution recurrent aggregation network, CRA-Net)以对景区手写诗词进行识别,结合卷积神经网络(convolutional neural networks, CNN)和双向长短期记忆网络提取手写诗词图像的序列特征,并通过聚合交叉熵(aggregation cross-entropy, ACE)实现特征向文本的转换;最后,结合景区知识图谱对CRA-Net的输出进行校正,进而提高景区手写诗词的识别准确率。实验结果表明,通过景区手写诗词矫正技术对CRA-Net的识别结果矫正后,识别准确率达到了79.04%,同时,该技术具有较好的抗干扰能力和良好的应用前景。     

基于长短时记忆和深度神经网络的视觉手势识别技术

针对基于视觉的动态手势识别易受光照、背景和手势形状变化影响等问题,在分 析人体手势空间上下文特征的基础上,首先建立一种基于人体骨架和部件轮廓特征的动态手势 模型,并采用卷积姿势机和单发多框检测器技术构造深度神经网络进行人体手势骨架和部件轮 廓特征提取。其次,引入长短时记忆网络提取动态人体手势中骨架、左右手和头部轮廓的时序 特征,进而分类识别手势。在此基础上,设计了一种空间上下文与时序特征融合的动态手势识 别机(GRSCTFF),并通过交警指挥手势视频样本库对其进行网络训练和实验分析。实验证明, 该系统 可以快速准确识别动态交警指挥手势,准确率达到94.12%,并对光线、背景和手势形 状变化具有较强的抗干扰能力。     

基于双特征匹配层融合的步态识别方法

步态识别是根据人类走路的姿态来进行远距离的身份识别。针对轮廓不完整的图 像和关键帧容易造成部分信息丢失而引起的识别率下降问题,提出一种基于双特征匹配层融合 的步态识别方法。步态既有静态图像特征,又有动态速度变化特征,因此本文提出用匹配层融 合方法将静态的 Hu 矩 6 个不变矩特征和动态的帧差百分比特征融合后进行步态身份识别。首 先对一个周期内的归一化步态图像进行 Hu 矩特征以及帧差百分比的特征提取,将 Hu 矩 6 个不 变矩特征描述成一个特征向量,然后运用匹配层融合算法对 2 个特征进行融合;最后使用 K 近 邻分类器进行身份识别。实验表明,该方法较单一方法能够有效地提高步态识别正确率。