基于双分支特征融合的场景文本检测方法

现有的基于深度学习的自然场景文本检测方法一般采用大型深度神经网络作为主干网络进行特征提取,虽然效果显著但检测模型十分庞大,检测效率较低,若直接将主干网络换成轻量型网络则不能提取出足够的特征信息,直接导致检测效果大幅降低.为了降低文本检测模型的规模以及更为高效地检测文本,提出基于双分支特征融合的场景文本检测方法,在采用相...     

基于增强特征融合网络的行人再识别

针对行人再识别问题,目前多数方法将行人的局部或全局特征分开考虑,从而忽略了行人整体之间的关系,即行人全局特征和局部特征之间的联系。本文提出一种增强特征融合网络(enhanced feature convergent network,EFCN)。在全局分支中,提出适用于获取全局特征的注意力网络作为嵌入特征,嵌入在基础网络模型中以提取行人的全局特征;在局部分支中,提出循环门单元变换网络(gated recurrent unit change network,GRU-CN)得到代表性的局部特征;再使用特征融合方法将全局特征和局部特征融合成最终的行人特征;最后借助损失函数训练网络。通过大量的对比实验表明,该算法网络模型在标准的Re-ID数据集上可以获得较好的实验结果。提出的增强特征融合网络能提取辨别性较强的行人特征,该模型能够应用于大场景非重叠多摄像机下的行人再识别问题,具有较高的识别能力和识别精度,且对背景变化的行人图像能提取具有较强的鲁棒性特征。     

基于特征融合的遮挡行人重识别方法

行人重识别是一项解决跨场景跨摄像头下的行人识别问题的技术。当障碍物遮挡行人的某些部位时,人物结构的完整性会被破坏,影响识别效果或难于识别。针对行人重识别的遮挡问题,提出了一种新的遮挡行人重识别方法,引入关系感知全局注意力机制,融合全局特征和局部特征来进行行人重识别。识别方法的主要组成部分包括局部分支、全局分支和特征融合分支等。局部分支通过遍历局部特征来增强鲁棒性;全局分支通过利用关系感知全局注意力来挖掘行人显著性的信息;特征融合分支通过自适应地生成特征权重,利用加权求和的方式来融合全局特征和局部特征。实验验证了所提方法的有效性,并且有效提升了行人重识别的效果。     

基于全局与局部特征融合的人脸识别方法

针对现有预处理算法存在的缺陷及单一人脸特征在识别中的局限性,本文在基于双眼独立动态阈值的人脸预处理方法的基础上,研究全局特征PCA、2DPCA与局部特征LBP、Gabor,分析对比这几种特征的识别效果及适用情况;根据对这几种特征的研究分析,采用特征融合的方式对PCA和LBP特征进行融合;实验结果验证了在ORL库和ESSEX库上采用决策级融合的识别率优于特征级融合及单一特征的识别率。      

融合全局与局部特征的贝叶斯人脸识别方法

针对人脸识别特征提取阶段中的数据降维方法往往难以兼顾保持全局与局部特征信息的问题，以及匹配识别阶段贝叶斯分类器中小样本问题，提出了一种融合全局与局部特征的贝叶斯人脸识别方法。该方法通过核主元分析提取出人脸数据的全局非线性特征，并在此基础上通过正交化局部敏感判别分析挖掘出人脸数据的局部流形结构信息，以达到提取出具有高判别力低维本质人脸特征的目的；采用一种最大信息量协方差选择的方法，来对协方差矩阵进行估算，以解决贝叶斯分类器设计中的小样本问题。在ORL、AR、 YALE、FLW人脸库上设计实验来进行验证。结果表明，提出的特征提取算法以及对贝叶斯分类器的改进取得了比较好的效果，通过对这两个阶段的优化，可以显著提升人脸识别的效果。     

多特征局部与全局融合的人脸识别方法

提出一种在分数层上对全局和局部特征进行融合的人脸识别方法。全局特征由不同局部描述算子对整幅人脸图像进行运算产生,局部特征按空间位置的不同划分由直接抽取全局特征的子集构成。根据实际应用中对人脸识别系统速度和精度的不同要求,给出2种融合策略组合全局和局部特征。在FRGC v2.0大规模人脸库上的实验结果表明,该方法在增加少量运算的条件下能使系统性能明显提升。     

基于特征融合和流形增强的视频人脸识别

提出一种在视频环境下的人脸识别算法(FFME)。将人脸划分为不同的区域,并融合针对人脸不同区域变化特点的不同类型局部特征,建立K-NN模型,根据sum rule划分人脸分类,利用流形建立参考人脸图集,以此重排分类结果,增强人脸识别准确率。在视频人脸数据库Mobo数据集和Honda/UCSD数据集上的实验结果表明,FFME的识别性能优于主成分分析、线性鉴别分析、隐马尔科夫模型、局部线性嵌入,以及流形距离等方法。     

基于生成对抗网络与特征融合的多尺度音频序列生成方法

音频数据规模不足是语音识别过程中的一个常见问题,通过较少的训练数据训练得到的语音识别模型效果难以得到保证。因此,提出一种基于生成对抗网络与特征融合的多尺度音频序列生成方法(multi-scale audio sequence GAN,MAS-GAN),包含多尺度音频序列生成器和真伪—类别判别器。生成器通过3个上采样子网络学习音频序列不同时域和频域的特征,再将不同尺度的特征融合成伪音频序列;判别器通过辅助分类器将生成的伪数据和真实数据区分开,同时指导生成器生成各类别的数据。实验表明,与目前主流的音频序列生成方法相比,所提方法的IS和FID分数分别提高了6.78%和3.75%,可以生成更高质量的音频序列;同时通过在SC09数据集上进行分类实验来评估生成音频序列的质量,所提方法的分类准确率比其他方法高2.3%。     

基于特征融合的文本到图像的生成

近年来,基于生成对抗网络(Generative Adversarial Network,GAN)从文本描述中合成图像这一具有挑战性的任务已经取得了令人鼓舞的结果.这些方法虽然可以生成具有一般形状和颜色的图像,但通常也会生成具有不自然的局部细节且扭曲的全局图像.这是因为卷积神经网络在捕获用于像素级别图像合成的高级语义信息...     

一种特征加权融合人脸识别方法

针对传统人脸识别算法在非限制条件下识别准确率不高的问题,提出了一种特征加权融合人脸识别方法(DLWF⁺)。根据人脸面部左眼、右眼、鼻子、嘴、下巴等5个器官位置,将人脸图像划分成5个局部采样区域;将得到的5个局部采样区域和整幅人脸图像分别输入到对应的神经网络中进行网络权值调整,完成子网络的构建;利用softmax回归求出6个相似度向量并组成相似度矩阵与权向量相乘得出最终的识别结果。经ORL和WFL人脸库上进行实验验证,识别准确率分别达到97%和91.63%。实验结果表明:该算法能够有效提高人脸识别能力,与传统识别算法相比在限制条件和非限制条件下都具有较高的识别准确率。     

基于双分支时空步态特征融合的深度学习步态识别

针对现有步态识别方法易受拍摄视角、着装变化影响的问题,提出一种融合二维无肩姿态拓扑能量图(shoulderless pose topological energy maps, SPTEM)和三维局部骨骼步态特征(local skeleton gait features, LSGF)的深度学习步态识别方法.首先,利用轻量级BlazePose姿态估计算法提取步态视频序列中的人体姿态拓扑图以生成SPTEM,在提高检测速度的同时减弱衣物变化带来的影响;然后,引入LSGF以弥补单一能量图特征在多变视角情况下识别准确率较低的不足;最后,提出结合注意力机制的时空特征提取网络模型,并在全连接层将双流特征进行一致融合.在CASIA-B数据集上对所提出方法进行验证,并与当前主流的步态识别方法进行比较,结果表明,所提出方法在跨视角和穿大衣/棉衣条件下的步态识别率都有明显提升.     

融合局部特征和全局特征的手指静脉识别方法

手指静脉识别是利用人体手指静脉结构的唯一性实现个体身份认证,具有高度安全和使用便捷等优点。为了进一步提高手指静脉识别系统的性能,提出了一种融合局部特征和全局特征的手指静脉识别方法。应用局部二元模式方法提取手指静脉局部特征,利用海明距离计算匹配得分;应用双向两维主成分分析方法提取手指静脉全局特征,利用欧式距离计算匹配得分;在得分级上融合二者的匹配得分以产生识别结果。实验结果表明,局部特征与全局特征具有较好的互补性,有效地提高了识别精度。     

基于双分支网络特征融合的车辆重识别方法

车辆重识别目的是通过不同的摄像机来识别同一辆车.但是由于车辆图像类内差异性大、类间相似性大,使得车辆重识别成为一个极具挑战性的任务.本文提出了一个基于双分支网络特征融合的车辆重识别方法来解决这一问题.该方法使用2个分支和批擦除策略提取并融合全局特征和局部特征,以突出车辆图像的类内相似性和类间差异性;并且采用圆损失代替传...     

基于全局与局部特征融合的人脸识别

由于全局特征与局部特征在人脸识别中的不同作用及结合的必要性,提出基于2DLDA全局特征与LBP局部特征加权融合算法,并在ORL库及光照子集、表情子集、姿态子集四个实验库上讨论融合算法对复杂光照、表情、姿态的鲁棒性.实验结果验证两种特征的互补性和融合算法的有效性.     

局部与全局双重特征融合的自然场景文本检测

自然场景中文本的形状、方向和类别等变化丰富,场景文本检测仍然面临挑战.为了能够更好地将文本与非文本分隔并准确定位自然场景图像中的文本区域,本文提出一种局部与全局双重特征融合的文本检测网络,通过跳跃连接的方式实现多尺度全局特征融合,对恒等残差块进行改进实现局部细粒度特征融合,从而减少特征信息丢失,增强对文本区域特征提取力...     

一种基于图的特征选择方法

在很多的机器学习和数据挖掘任务中,特征子集选择是重要的数据预处理步骤之一。提出一种基于图方法的无监督式特征选择方法（GBFS）,构造一个以样本数据为顶点,数据间相似性作为边的图,再根据各特征的得分优先选择那些具有局部信息保持和全局区分能力的特征。实验结果表明,基于该方法选择的特征子集,在大多数情况下都能取得较好的分类效果。     

融合图像场景与目标显著性特征的图像描述生成方法

图像描述生成是图像人工智能领域的重要研究方向之一.现有方法大多仅使用单一图像特征,导致无法完全描述图像中多个目标或者无法准确表达目标间的关系.提出方法通过场景特征解码模块和目标显著性特征解码模块分别对图像场景特征和目标显著性特征进行解码,并将解码后的两种特征进行融合,实现图像目标属性与目标间关系的信息互补.在MSCOCO数据集上进行实验,结果相较于基准方法有一定的提升,表明该模型对图像内容的描述更加准确和完善,对图像信息表达更加丰富.     

基于多姿态特征融合生成对抗网络的人脸校正方法

针对人脸校正中单幅图像难以解决大姿态侧脸的问题，提出一种基于多姿态特征融合生成对抗网络（MFFGAN）的人脸校正方法，利用多幅不同姿态侧脸之间的相关信息来进行人脸校正，并采用对抗机制对网络参数进行调整。该方法设计了一种新的网络，包括由多姿态特征提取、多姿态特征融合、正脸合成三个模块组成的生成器，以及用于对抗训练的判别器。多姿态特征提取模块利用多个卷积层提取侧脸图像的多姿态特征；多姿态特征融合模块将多姿态特征融合成包含多姿态侧脸信息的融合特征；而正脸合成模块在进行姿态校正的过程中加入融合特征，通过探索多姿态侧脸图像之间的特征依赖关系来获取相关信息与全局结构，可以有效提高校正结果。实验结果表明，与现有基于深度学习的人脸校正方法相比，所提方法恢复出的正脸图像不仅轮廓清晰，而且从两幅侧脸中恢复出的正脸图像的识别率平均提高了1.9个百分点，并且输入侧脸图像越多，恢复出的正脸图像的识别率越高，表明所提方法可以有效融合多姿态特征来恢复出轮廓清晰的正脸图像。     

基于多特征融合过滤的对话文本摘要生成研究

原始对话中存在的较多无用信息会干扰模型对重要信息的关注。为此,提出一种基于多特征融合过滤的对话摘要模型,通过自适应地融合多种语义特征来过滤无用信息,实现更加准确的摘要生成。在对话摘要数据集CSDS上的实验结果表明,与先进的BART、MV-BART和BART(DALL)等模型相比,该方法在ROUGE分数上最高可提升2.89%。