基于改进AP聚类算法的人脸标注技术研究

利用网络新闻图像以及与图像相关的文字说明构造一个有人名标注的人脸库.人脸库中的人脸通过对新闻图像进行人脸检测得到,人名从与图像相关的文字说明中提取得到.通过一个聚类过程得到人脸与人名之间的对应关系,并通过一个合并聚类的过程可以识别出同一个人的不同名字.对AP聚类算法进行改进,实验表明相比于k-means与AP算法,改进的AP聚类算法能充分利用网络新闻图文互补的特性,从而得到更准确的人脸与人名对应关系.     

一种结合Seam Carving和人脸检测的人像缩放算法

人脸是人物图像中的重要特征区域.针对应用Seam Carvng算法缩放人物图像后造成人脸畸变的现象,提出了一种结合人脸检测的人物图像缩放算法.首先识别图像中的人脸区域,其次在使用Seam Carving算法缩放图像的过程中提高梯度图中人脸区域的梯度值,防止低能量线穿越人脸区域,进而达到在缩放图像的同时保持人脸特征的目的.实验结果表明,该算法实现非等比缩放人物图像的同时有效保护了人脸区域,提升了缩放后的图像质量.     

弱对齐的跨光谱人脸检测

跨光谱人脸检测在活体人脸识别、体温筛查等领域有着重要的应用价值.众所周知,可见光人脸易于检测,然而红外人脸难于检测,因此借助可见光图像的人脸检测结果进而完成红外人脸检测是一种有效的解决方案.但是跨光谱图像之间不可避免的存在偏差,导致检测精度不高.为了解决这一问题,提出了一种弱对齐跨光谱图像的人脸检测算法,该方法基于跨光谱图像之间的偏差设计了候选框布置策略,并在此基础上提出了跨光谱特征表示方法用于选取最优候选框.此外,本文还构建了一个跨光谱人脸数据集.最后,在跨光谱人脸数据集和OTCBVS人脸数据集上的实验结果证明,该方法能够较好地完成红外图像人脸检测任务.     

面向跨模态行人重识别的单模态自监督信息挖掘

目的 在智能监控视频分析领域中,行人重识别是跨无交叠视域的摄像头匹配行人的基础问题。在可见光图像的单模态匹配问题上,现有方法在公开标准数据集上已取得优良的性能。然而,在跨正常光照与低照度场景进行行人重识别的时候,使用可见光图像和红外图像进行跨模态匹配的效果仍不理想。研究的难点主要有两方面:1)在不同光谱范围成像的可见光图像与红外图像之间显著的视觉差异导致模态鸿沟难以消除;2)人工难以分辨跨模态图像的行人身份导致标注数据缺乏。针对以上两个问题,本文研究如何利用易于获得的有标注可见光图像辅助数据进行单模态自监督信息的挖掘,从而提供先验知识引导跨模态匹配模型的学习。方法 提出一种随机单通道掩膜的数据增强方法,对输入可见光图像的3个通道使用掩膜随机保留单通道的信息,使模型关注提取对光谱范围不敏感的特征。提出一种基于三通道与单通道双模型互学习的预训练与微调方法,利用三通道数据与单通道数据之间的关系挖掘与迁移鲁棒的跨光谱自监督信息,提高跨模态匹配模型的匹配能力。结果 跨模态行人重识别的实验在“可见光—红外”多模态行人数据集SYSU-MM01(Sun Yat-Sen University Multi...     

基于聚类的人脸图像检索及相关反馈

提出了一种基于聚类的人脸图像检索算法. 首先利用归一化分割(Normalized cuts, NCuts)在每个时间段内分别对人脸聚类, 使同一个人在不同情况下的人脸图像聚为一类. 其次采用连续AdaBoost算法学习得到的人脸识别分类器度量人脸之间的相似度, 并进一步提出查询人脸与人脸聚类之间的相似度用于检索. 为了进一步提高性能, 用户可以在线标定错检和漏检的结果, 相关反馈环节把用户的交互标定结果作为约束条件重新对人脸聚类. 本文把人脸图像检索算法应用于自动的检索系统中, 在包含超过一千张人脸图像的家庭数码相册上, 通过与其他方法的对比实验证明了基于聚类的人脸图像检索算法是有效的.     

基于语义人脸的视频新闻标注

视频和图像中的人脸蕴涵了丰富的语义信息，可以使用人脸对视频内容进行分析与标注，尤其是视频新闻节日。而要达到这样的目的，就必须先将对视频新闻具有语义价值的人脸从视频流中检测出来。本文提出基于语义人脸捡测的视频新闻语义聚类与标注算法：在这个算法中，首先使用肤色模型检测人脸可能出现区域，然后提取人脸可能区域的独立成分特征，用训练好的支持向量机检测出所有人脸，套用语义人脸模板过滤出最终的语义人脸集合，最后通过高斯混合聚类，将视频新闻标注为主持人镜头、访谈类新闻镜头和其他新闻故事镜头三类。实验表明，该算法在视频新闻结构化中可以得到较好的应用。     

基于主动学习的人脸标注研究

在大数据时代,图片数量非常巨大,但是具有标签的图片非常少。在学习和研究中,常常需要分类标注图片,而大部分图片都是与人脸相关的,因此人脸标注成为 了一种进行图片分类标注的有效方法,但人工标注的成本较大。针对有标签图片数量较少以及人工标注成本较大的问题,提出了在主动学习算法的基础上建立计算人脸类标签后验分布的判别模型的方法。该方法基于马尔可夫随机场和高斯过程,考虑到了样本位置、特征的客观联系,在样本之间加入了匹配约束和非匹配约束,匹配约束表示样本之间具有相同的类标签,非匹配约束表示样本之间具有不同的类标签。实验结果表明,根据判别模型得到的类标签后验分布选择样本进行人工标注,大大提高了分类器的精确度。     

深度双模态源域对称迁移学习的跨模态检索

基于深度网络的跨模态检索经常面临交叉训练数据不足的挑战,这限制了训练效果并容易导致过拟合。迁移学习在源域中训练数据的知识迁移学习到目标域中,能有效解决训练数据不足的问题。然而,现有的大部分迁移学习方法致力于将知识从单模态（如图像）源域迁移到多模态（如图像和文本）目标域,而如果源域中已存在多种模态信息,这样的非对称迁移会忽略源域中包含的潜在的模态间语义信息;同时这些方法不能很好地提取源域与目标域中相同模态的相似性,进而减小域差异。因此,提出一种深度双模态源域对称迁移学习的跨模态检索（DBSTL）方法。该方法旨在实现从双模态源域到跨模态目标域的知识迁移,并获得跨模态数据的公共表示。DBSTL由模态对称迁移子网和语义一致性学习子网构成。模态对称迁移子网采用混合对称结构,在知识迁移过程中,使模态间信息具有更高的一致性,并能减小源域与目标域间的差异;而语义一致性学习子网中,所有模态共享相同的公共表示层,并在目标域的监督信息指导下保证跨模态语义的一致性。实验结果表明,在Pascal、NUS-WIDE-10k和Wikipedia数据集上,所提方法的平均精度均值（mAP）较对比方法得到的最好结果分别提...     

基于语义关系图的跨模态张量融合网络的图像文本检索

跨模态图像文本检索的难点是如何有效地学习图像和文本间的语义相关性。现有的大多数方法都是学习图像区域特征和文本特征的全局语义相关性或模态间对象间的局部语义相关性,而忽略了模态内对象之间的关系和模态间对象关系的关联。针对上述问题,提出了一种基于语义关系图的跨模态张量融合网络（CMTFN-SRG）的图像文本检索方法。首先,采用图卷积网络（GCN）学习图像区域间的关系并使用双向门控循环单元（Bi-GRU）构建文本单词间的关系;然后,将所学习到的图像区域和文本单词间的语义关系图通过张量融合网络进行匹配以学习两种不同模态数据间的细粒度语义关联;同时,采用门控循环单元（GRU）学习图像的全局特征,并将图像和文本的全局特征进行匹配以捕获模态间的全局语义相关性。将所提方法在Flickr30K和MS-COCO两个基准数据集上与多模态交叉注意力（MMCA）方法进行了对比分析。实验结果表明,所提方法在Flickr30K测试集、MS-COCO1K测试集以及MS-COCO5K测试集上文本检索图像任务的Recall@1分别提升了2.6%、9.0%和4.1%,召回率均值（mR）分别提升了0.4、1.3和0.1个百分点,可见该方法能有效提升图像文本检索的精度。     

基于特征点加细的多分辨率人脸形变模型及人脸建模

提出基于特征点加细的原型三维人脸对应方法建立多分辨人脸形变模型,并根据该形变模型的特点使用多分辨模型匹配方法由单张正面人脸图像进行三维人脸建模。该方法以人脸模型上的眼、眉、口、鼻等主要几何特征为基准点标注基础网格,然后通过加细特征点网格完成原型人脸之间的对应,进而建立多分辨率的形变模型;根据形变模型的构造特点,把待匹配图像按照与模型相同方式进行加细,然后进行多分辨的人脸模型匹配。实验结果表明,新的对应算法可以有效地实现原型三维人脸之间的对应,能够克服传统的光流对应算法对应效果差,算法精度低的缺陷,提高形变模型的精度。新的匹配算法不仅能够加速模型的匹配速度,而且可提高模型匹配的效率和精度,缩短模型匹配的时间。     

基于仿射模板匹配的多角度单人脸定位

提出了一种基于仿射模板匹配的多角度人脸定位算法,用平均脸作为基模板,经由不同的伸缩比例和旋转角度构成的仿射变换生成各种姿态的模板,并将模板分为双眼模板和人脸模板对,首先使用以眼模板搜索符合眼睛的区域,再用整个人脸模板匹配进上步检验是否符合人脸模式,并利用马赛克规则验证,给出最佳匹配作为人脸位置,对包含１４４幅图像和６０幅图像的两上图像库的定位准确率分别达到７９．２％和８５％,表明该算法的有效性。     

基于公理模糊集与粒计算的人脸语义提取方法

在人脸检索和验证领域,人类更倾向于通过描述对象特征的“语义”或“概念”来对人脸进行相似性判别,而传统的图像检索已无法满足这一需求。因此,本文提出了一种基于公理模糊集(axiomatic fuzzy sets, AFS)与信息粒的人脸语义提取方法(IAFSGD)。首先,对人脸图像进行校正并检测人脸关键点,进而基于关键点提取人脸特征;然后,对人脸面部特征样本进行聚类,构建类中心,在AFS框架下求取每类的信息粒,并通过得到的信息粒对人脸图像再次进行分类,从而得到最终的聚类结果和具有可解释性的面部语义描述;最后,将本文提出的算法在Multi-PIE、AR、FEI人脸数据库进行实验验证。实验结果表明,与FCM(fuzzy c-means)、CAN(clustering with adaptive neighbors)、FCMGD、AFSGD、KTM(K-means tree)算法相比,本文提出的语义提取方法可以获得与人类感知更为接近的聚类结果,且结果具备很好的可解释性。     

基于注意力机制的TAI-CNN图文跨模态情感分类方法

以往的情感分类大多集中在单模态上,然而多模态的情感信息之间往往具有互补性,针对目前使用单模态做情感分类不能全面捕捉情感语义且存在忽视具有重要特征的情感信息等问题,提出一种基于注意力机制的TAI-CNN图文跨模态情感分类方法.构建TCNN文本情感分类模型和ICNN图像情感分类模型,采用最大值图文决策级融合方法来构建图文跨模态情感分类模型.实验证明,图文跨模态情感分类方法能够充分利用图像和文本的情感互补信息,提高分类的准确性,且注意力机制的引入能够更好地获得情感特征.     

基于多模态信息融合的新闻图像人脸标注

针对传统新闻图像中人脸标注方法主要依赖人脸相似度信息,分辨噪声和非噪声人脸能力以及非噪声人脸标注能力较差的问题,提出一种基于多模态信息融合的新闻图像人脸标注方法。首先根据人脸和姓名的共现关系,利用改进的K近邻算法,获得基于人脸相似度信息的人脸姓名匹配度;然后,分别从图像中提取人脸大小和位置的信息对人脸重要程度进行表征,从文本中提取姓名位置信息对姓名重要程度进行表征;最后,使用反向传播神经网络来融合上述信息完成人脸标签的推理,并提出一个标签修正策略来进一步改善标注结果。在Label Yahoo! News数据集上的测试效果表明,所提方法的标注准确率、精度和召回率分别达到了77.11%、73.58%和78.75%,与仅基于人脸相似度的算法相比,具有较好的分辨噪声和非噪声人脸能力以及非噪声人脸标注能力。     

基于弱匹配概率典型相关性分析的图像自动标注

针对弱匹配多模态数据的相关性建模问题,提出了一种弱匹配概率典型相关性分析模型（semi-paired probabilistic CCA,简称SemiPCCA）.SemiPCCA模型关注于各模态内部的全局结构,模型参数的估计受到了未匹配样本的影响,而未匹配样本则揭示了各模态样本空间的全局结构.在人工弱匹配多模态数据集上的实验结果表明,SemiPCCA可以有效地解决传统CCA（canonical correlation analysis）和PCCA（probabilistic CCA）在匹配样本不足的情况下出现的过拟合问题,取得了较好的效果.提出了一种基于SemiPCCA的图像自动标注方法.该方法基于关联建模的思想,同时使用标注图像及其关键词和未标注图像学习视觉模态和文本模态之间的关联,从而能够更准确地对未知图像进行标注.     

一种基于肤色模型和模板匹配的人脸检测算法

近年来,随着人机识别技术的日益发展,人脸检测问题越来越受到重视,而人脸检测技术的关键在于准确率和检测速度.为了有效提高人脸检测的效率,提出了一种基于肤色分割和模板匹配算法的人脸检测方法.首先,建立颜色模型,利用颜色信息对图像进行粗检测,得到粗检测结果,然后,采用模板匹配技术确定人脸.该算法克服了单用模板匹配法的时间延迟,提高了检测精度和速度.     

基于无人机数据采样的人脸识别研究方法

提出了一种基于无人机数据采样的人脸识别研究方法.针对无人机采集的图像或视频数据进行人脸识别应用,采用深度学习算法对此进行研究,通过线下采集获取目标人脸,对采集到的目标人脸进行数据增强扩充数据集,进而增加入物识别准确率,使用训练好的Facenet网络对目标人脸进行特征提取,获得目标人物人脸特征并建立人脸特征库.在人脸检测...     

基于空间加权Hausdorff 距离的彩色图像人脸检测

文中介绍一种利用人脸横向边缘进行模板匹配的彩色图像人脸检测技术.其中模板由人脸边缘的空间分布概率生成.使用空间加权Hausdorff距离作为模板匹配度量,它不仅能有效的检测出人脸,而且匹配速度快.为了缩小模板搜索范围,首先对输入图像进行肤色分割.实验结果表明,该方法对复杂背景下的无深度旋转人脸图像具有良好的检测能力,且对光照条件不敏感.     

基于多关联模板匹配的人脸检测

提出一种基于多关联模板匹配的人脸检测算法.模板由一系列关联的双眼模板和人脸模板组成,它们都是通过仿射变换根据伸缩比和姿态(即旋转角度)从单一平均脸模板产生出来的.首先,使用双眼模板搜索候选人脸,再用人脸模板匹配进一步筛选候选人脸,最后,通过启发式规则验证是否是人脸.对于各种类型的图像进行大量实验的结果表明,该算法对于正面包括多角度人脸的检测很有效.