时序特征融合的视频实例分割

目的 随着移动互联网和人工智能的蓬勃发展,海量的视频数据不断产生,如何对这些视频数据进行处理分析是研究人员面临的一个挑战性问题。视频中的物体由于拍摄角度、快速运动和部分遮挡等原因常常表现得模糊和多样,与普通图像数据集的质量存在不小差距,这使得对视频数据的实例分割难度较大。目前的视频实例分割框架大多依靠图像检测方法直接处理单帧图像,通过关联匹配组成同一目标的掩膜序列,缺少对视频困难场景的特定处理,忽略对视频时序信息的利用。方法 本文设计了一种基于时序特征融合的多任务学习视频实例分割模型。针对普通视频图像质量较差的问题,本模型结合特征金字塔和缩放点积注意力机制,在时间上把其他帧检测到的目标特征加权聚合到当前图像特征上,强化了候选目标的特征响应,抑制背景信息,然后通过融合多尺度特征丰富了图像的空间语义信息。同时,在分割网络模块增加点预测网络,提升了分割准确度,通过多任务学习的方式实现端到端的视频物体同时检测、分割和关联跟踪。结果 在YouTube-VIS验证集上的实验表明,与现有方法比较,本文方法在视频实例分割任务上平均精度均值提高了2%左右。对比实验结果证明提出的时序特征融合模块改善了视频分割的效果。结论 针对当前视频实例分割工作存在的忽略对视频时序上下文信息的利用,缺少对视频困难场景进行处理的问题,本文提出融合时序特征的多任务学习视频实例分割模型,提升对视频中物体的分割效果。     

图像局部交互熵分割模型的两步快速优化

目的 针对LCK（local correntropy-based K-means）模型收敛速度慢,提出新的基于LCK模型的两步快速分割模型。方法 两步快速分割模型包括粗分割和细分割。1）粗分割：先将待分割的原始图像下采样,减少数据量;然后使用LCK模型对采样后的粗尺度图像进行分割,得到粗分割结果及其相应的粗水平集函数。由于数据量的减少,粗分割步骤可以快速得到近似分割结果。2）细分割：在水平集函数光滑性约束下,将粗分割结果及其对应的粗水平集函数上采样到原始图像的尺度,然后将上采样后的粗水平集函数作为细分割的初始值,利用LCK模型对原始图像进行精细分割。因初始值与真实目标边界很接近,所以只需很少迭代次数就能得到最终分割结果。结果 采用F-score评价方法分析自然以及合成图像的分割结果,并与LCK模型作比较,新的模型F-score数值最大,且迭代次数不大于50。结论 粗分割步骤能在小数据量的情况下,快速分割出粗略的目标;细分割步骤在较好的初始值条件下,能够快速收敛到最终的分割结果,从而有效提高了模型的计算效率和精确性。本文算法主要适用于分割含有未知噪声及灰度非同质的医学图像,且分割效率高。     

结合整体一致性和局部差异性的图像目标显著性检测

目的 为准确描述图像的显著信息,提出一种结合整体一致性和局部差异性的显著性检测方法,并将显著性特征融入到目标分割中。方法 首先,利用频率调谐法(IG)对目标整体特征的一致性进行显著性检测。然后,引入NIF算法检测显著目标的局部差异性。最后结合两种算法形成最终的显著性检测方法,并应用于图像目标分割。结果 在公认的Weizmann数据集上验证本文方法显示目标的绝对效率并与其他算法对比,实验结果表明本文方法在精确率,召回率,F1-measure(分别为0.445 6,0.751 2,0.576 4)等方面优于当前流行的算法。并且在融合显著性的图像目标分割中,取得满意的实验结果。结论 提出一种新的显著性检测算法,综合体现目标的整体和局部特征,并在公开数据集上取得较高的统计评价。实验结果表明,该算法能够对自然图像进行较准确的显著性检测,并成功地应用于自然图像的目标分割。     

GZMH：用于有丝分裂细胞核检测和分割的乳腺癌病理图像数据集

目的 有丝分裂细胞核计数是乳腺癌诊断和组织学分级的3个重要评分指标之一,基于深度学习的自动检测方法,可以有效辅助医生进行乳腺病理图像有丝分裂细胞核识别和计数。而当前研究中的公开数据集多为竞赛所用,由举办方联合数据提供者挑选而来,与医院临床应用中所使用的数据存在较大的差异,不利于模型性能及泛化能力的测试验证。针对以上问题,本文发布了来自中国赣州市立医院临床环境的数据集GZMH （Ganzhou municipal hospital）。方法 整理并公开发布的数据集GZMH包含55幅全视野数字切片（whole slide images,WSIs）临床乳腺癌病理图像,提供了用于有丝分裂细胞核目标检测和语义分割研究的两种标注,并由2名高年资医师对3名初级病理医师的标注进行了复核。5种主流目标检测方法和5种经典分割方法在GZMH数据集上进行了训练和测试,检验它们在临床数据集GZMH上的性能。结果 目标检测方法实验结果比较中,SSD （single shot multibox detector）模型取得了最佳的效果,F1分数为0.511;分割方法实验结果比较中,R2U-Net （recurrent rsidual convolutional neural network based on U-Net）性能最佳,F1分数为0.430。所有方法在面对较大规模的临床数据集GZMH时体现的性能都明显低于它们在一些公开数据集上的性能。结论 本文所提出的GZMH数据集能够用于有丝分裂目标检测与语义分割研究任务,且此数据集中的图像更加接近实际的应用场景,在推动乳腺病理图像有丝分裂细胞核分割的研究和临床应用方面具有较大的价值。数据集的在线发布地址为：https：//doi.org/10.57760/sciencedb.08547。     

融合分割先验的多图像目标语义分割

目的 在序列图像或多视角图像的目标分割中，传统的协同分割算法对复杂的多图像分割鲁棒性不强，而现有的深度学习算法在前景和背景存在较大歧义时容易导致目标分割错误和分割不一致。为此，提出一种基于深度特征的融合分割先验的多图像分割算法。方法 首先，为了使模型更好地学习复杂场景下多视角图像的细节特征，通过融合浅层网络高分辨率的细节特征来改进PSPNet-50网络模型，减小随着网络的加深导致空间信息的丢失对分割边缘细节的影响。然后通过交互分割算法获取一至两幅图像的分割先验，将少量分割先验融合到新的模型中，通过网络的再学习来解决前景/背景的分割歧义以及多图像的分割一致性。最后通过构建全连接条件随机场模型，将深度卷积神经网络的识别能力和全连接条件随机场优化的定位精度耦合在一起，更好地处理边界定位问题。结果 本文采用公共数据集的多图像集进行了分割测试。实验结果表明本文算法不但可以更好地分割出经过大量数据预训练过的目标类，而且对于没有预训练过的目标类，也能有效避免歧义的区域分割。本文算法不论是对前景与背景区别明显的较简单图像集，还是对前景与背景颜色相似的较复杂图像集，平均像素准确度（PA）和交并比（IOU）均大于95%。结论 本文算法对各种场景的多图像分割都具有较强的鲁棒性，同时通过融入少量先验，使模型更有效地区分目标与背景，获得了分割目标的一致性。     

高分辨率极化SAR图像水平集分割

目的 传统的极化SAR图像分割方法中,由于采用的统计分布模型不能较好地描述高分辨率的图像纹理特征,导致高分辨率极化SAR图像分割效果较差。针对这个问题,本文将具有广泛适用性的KummerU分布嵌入到水平集极化SAR图像分割方法中,提出了一种新的极化SAR图像分割算法。方法 将KummerU分布作为高分辨率极化SAR图像的统计模型,定义一种适用于极化SAR图像分割的能量泛函;利用最大似然法对各个区域的KummerU分布进行参数估计,并通过数值偏微分方程的方法求解水平集函数,实现极化SAR图像的区域分割。结果 分别对仿真全极化数据,真实全极化数据进行分割实验,结果表明本文提出的方法其分割精度高于传统方法,分割精度高于95%,从而验证了新方法的有效性。结论 本文算法能够对各向同质区和各向异质区的极化SAR图像都能取得良好的分割效果,并适应于多种场景,有效地分割出背景和目标。     

结合距离变换与边缘梯度的分水岭血细胞分割

目的 针对医学图像中细胞提取和粘连细胞分割问题,提出一种结合距离变换利用边缘梯度的分水岭血细胞显微图像分割方法。方法 首先,通过距离变换由细胞二值图生成距离地形图,取其局部极值点或点集作为前景标记,进行第1次距离分水岭变换;接着将第一步骤所得的分水岭脊线作为背景区域的标记,前景标记不变,视梯度幅度图为地形图,再一次进行梯度分水岭变换,得到细胞分割结果。两次分水岭变换前,均采用强制极小值的方法修改地形图,来控制地形图只在选取的标记处存在局部极小值。结果 该方法由距离图提取前景标记,将距离分水岭变换所得的脊线作为梯度分水岭变换的背景标记,能有效地分离粘连目标。相比于基于距离图分水岭变换,本文方法不过多依赖二值图像信息,保留了基于梯度图像的分水岭变换边缘定位准确的优点,又解决了其无法分割粘连目标和过分割的问题。结论 经多幅临床细胞图像分割实验验证,该方法可以实现图像中细胞的提取以及粘连细胞的自动分割,满足医学图像分割的要求。     

融合区域和边缘特征的水平集水下图像分割

目的 水平集模型是图像分割中的一种先进方法,在陆地环境图像分割中展现出较好效果。特征融合策略被广泛引入到该模型框架,以拉伸目标-背景对比度,进而提高对高噪声、杂乱纹理等多类复杂图像的处理性能。然而,在水下环境中,由于水体高散射、强衰减等多因素的共同作用,使得现有图像特征及水平集模型难以适用于对水下图像的分割任务,分割结果与目标形态间存在较大差异。鉴于此,提出一种适用于水下图像分割的区域-边缘水平集模型,以提高水下图像目标分割的准确性。方法 综合应用图像的区域特征及边缘特征对水下目标进行辨识。对于区域特征,引入水下图像显著性特征;对于边缘特征,创新性地提出了一种基于深度信息的边缘特征提取方法。所提方法在融合区域级和边缘级特征的基础上,引入距离正则项对水平集函数进行规范,以增强水平集函数演化的稳定性。结果 基于YouTube和Bubblevision的水下数据集的实验结果表明,所提方法不仅对高散射强衰减的低对比度水下图像实现较好的分割效果,同时对处理强背景噪声图像也有较好的鲁棒性,与水平集分割方法（local pre-fitting,LPF）相比,分割精确度至少提高11.5%,与显著性检测方法（hierarchical co-salient detection via color names,HCN）相比,精确度提高6.7%左右。结论 实验表明区域-边缘特征融合以及其基础上的水平集模型能够较好地克服水下图像分割中的部分难点,所提方法能够较好分割水下目标区域并拟合目标轮廓,与现有方法对比获得了较好的分割结果。     

面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络

目的 准确定位超声甲状腺结节对甲状腺癌早期诊断具有重要意义,但患者结节大小、形状以及位置的不确定性极大影响了结节分割的准确率和模型的泛化能力。为了提高超声甲状腺结节分割的精度,增强泛化性能并降低模型的参数量,辅助医生诊断疾病,减少误诊,提出一种面向甲状腺结节超声图像分割的多尺度特征融合“h”形网络。方法 首先提出一种网络框架,形状与字母h相似,由一个编码器和两个解码器组成,引入深度可分离卷积缩小网络尺寸。编码器用于提取图像特征,且构建增强下采样模块来减少下采样时造成的信息损失,增强解码器特征提取的能力。第1个解码器负责获取图像的初步分割信息;第2个解码器通过融合第1个解码器预先学习到的信息来增强结节的特征表达,提升分割精度,并设计了融合卷积池化金字塔实现多尺度特征融合,增强模型的泛化能力。结果 该网络在内部数据集上的Dice相似系数（Dice similarity coefficients, DSC）、豪斯多夫距离（Hausdorff distance,HD）、灵敏度（sensitivity,SEN）和特异度（specificity,SPE）分别为0.872 1、0.935 6、0.879 7和0.997 3,在公开数据集DDTI（digital database thyroid image）上,DSC和SPE分别为0.758 0和0.977 3,在数据集TN3K（thyroid nodule 3 thousand）上的重要指标DSC和HD分别为0.781 5和4.472 6,皆优于其他模型。结论 该网络模型以较低的参数量提升了甲状腺超声图像结节的分割效果,增强了泛化性能。     

大场景双视角点云特征融合语义分割方法

目的 点云语义分割在无人驾驶、城市场景建模等领域中具有重要意义,为了提升大场景条件下点云特征的提取效率,提出一种大场景双视角点云特征融合的语义分割方法（double-view feature fusion network for LiDARsemantic segmentation,DVFNet）。方法 大场景双视角点云特征融合的语义分割方法由两个部分组成,分别为双视角点云特征融合模块和基于非对称卷积的点云特征整合模块。双视角点云特征融合模块将柱状体素特征与关键点全局特征相结合,减少降采样导致的特征损失;基于非对称卷积的点云特征整合模块将双视角点云特征使用非对称卷积进行处理,并使用多维度卷积与多尺度特征整合来实现局部特征优化。结果 本文提出的大场景双视角点云特征融合语义分割方法,在SemanticKITTI大场景点云数据集上达到63.9%的准确率,分割精度在已开源的分割方法中处于领先地位。结论 通过文中的双视角点云特征融合语义分割方法,能够实现大场景条件下点云数据的高精度语义分割。     

面向远程光体积描记的人脸检测与跟踪

目的 远程光体积描记（remote photoplethysmograph,rPPG）是一种基于视频的非接触心率测量方法,通过跟踪人脸皮肤区域并从中提取周期性微弱变化的颜色信号估计出心率。目前基于级联回归树的人脸地标方法训练的Dlib库,由于能快速准确定位人脸轮廓,正逐渐被研究者用于跟踪皮肤感兴趣区域（region of interest,ROI）。由于实际应用中存在地标无规则抖动,且现有研究没有考虑目标晃动的影响,因此颜色信号提取不准确,心率估计精度不佳。为了克服以上缺陷,提出一种基于Dlib的抗地标抖动和运动晃动的跟踪方法。方法 本文方法主要包含两个步骤：首先,通过阈值判断两帧间地标的区别,若近似则沿用地标,反之使用当前帧地标以解决抖动问题。其次,针对运动晃动,通过左右眼地标中点计算旋转角度,矫正晃动的人脸,保证ROI在运动中也能保持一致。结果 通过信噪比（signal-to-noise,SNR）、平均绝对误差（mean absolute error,MAE）和均方根误差（root mean squared error,RMSE）来评价跟踪方法在rPPG中的测量表现。经在UBFC-RPPG（stands for Univ.Bourgogne Franche-Comté Remote PhotoPlethysmoGraphy）和PURE（Pulse Rate Detection Dataset）数据集测试,与Dlib相比,本文方法rPPG测量结果在UBFC-RPPG中SNR提高了约0.425 dB,MAE提高0.291 5 bpm,RMSE降低0.645 3 bpm;在PURE中SNR降低了0.041 1 dB,MAE降低0.065 2 bpm,RMSE降低0.271 8 bpm。结论 本文方法相比于Dlib有效提高跟踪框稳定性,在静止和运动中都能跟踪相同ROI,适合rPPG应用。     

一种融合Hough变换和ASM定位瞳孔中心点方法

特征点的准确定位是机器视觉和模式识别的关键技术之一.主动形状模型(ASM)是一种传统的图像特征点定位算法,具有较高的精确性和鲁棒性.为了提高ASM人脸瞳孔特征点定位的精确度,提出了使用Hough变换方法来改进瞳孔特征点的定位.通过ASM算法,初步定位出瞳孔特征点,并使用Sobel算子对图像进行边缘检测,然后在人眼位置选择一个合适的窗口使用Hough圆检测,找出精确瞳孔点相对于ASM初步定位瞳孔点的偏移量.在实验室采集的人脸图像上的对比实验表明,该方法能够显著的改善ASM人眼瞳孔特征点定位准确性.由于使用了初定位进行了搜索范围的限制,计算量也得到了有效的控制.     

基于眼部自商图—梯度图共生矩阵的疲劳驾驶检测

目的 疲劳驾驶是引发车辆交通事故的主要原因之一,针对现有方法在驾驶员面部遮挡情况下对眼睛状态识别效果不佳的问题,提出了一种基于自商图—梯度图共生矩阵的驾驶员眼部疲劳检测方法。方法 利用以残差网络（residual network,ResNet）为前置网络的SSD（single shot multibox detector）人脸检测器来获取视频中的有效人脸区域,并通过人脸关键点检测算法分割出眼睛局部区域图像;建立驾驶员眼部的自商图与梯度图共生矩阵模型,分析共生矩阵的数字统计特征,选取效果较好的特征用以判定人眼的开闭状态;结合眼睛闭合时间百分比（percentage of eyelid closure,PERCLOS）与最长闭眼持续时间（maximum closing duration,MCD）两个疲劳指标来判别驾驶员的疲劳状态。结果 在六自由度汽车性能虚拟仿真实验平台上模拟汽车驾驶,采集并分析驾驶员面部视频,本文方法能够有效识别驾驶员面部遮挡时眼睛的开闭状态,准确率高达99.12%,面部未遮挡时的识别精度为98.73%,算法处理视频的速度约为32帧/s。对比方法1采用方向梯度直方图特征与支持向量机分类器相结合的人脸检测算法,并以眼睛纵横比判定开闭眼状态,在面部遮挡时识别较弱;以卷积神经网络（convolutional neural network,CNN）判别眼睛状态的对比方法2虽然在面部遮挡情况下的准确率高达98.02%,但眨眼检测准确率效果不佳。结论 基于自商图—梯度图共生矩阵的疲劳检测方法能够有效识别面部遮挡时眼睛的开闭情况和驾驶员的疲劳状态,具有较快的检测速度与较高的准确率。     

检测器和分类器级联的飞机发动机损伤检测

目的 基于深度学习的飞机发动机损伤检测是计算机视觉中的一个新问题。当前的目标检测方法没有考虑飞机发动机损伤检测问题的特殊性,将其直接用于发动机损伤检测的效果较差,无法满足实际使用的要求。为了提高损伤检测的精度,提出检测器和分类器级联的发动机损伤检测方法：Cascade-YOLO （cascade-you only look once）。方法 首先,将损伤区域作为正例、正常区域作为负例,训练损伤检测网络,初始化特征提取网络的网络参数;其次,固定特征提取网络,使用多个检测头分别检测不同类型的发动机损伤,每个检测头独立进行检测,从而提高单类别损伤的检测召回率;最后,对于置信度在一定范围内的损伤,训练一个多分类判别器,用于校正检测头输出的损伤类别。基于检测结果,利用语义分割分支可以准确分割出损伤区域。结果 构建了一个具有1 305幅且包含9种损伤类型的孔探图像数据集,并在该数据集上量化、对比了6个先进的目标检测方法。本文方法的平均精确率（mean average precision,MAP）、准确率、召回率相比单阶段检测器YOLO v5分别提高了2.49%、12.59%和12.46%。结论 本文提出的检测器和分类器级联的发动机损伤检测模型通过对每类缺陷针对性地训练单独的检测头,充分考虑了不同缺陷间的分布差异,在提高召回率的同时提升了检测精度。同时该模型易于扩展类别,并可以快速应用于分割任务,符合实际的应用需求。     

一种在红外图像中定位人眼的方法

为了实现红外图像人眼的精确定位,提出了一种新的定位红外图像人眼的方法。在已知的一幅红外人脸图像中,通过投影得到人脸区域,根据眉眼区域的梯度变化比较激烈的特点,来得到人眼的大致区域,最后,利用红外图像人眼瞳孔与眼球之间的灰度存在很大差异的特性,采用Robert边缘检测求梯度最大值的方法,精确地定位出人眼。实验证明,该方法对红外图像的人眼定位效果很好,精确度很高。     

关键点深度特征驱动人脸表情识别

目的 人脸关键点检测和人脸表情识别两个任务紧密相关。已有对两者结合的工作均是两个任务的直接耦合,忽略了其内在联系。针对这一问题,提出了一个多任务的深度框架,借助关键点特征识别人脸表情。方法 参考inception结构设计了一个深度网络,同时检测关键点并且识别人脸表情,网络在两个任务的监督下,更加关注关键点附近的信息,使得五官周围的特征获得较大响应值。为进一步减小人脸其他区域的噪声对表情识别的影响,利用检测到的关键点生成一张位置注意图,进一步增加五官周围特征的权重,减小人脸边缘区域的特征响应值。复杂表情引起人脸部分区域的形变,增加了关键点检测的难度,为缓解这一问题,引入了中间监督层,在第1级检测关键点的网络中增加较小权重的表情识别任务,一方面,提高复杂表情样本的关键点检测结果,另一方面,使得网络提取更多表情相关的特征。结果 在3个公开数据集：CK+（Cohn-Kanade dataset）,Oulu（Oulu-CASIA NIR&VIS facial expression database）和MMI（MMI facial expression database）上与经典方法进行比较,本文方法在CK+数据集上的识别准确率取得了最高值,在Oulu和MMI数据集上的识别准确率比目前识别率最高的方法分别提升了0.14%和0.54%。结论 实验结果表明了引入关键点信息的有效性：多任务的卷积神经网络表情识别准确率高于单任务的传统卷积神经网络。同时,引入注意力模型也提升了多任务网络中表情的识别率。     

Can eye movements be effectively measured to assess product design?: Gender differences should be considered

This study investigates the relationship between eye movements and user emotional response to product features using eighteen product images as stimuli. The stimuli are composed of unpleasant, neutral and pleasant images. Regarding the emotional design, gender difference could be a major factor that should be taken into consideration. A task-free eye-tracking experiment was conducted in which forty participants (20 males and 20 females, mean age = 35.6, SD = 6.38, range 21–48 years) looked at randomly displayed product images. The eye movements of participants were measured while viewing product images. After viewing stimuli, participants rated immediately their emotional response to the product images on a seven-point scale. The results revealed that stimuli category and gender difference, caused different variations in fixation count, fixation duration, pupil diameter, and hit ratio. For stimuli category, participants have larger fixation count, fixation duration, pupil diameter, and hit ratio in response to pleasant and neutral product images than unpleasant product images. For gender difference, the results indicated that females provided larger scores in fixation count and fixation duration, but a smaller score in hit ratio in all stimuli than that provided by males. However, the measurement of pupil diameter yielded different results. The results showed that females provided larger pupil diameter in pleasant and neutral product images but a smaller pupil diameter in unpleasant product images than that provided by males, which is consistent with the result of subjective ratings.Relevance to industryThese findings could enable industrial counselors, product designers, and academics to categorize emotional response that can be subsequently incorporated into final product design. An understanding of gender-based processing differences of product features is important to designers since it enables them to communicate with these different market segments and to produce effective products for each segment.     

改进Mask R-CNN模型的海洋锋检测

目的 海洋锋的高效检测对海洋生态环境变化、渔业资源评估、渔情预报及台风路径预测等具有重要意义。海洋锋具有边界信息不明显且多变的弱边缘性,传统基于梯度阈值法及边缘检测的海洋锋检测方法,存在阈值选择不固定、判定指标不一致导致检测精度较低的问题。针对上述问题,基于Mask R-CNN（region convolutional neural network）提出一种改进的海洋锋自动检测方法。方法 兼顾考虑海洋锋的小数据量及弱边缘性,首先对数据扩增,并基于不同算法对海表温度（sea surface temperatures,SST）遥感影像进行增强;其次,基于迁移学习的思想采用COCO（common objects in context）数据集对网络模型进行初始化;同时,对Mask R-CNN中残差神经网络（residual neural network,ResNet）和特征金字塔模型（feature pyramid network,FPN）分别进行改进,在充分利用低层特征高分辨率和高层特征的高语义信息的基础上,对多个尺度的融合特征图分别进行目标预测,提升海洋锋的检测精度。结果 为验证本文方法的有效性,从训练数据和实验模型上分别设计多组对比实验。实验结果表明,相比常用的Mask R-CNN和YOLOv3（you only look once）神经网络,本文方法对SST梯度影像数据集上的海洋锋检测效果最好,海洋锋的定位准确率（intersection over union,IoU）及检测平均精度均值（mean average precision,mAP）达0.85以上。此外,通过对比分析实验结果发现,本文方法对强海洋锋的检测效果明显优于弱海洋锋。结论 本文根据专家经验设立合理的海洋锋检测标准,更好地考虑了海洋锋的弱边缘性。通过设计多组对比实验,验证了本文方法对海洋锋的高精度检测效果。     

一个基于多层结构的快速眼睛定位算法

眼睛的位置是人脸识别过程中一个很重要的信息。针对灰度人脸图像上的眼睛定位问题,提出了一个基于多层结构的快速眼睛定位算法。该算法首先利用极小值区域(MER)进行眼睛粗定位;然后使用三层筛选算法逐步去除错误的候选保留唯一的正确候选;最后使用眼睛精确定位算法来校正眼睛的位置。该算法在CAS-PEAL人脸数据库、JAFFE数据库和自建数据集上均有良好表现,是一个行之有效的方法。     

Feature-based detection of facial landmarks from neutral and expressive facial images

Feature-based method for detecting landmarks from facial images was designed. The method was based on extracting oriented edges and constructing edge maps at two resolution levels. Edge regions with characteristic edge pattern formed landmark candidates. The method ensured invariance to expressions while detecting eyes. Nose and mouth detection was deteriorated by happiness and disgust.