人脸正面图像中眼睛的精确定位

提出了人脸图像中眼睛定位方法，首先对灰度图像进行灰度形态学操作，所得谷图中像素数总体上随灰度级的增加而显著减少；用位于高端的灰度值作为阈值，逐次对谷图进行二值化，从所得二值图像中获得眼睛的候选位置；用PCA方法进行眼睛位置的最佳选择．该方法解决了二值化阈值步长的自适应选取问题．用AR，Yale和自建人脸数据库进行实验，得到眼睛定位成功率大于93％，平均定位偏差小于眼球半径的1／3．     

人脸老化/去龄化的高质量图像生成模型

目的 近年来关于人脸老化/去龄化的研究在深度学习的推动下取得了飞速发展,2017年提出的条件对抗自编码器（CAAE）人脸老化/去龄化模型生成的人脸不仅可信度高,而且更贴近目标年龄。然而在人脸老化/去龄化过程中仍存在生成图像分辨率低、人工鬼影噪声严重（生成人脸器官扭曲）等问题。为此,在CAAE的基础上,提出一个人脸老化/去龄化的高质量图像生成模型（HQGM）。方法 用边界平衡对抗生成网络（BEGAN）替换CAAE中的对抗生成网络（GAN）。BEGAN在人脸图像生成上不仅分辨率更高而且具有更好的视觉效果。在此基础上,添加两个提高生成图像质量的损失函数：图像梯度差损失函数和人脸特征损失函数。图像梯度差损失函数通过缩小生成图像和真实图像的图像梯度,使生成图像具有更多轮廓等高频信息;人脸特征损失函数将生成图像和真实图像分别输入到配置预训练参数的VGG-FACE网络模型中,输出各自的特征图。通过缩小两幅特征图的对应点差值,使生成图像具有更多真实图像的人脸特征信息。结果 实验使用UTKface、FGnet和Morph数据集,经过训练,每幅测试图像分别生成10幅不同年龄的图像。与CAAE相比,HQGM可以有效去除人工鬼影噪声,峰值信噪比高3.2 dB,结构相似性高0.06,提升显著。结论 HQGM可以生成具有丰富纹理信息和人脸特征信息的人脸老化/去龄化图像。     

一种基于神经网络的畸变图像校正方法

由于摄像机获取的图像存在几何畸变，因此在对图像进行定量分析前，必须校正畸变。针对传统的畸变图像校正方法，其所建立的畸变数学模型，不仅求解畸变参数复杂、计算量大，且存在很大的数值计算误差的问题．提出了一种基于神经网络的畸变图像校正方法。该方法首先运用图像处理技术从一标准模板的畸变图像中提取样本，然后以样本像素坐标作为网络输入来对神经网络进行训练。由于该训练好的神经网络能够实现畸变图像与非畸变图像之间的映射关系，因此能达到校正图像畸变的目的。最后对该校正方法进行了实验，给出并分析了校正实验结果，校正效果令人满意，并已成功地用于焊接机器人视觉系统。     

一种由粗到精的人眼定位方法

为提高人眼定位算法的实时性和抗噪性，提出了一种基于眉眼区域内“凹陷”地形特征点检测和人眼方差滤波器的人眼定位方 法(GPL)。该方法利用Gabor小波变换和直接提取“凹陷”地形特征点技术，在眉眼区域内搜索眼睛候选点，并且利用构造的人眼方差滤波器精确定位人眼。在有噪声和无噪声的人脸图像上进行了比较仿真试验。结果表明，与纯粹基于地形特征匹配的人眼定位算法相比，GPL在定位实时性、准确性和抗噪性方面都有显著提高。     

基于深度学习的人脸图像加密算法研究

图像作为视觉传达的重要信息载体,以一种直观、形象的方式向受众传递信息。但是,图像会在不知不觉中带来个人隐私信息泄露等安全隐患。本文从保护图像中隐私安全角度出发,深度融合人脸检测、人脸对齐方法以及混合混沌序列的图像加解密算法,提出了一种基于深度学习算法的人脸图像信息加密算法,即FIIE（Face Image Information Encryption ）算法,用于保护图片中的面部核心部位隐私信息。FIIE算法的具体描述如下：首先,采用WLDER FACE数据集中的人脸图像对MTCNN模型展开训练,并利用训练好的模型根据人脸特征点获取图像中人脸所在的矩形框坐标;然后,通过上述人脸区域坐标生成掩膜,运用生成的掩膜使原图与Logistic混沌序列做位运算,最后,对图像中人脸特定区域的加密。通过实验表明,本算法可以准确识别图像中人脸信息特定区域,实现对图像中面部信息的有效加密,保障用户的隐私安全。     

自然光普通摄像头的眼部分割及特征点定位数据集ESLD

目的 眼部状态的变化可以作为反映用户真实心理状态及情感变化的依据。由于眼部区域面积较小,瞳孔与虹膜颜色接近,在自然光下利用普通摄像头捕捉瞳孔大小以及位置的变化信息是当前一项具有较大挑战的任务。同时,与现实应用环境类似的具有精细定位和分割信息的眼部结构数据集的欠缺也是制约该领域研究发展的原因之一。针对以上问题,本文利用在普通摄像头场景下采集眼部图像数据,捕捉瞳孔的变化信息并建立了一个眼部图像分割及特征点定位数据集(eye segment and landmark detection dataset,ESLD)。方法 收集、标注并公开发布一个包含多种眼部类型的图像数据集ESLD。采用3种方式采集图像：1)采集用户使用电脑时的面部图像;2)收集已经公开的数据集中满足在自然光下使用普通摄像机条件时采集到的面部图像;3)基于公开软件UnityEye合成的眼部图像。3种采集方式可分别得到1 386幅、804幅和1 600幅眼部图像。得到原始图像后,在原始图像中分割出眼部区域,将不同尺寸的眼部图像归一化为256×128像素。最后对眼部图像的特征点进行人工标记和眼部结构分割。结果 ESLD数据集包含多种类型的眼部图像,可满足研究人员的不同需求。因为实际采集和从公开数据集中获取真实眼部图像十分困难,所以本文利用UnityEye生成眼部图像以改善训练数据量少的问题。实验结果表明,合成的眼部图像可以有效地弥补数据量缺少的问题,F1值可达0.551。利用深度学习方法分别提供了眼部特征点定位和眼部结构分割任务的基线。采用ResNet101作为特征提取网络情况下,眼部特征点定位的误差为5.828,眼部结构分割的mAP (mean average precision)可达0.965。结论 ESLD数据集可为研究人员通过眼部图像研究用户情感变化以及心理状态提供数据支持。     

A Neural Network Approach to Tracking Eye Position

The design of a neural network based eye tracker is presented. A series of experiments with counterpropagation neural networks convert synthetic video images into eye coordinates by an enhanced feed-forward neural network with multiple winning hidden layer nodes. Difficulties encountered during the design process are discussed. The results show that accurate, fine-grained tracking of a human's eye position is possible by processing the video image collected from a goggle-mounted miniature charge-coupled device (CCD) camera.     

Identification of eye movements from non-frontal face images for eye-controlled systems

The novel eye-based human-computer interaction(HCI) system aims to provide people, especially, disabled persons,a new way of communication with surroundings. It adopts a series of continual eye movements as input to perform simple control activities. Identification of eye movements is the crucial technology in these eye-based HCI systems. At present, researches on eye movement identification mainly focus on frontal face images. In fact, acquisition of non-frontal face images is more reasonable in real applications. In this paper, we discuss the identification process of eye movements from non-frontal face images. Firstly, the original head-shoulder images of 0?–±60?azimuths are sampled without any auxiliary light source. Secondly, the non-frontal face region is detected by using the Adaboost cascade classifiers. After that, we roughly extract eye windows by the integral projection function.Then, we propose a new method to calculate the x- y coordinates of the pupil center point by searching the minimal intensity value in the eye windows. According to the trajectory of the pupil center points, different eye movements(eye moving left, right, up or down)are successfully identified. A set of experiments is presented.     

非受限条件下的深度人脸年龄分类

针对非受限条件下人脸图像年龄分类准确度较低的问题,提出了一种基于深度残差网络（ResNets）和大数据集微调的非受限条件下人脸年龄分类方法。首先,选用深度残差网络作为基础卷积神经网络模型处理人脸年龄分类问题;其次,在ImageNet数据集上对深度残差网络预训练,学习基本图像特征的表达;然后,对大规模人脸年龄图像数据集IMDB-WIKI清洗,并建立了IMDB-WIKI-8数据集用于微调深度残差网络,实现一般物体图像到人脸年龄图像的迁移学习,使模型适应于年龄段的分布并提高网络学习能力;最后,在非受限人脸数据集Adience上对微调后的网络模型进行训练和测试,并采用交叉验证方法获取年龄分类准确度。通过34/50/101/152层残差网络对比可知,随着网络层数越深年龄分类准确度越高,并利用152层残差网络获得了Adience数据集上人脸图像年龄分类的最高准确度65.01%。实验结果表明,结合更深层残差网络和大数据集微调,能有效提高人脸图像年龄分类准确度。     

American sign language (ASL) recognition based on Hough transform and neural networks

The work presented in this paper aims to develop a system for automatic translation of static gestures of alphabets and signs in American sign language. In doing so, we have used Hough transform and neural networks which is trained to recognize signs. Our system does not rely on using any gloves or visual markings to achieve the recognition task. Instead, it deals with images of bare hands, which allows the user to interact with the system in a natural way. An image is processed and converted to a feature vector that will be compared with the feature vectors of a training set of signs. The extracted features are not affected by the rotation, scaling or translation of the gesture within the image, which makes the system more flexible.The system was implemented and tested using a data set of 300 samples of hand sign images; 15 images for each sign. Experiments revealed that our system was able to recognize selected ASL signs with an accuracy of 92.3%.