面向移动平台人脸检测的FaceYoLo算法

针对移动平台上人脸检测实时性不强的问题,提出了一种基于深度学习的FaceYoLo实时人脸检测算法。首先,在YoLov3检测算法的基础上,加入快速消化卷积层（RDCL）缩小输入空间,然后加入多尺度卷积层（MSCL）丰富不同检测尺度的感受野,最后加入中心损失和致密化策略加强模型的泛化能力和鲁棒性。实验结果表明,在GPU上测试时,该算法较YoLov3算法在速度上提高至原来的8倍,每幅图像的处理速度可达0.002 8 s;精度提高了2.1个百分点;在Android平台上测试时,该算法较最好的MobileNet模型在检测速率上从5 frame/s提升到10 frame/s。通过实验结果可知,该算法能有效提高人脸检测在移动平台上的实时性能。     

基于三维模型和仿射对应原理的人脸姿态估计方法

该文提出了一种基于人脸三维模型和仿射对应原理从单目视频图像序列中估计人脸空间姿态的方法．其主要思想是利用人脸的三维模型生成特征点正面平行投影,并估算输入帧和该正面平行投影之间的仿射变换参数,然后根据圆一椭圆之间的仿射对应关系得到描述人脸空间姿态的6个参数(3个旋转分量,3个平移分量)的粗略估计值,最后通过基于ICP(Iterative Closest Points：反复最近点)算法的优化迭代过程得到精确值．对石膏像和真实人脸进行的实验结果表明该算法能在较大的姿态变化范围内实现精确的人脸姿态估计．     

基于Android的三维面部模型自适应调整算法

本文基于Android平台获取二维人物图像,使用face++提供的人脸特征点提取SDK对输入照片的人脸特征点进行自动定位来提取二维人物图像的人脸特征点,根据所提取的特征点使用自适应算法进行调整,生成与二维人物图像相适应的三维面部模型。与一般的调整算法相比,本文针对存在角度的二维人物图像提出生成其对应三维面部模型的自适应调整算法。     

基于单张人脸图像三维形状模型重建

在人脸图像识别优化的研究中,针对由单张人脸图像重建三维模型时对人脸图像姿态存在要求的问题,为了提高识别精度,提出基于单张人脸图像姿态预估计和主成分分析(PCA)的形状模型重建算法.首先由三维姿态估计方法得到人脸姿态,并建立人脸形状模型样本库,然后通过选取的特征点,利用主成分分析进行三维人脸形状模型的重构,最后利用径向基函数(RBF)变换和特征点坐标精确调整三维人脸形状模型,并进行仿真.仿真结果表明,重构的三维人脸形状模型效果良好,提高了精度,对有旋转姿态的人脸图像和特征点定位误差也有很好的鲁棒性.     

单幅图像真实感虚拟试戴技术

提出了一种针对眼镜、帽子等头部饰品的单幅图像真实感虚拟试戴技术,其关键在于虚拟饰品的三维注册和虚实图像的合成。首先提出了一种将人脸关键点检测与刚体姿态估计相结合,求解单幅图像中人脸三维注册信息的算法。然后阐述了借助像素颜色混合和深度缓冲检测技术解决虚实图像合成中遮挡关系和模型材质问题的方法。在AFLW(Annotated Facial Landmarks in the Wild)人脸数据库上对三维注册算法进行了量化测评,结果表明该算法的精度满足虚拟试戴技术的要求。在较大角度姿态变化以及部分遮挡条件下的实验结果表明,提出的虚拟试戴技术快速准确,试戴效果自然逼真。     

基于AccelDSP的LBP算法在人脸识别中的应用

针对人脸识别中实时性的要求,采用FPGA硬件方式实现人脸的实时识别,对传统的LBP算法在硬件实现上存在的问题进行了详细分析,并提出了一种符合硬件数据流处理的LBP优化算法。利用AccelDSP综合工具对该优化算法进行硬件设计,并在Dasal公司的Anaconda卡的IPU FPGA上进行实验验证,满足了人脸识别中实时性的要求。实验结果表明优化后的LBP算法不仅人脸识别率得到了提高,而且在硬件上特征值提取速度是软件上的19倍,能够满足实时性的要求,达到每秒处理100幅人脸图像。     

基于AccelDSP的LBP算法在人脸识别中的应用

针对人脸识别中实时性的要求,采用FPGA硬件方式实现人脸的实时识别,对传统的LBP算法在硬件实现上存在的问题进行了详细分析,并提出了一种符合硬件数据流处理的LBP优化算法。利用AccelDSP综合工具对该优化算法进行硬件设计,并在Dasal公司的Anaconda卡的IPUFPGA上进行实验验证,满足了人脸识别中实时性的要求。实验结果表明优化后的LBP算法不仅人脸识别率得到了提高,而且在硬件上特征值提取速度是软件上的19倍,能够满足实时性的要求,达到每秒处理100幅人脸图像。     

改进YOLO V2的6D目标姿态估计算法

针对目标的三维姿态估计,结合基于深度学习的目标检测模型,提出一种基于改进YOLO V2的6D目标姿态估计算法。通过卷积神经网络提取一幅RGB图像中目标的特征信息;在2D检测的基础上将目标的位置信息映射到三维空间;利用点到点的映射关系在三维空间匹配并计算目标的自由度,进而估计目标的6D姿态。该算法不仅能检测单幅RGB图像中的目标,还可以预测目标的6D姿态,同时不需要额外的后处理过程。实验表明,该算法在LineMod和Occlusion LineMod数据集上的性能优于最近提出的其他基于CNN的方法,在Titan X GPU上的运行速度是37?frame/s,适合实时处理。     

基于多姿态知识模型和模板的快速人脸检测

提出了一种多姿态知识模型,并以之从人脸器官梯度图中获得候选脸的大小、位置、姿态类别和眼、嘴重心坐标,然后按姿态类别将候选脸与对应的模板进行匹配确认人脸.该人脸检测算法集人脸检测、姿态估计和眼、嘴定位于一体,具有检测速度快的特点,适于多姿态多人脸场合的人脸检测.该算法只利用了图像的灰度信息,因此对灰度图像和彩色图像的人脸检测均适用.     

基于神经网络的双目视觉下头部姿态估计

头部姿态估计是人体姿态检测的关键技术之一。本文基于神经网络设计一种在双目视觉下由人脸中的关键点在空间中的相对位置的变化估计头部姿态,并对头部进行定位的方法。将头部姿态分为6种,空间位置关系分为2种。利用改进SDM算法对双目视觉下的人脸关键点进行标记;标记出人脸关键点后利用的POSIT算法对头部姿态角度估计,计算出头部欧拉角;根据左右图像中对应的头部关键点位置的视差由三角测量原理算出其深度信息。并设定阈值对其进行分类。通过实验,该方法的头部姿态估计准确率高,头部空间定位精度良好。     

结合图像识别的移动增强现实系统设计与应用

目的 在移动互联网时代下,移动增强现实应用得到越来越快的发展。然而户外场景中存在许多相似结构的建筑,且手机的存储和计算能力有限,因此应用多集中于室内小范围环境,对于室外大规模复杂场景的适应性较弱。对此,建立一套基于云端图像识别的移动增强现实系统。方法 为解决相似特征的误匹配问题,算法中将重力信息加入到SURF和BRISK特征描述中去,构建Gravity-SURF和Gravity-BRISK特征描述。云端系统对增强信息进行有效管理,采用基于Gravity-SURF特征的VLAD方法对大规模图像进行识别;在智能终端上的应用中呈现识别图像的增强信息,并利用识别图像的Gravity-BRISK特征和光流结合的方法对相机进行跟踪,采用Unity3D渲染引擎实时绘制3维模型。结果 在包含重力信息的4 000幅户外图像的数据库中进行实验。采用结合重力信息的特征描述算法,能够增强具有相似特征的描述符的区分性,并提高匹配正确率。图像识别算法的识别率能达到88%以上,识别时间在420 ms左右;光流跟踪的RMS误差小于1.2像素,帧率能达到23 帧/s。结论 本文针对室外大规模复杂场景建立的基于图像识别的移动增强现实系统,能方便对不同应用的增强现实数据进行管理。系统被应用到谷歌眼镜和新闻领域上,不局限于单一的应用领域。结果表明,识别算法和跟踪注册算法能够满足系统的精度和实时性要求。     

远程遥控移动机械手的可视化实时控制

采用OTG接口连接摇杆手柄的Android手机和无线视频传输方案,来实现对移动机械手的可视化实时控制。本设计以OMAP4430开发板和Android手机为核心,通过响应摇杆水平、竖直方向的移动事件和手柄按键事件来控制机械手的地表移动及机械手马达操作,同时借助车载USB摄像头拍摄720P视频,经H264编码后用无线网卡发送到Android手机,解码后显示在控制界面上。实验结果表明,可视化远程遥控机械手能够实现全方位移动、捉取地面目标等功能,同时无线视频传输帧率达到28fps,满足实时视频传输要求。     

三维人脸建模及在跨姿态人脸匹配中的有效性验证

针对现有三维人脸采集技术对采集场景存在诸多限制,提出了自由场景下基于多张图像的三维人脸建模技术,并对其进行了有效性验证。首先,提出一个姿态及深度值迭代计算模型,实现了特征点深度值的准确估计;然后,进行了基于多张图像的深度值融合及整体形状建模;最后,将深度迭代优化算法（IPDO）与目前最优的非线性最小二乘法（NLS1_SR）在Bosphorus Database数据集上进行了对比,建模精度提高了9%,所重建的三维人脸模型投影图像与二维图像具有较高的相似度。实验结果表明,在大姿态变化条件下,该识别算法借助三维信息相较于未借助的情况下,其识别率可以提高50%以上。     

基于YOLOv3-HM的手部姿态估计方法研究

二维手部姿态估计是人机交互领域的一项关键技术。为增强复杂环境下系统鲁棒性,提高手势姿态估计精度,提出一种基于目标检测和热图回归的YOLOv3-HM算法。首先,利用YOLOv3算法从RGB图像中识别框选手部区域,采用CIoU作为边界框损失函数;然后,结合热图回归算法对手部的21个关键点进行标注;最终,通过回归手部热图实现二维手部姿态估计。分别在FreiHAND数据集与真实场景下进行测试,结果表明,该算法相较于传统手势检测算法在姿态估计精度和检测速度上均有所提高,对手部关键点的识别准确率达到99.28%,实时检测速度达到59 f/s,在复杂场景下均能精准实现手部姿态估计。     

Real-time 6D pose estimation from a single RGB image

We propose an end-to-end deep learning architecture for simultaneously detecting objects and recovering 6D poses in an RGB image. Concretely, we extend the 2D detection pipeline with a pose estimation module to indirectly regress the image coordinates of the object's 3D vertices based on 2D detection results. Then the object's 6D pose can be estimated using a Perspective-n-Point algorithm without any post-refinements. Moreover, we elaborately design a backbone structure to maintain spatial resolution of low level features for pose estimation task. Compared with state-of-the-art RGB based pose estimation methods, our approach achieves competitive or superior performance on two benchmark datasets at an inference speed of 25 fps on a GTX 1080Ti GPU, which is capable of real-time processing.     

从视频中恢复三维人脸的实时方法

三维人脸恢复是视觉交互的一个难点问题,提出了一种从视频中实时恢复三维人脸的新方法.该方法利用主动形状模型进行人脸特征点提取和跟踪,确保了三维形状恢复和特征跟踪的有效性和一致性;采用非刚体形状和运动估计方法构建三维形变基,有效地适应人脸形状变化的多样性;采用非线性优化算法估算人脸姿态和三维形变基参数,实现了三维人脸形状和姿态的实时恢复.实验结果表明,该方法不仅能从视频中实时恢复三维人脸模型,而且可有效跟踪人脸各种姿态的变化.     

面向移动终端的分布并行化渲染

目的 随着移动互联技术和实时渲染技术的快速发展,面向移动终端的3维展示提供了远程交互式的模型渲染,但较高的渲染计算复杂度与较大的数据处理规模,影响了移动终端3维展示的渲染质量和实时性。针对以上不足,提出一种面向移动终端的分布并行化渲染方法。方法 该方法将渲染任务分布到服务端与终端,服务端采用层次细节模型控制场景复杂度,生成初次渲染图像;终端采用基于图像的渲染技术再次绘制图像,提高渲染质量,同时在渲染过程中利用CUDA(compute unified device architecture)并行计算加速渲染数据处理。结果 本方法有效提高了渲染速度,降低了数据传输量,并保证了图像质量,帧率和数据传输量优化了大约10.8%。结论 本文方法为面向移动终端的3维展示提供了很好的解决途径,在移动网络环境中,能够有效降低服务端负载压力,提高资源利用率并改善用户体验。     

基于Android系统的人脸识别门禁系统的设计

智能门禁系统是安全防护系统中重要的组成部分 ,本文采用人脸识别技术与手机端身份识别技术,设计了一种基于Android的人脸识别门禁系统,实现了用户在Android手机端进行人脸识别身份验证获取服务器发来的二维码作为开门“软钥匙”,用获取到的二维码去智能门禁终端进行扫码开门的功能。在人脸识别方面,采用了Adaboost人脸检测算法和PCA人脸识别算法,并结合OpenCV实现了门禁系统的人脸识别。测试结果表明：本系统具有良好的易用性、安全性,并且获得较高的人脸识别率和识别速度,从而弥补传统门禁的缺陷与不足。     

基于混合运动估计方法的视觉里程计

由于RGB-D相机深度信息范围有限且易受噪声影响,为了提高其视觉里程计的精度,提出一种基于混合3D-3D和3D-2D运动估计方法的视觉里程计。使用基于RICP算法（RANSAC-ICP）的3D-3D模型,并结合3D-2D运动模型,将深度信息缺失的二维特征点添加到估计方法中,充分利用了图像信息,提高了匹配准确率。综合考虑了关键帧和前一帧的地图信息进行迭代估计,增加了匹配点对数量,提供了更多约束信息。在该混合运动估计方法的基础上,结合稀疏光束平差法SBA对位姿估计结果进行优化,达到定位精度高、积累误差小的效果。在基于Kinect相机的移动平台上进行了验证,结合离线和在线实验表明,该方法满足实时性同时有效地提高了定位精度。