视线跟踪系统中CCD摄像机的自适应调节

分析了视线跟踪系统中光源、摄像机、眼睛角膜及光斑的几何位置关系,提出了眼睛跟踪策略和一种调光、变焦、聚焦相结合的CCD物镜自动调节方法。对捕获图像进行处理,依据图像灰度均值控制光圈,以适应外部环境光强变化;利用SMD算子大步幅快速粗聚焦,提取图像中光斑信息控制云台瞄准、跟踪眼睛,并进行变焦控制,可在用户头肩图像中自动定位眼睛,适应用户头部位置变化;在眼睛区域自动确定检测窗,在检测窗内使用FSWM聚焦算子判断图像清晰度,实现自动聚焦。若图像中能提取瞳孔信息,则依据瞳孔边缘梯度均值实时调整聚焦。实验表明,在不同外部环境光强及用户在不同使用位置情况下,CCD摄像机通过自适应调节,可实时跟踪眼睛并捕获到清晰眼睛图像。     

基于图像处理的视线方向跟踪研究

提出一种基于图像处理技术实时跟踪视线方向的方法,并介绍其原理和组成,以及图像处理技术的应用.通过对采集到的序列图像进行图像处理和分析,以虹膜和瞳孔中心位置的变化来计算视线方向.结果表明,该方法采用两次图像预处理过程,保证了头部变动时视线方向跟踪的准确性,有效提高处理效率,为今后研究视线识别技术打下了一定基础.     

人眼像差仪中瞳孔自动跟踪的实现

瞳孔自动跟踪技术是通过对像差仪采集到的人眼图像进行图像处理,对准分子激光人眼屈光手术中患者眼球进行准确定位,消除患者眼球转动对手术造成的影响。该技术已用于人眼像差仪中,并取得了良好的效果。     

一种基于双相机焊缝跟踪的球形储罐爬壁机器人定位方法

针对具有很少甚至没有地标和缺乏良好照明条件的大型液化石油气球形储罐环境下,仅依靠里程计以及惯性测量单元的爬壁机器人定位精度较低,且存在较为明显的累积误差的问题,提出了一种新的解决方案,通过跟踪球形储罐表面焊缝相对于机器人的运动来改善机器人定位精度。首先,通过配备辅助光源,利用安装在机器人两侧的CCD相机进行图像采集,并实时对图像进行二值化处理,识别出焊缝特征区域并输出相应的检测信号,通过相邻时刻检测信号增量计算来估计机器人的相对位置;接着,提出了一种改进加权融合算法,用以实现各传感器之间的数据融合,该算法结合了自适应加权融合算法以及基于最小二乘原理的加权融合算法的优点,以对各加权因子重新分配权值的思想来对各个传感器数据进行最终融合,提高了测量精度以及动态适应性。最后,在实际环境以及虚拟环境下对该方法进行了实验评估,验证了该方法的有效性。实验结果表明,在没有良好照明条件及地标的球形储罐环境下,该方法可以保证爬壁机器人定位的准确性。     

插片式可穿戴眼球追踪系统

针对不同屈光度人员使用穿戴式近眼眼球追踪设备无法自由更换镜片的问题,研发出一套插片式近眼眼球追踪系统设备。该系统是由近眼采集硬件平台和眼动特征提取算法两部分构成：硬件平台是根据插片验光试镜架结构设计的图像采集模块;眼动特征提取算法是通过机器学习训练眼睛检测器和眼部特征点检测器,再结合候选瞳孔拟合筛选策略得到瞳孔直径、中心点和眨眼频次。实验结果表明,系统算法中瞳孔检测正确率为97.24%,眨眼检测正确率为91.59%。该设备可满足屈光不正人群眼动追踪检测和研究的需求,同时提供准确可靠的眼动数据。     

中心偏移的全景环形图像快速展开

采用机器视觉技术检测管道内表面质量时,获取的原始图像几何中心与其前景区管壁全景环形图像中心存在偏移,从而会使以图像几何中心展开的图像产生失真的现象.本文针对存在中心偏移的全景环形图像提出了快速展开算法以减小由上述原因造成的图像中几何特征量的测量误差.提出的算法通过最小二乘拟合圆心法找到全景环形图像上代表管壁某一截面的拟合圆,继而得到全景图像的中心参数,然后通过四分之一圆扫描方法快速展开全景图像,并对展开图像的帧纵横比进行修正,还原全景图像.实验结果表明:将一幅全景图像环状检测区域展开成分辨率为2 044 pixel×199 pixel的矩形图像所需时间为0.868 s,展开图像中目标外形尺寸相对误差均在1.54％以内,满足图像处理对实时性和准确性的要求.     

微操作中操作者瞳孔的定位方法研究

针对微操作中操作者的眼球偏转小和眼睛图像灰度变化小的特点,提出一种瞳孔定位的快速算法,首先对眼睛图像提取特定的矩形区域,然后采用半精定位的方法缩小瞳孔所在区域,提高瞳孔区域的图像占比,最后利用Hough变换精确定位瞳孔。实验表明,该算法能快速、准确地定位瞳孔中心,适用于微操作中使用头戴式设备的瞳孔图像提取。     

Automatic circle pattern extraction and camera calibration using fast adaptive binarization and plane homography

A method to detect calibration patterns using fast adaptive binarization and plane homography for images having complicated backgrounds and taken under lighting condition of industrial fields is proposed. The preprocessing step of involving the calibration of a camera, as required to measure object dimensions, must be able to extract calibration points from a calibration pattern. However, proper lighting conditions for the camera calibration of a measurement system are rarely provided in industrial settings. In this paper, a plane homography of calibration points extracted by fast adaptive image binarization is used for the automatic detection of a local set of calibration points. The integral image method is used as a central part for the rapid processing of adaptive image binarization. The extracted point set provides a transformation matrix of the plane homography and guides the extraction of other calibration points for cluttered backgrounds with irregular lighting conditions. During the calibration of the camera, a calibration point filtering procedure by a data In/Out system iteratively selects more correct calibration points while rejecting outliers and noisy data. Experiments using actual images verify that the proposed method can be applied to camera calibration with poor quality images having cluttered backgrounds obtained under uneven illumination.     

基于联合标定的图像分割

针对普适环境下人体区域的提取问题,提出一种基于彩色摄像头和深度摄像头联合标定的图像分割方法。首先根据深度摄像头采集的深度信息易处理和受外界环境影响小的优点,利用大律法从深度图像中快速提取出人体区域;然后建立世界坐标系中彩色图像坐标系和深度图像坐标系的对应关系,实现彩色信息和深度信息的相对位置映射;最后根据分割的深度图像及其在彩色图像中的映射,在彩色图像中完成人体区域分割。通过在复杂背景和不同光照条件下的图像分割实验,验证了本方法具有良好的精度和鲁棒性。     

基于全变差和脊波变换的海岸线提取算法

为有效解决视频图像中海岸线的自动提取问题,提出一种结合全变差增强水陆边缘和脊波变换预测搜索区域的海岸线提取算法.首先基于最小化全变差模型降噪和增强边缘;第2步,根据水陆像素的彩色特征,计算彩色梯度向量;第3步,利用脊波变换预测水陆交界处的大致方向和动态范围,缩小检测区域;最后用一种改进的最小代价梯度跟踪模型对海岸线进行搜索,跟踪并精确提取最终的海岸线定位参数.实验结果证明了算法的有效性和较强的抗噪声能力,并且对不同光照条件具有鲁棒性,是视频图像中提取海岸线的新方法,为下一步设计应用系统打下了基础.     

无线视频监控系统人脸跟踪功能的实现

为实现视频监控的人脸跟踪功能,结合计算机视觉与舵机云台控制技术,设计了一种基于嵌入式处理器的无线视频监控系统.利用 MicroPython 计算机视觉库对采集图像进行滤波处理,以增强图像效果.采用改进卷积神经网络模型进行机器学习和人脸识别,将处理后的监控图像上传至服务器,用户可通过查看浏览器进行实时监控.测试结果表明,当有人脸出现在视频监控范围内时,系统可驱动舵机云台进行有效的人脸识别与追踪.     

Adaptive user interfaces in complex supervisory tasks

In this paper we propose a novel idea for adaptation of the user interface in complex supervisory tasks. Under the assumption that the user behavior is stationary and that the user has limited cognitive and motor abilities, we have shown that a combination of genetic algorithm for constrained optimization and probabilistic modeling of the user may evolve the adaptive interface to the level of personalization. The non-parametric statistics has been employed in order to evaluate the feasibility of the ranking approach. The method proposed is flexible and easy to use in various problem domains. We have tested the method with an automated user and a group of real users in an air traffic control environment. The automated user, implemented for initial tests, is built first under the same assumptions as a real user. In the second step, we have exploited the adaptive interface through a group of real users and collected subjective ratings using questionnaires. We have shown that the proposed method can effectively improve human-computer interaction and our approach is pragmatically a valid approach for the interface adaptation in complex environments.     

一种不定长水尺图像水位测量方法

针对水尺图像水位识别中存在的多根水尺拼接、水尺拍摄不完整以及环境适应性差等问题,从摄影测量学角度提出一种复杂光照条件下不定长水尺图像水位测量方法。首先通过人工选取的标识点构建水尺在像素坐标系和世界坐标系之间的透视投影关系;然后利用水尺的颜色特性将水尺与背景分割并二值化;再根据二值化图像使用方差均值阈值法检测水位线位置;最终通过投影关系计算出水尺图像中水尺中线的表达式,并结合水位线位置计算出水面上水尺中线的真实长度,获得水位值。本文对水文站真实水尺图像进行了测量实验,将检测结果与遥测水位值进行对比,结果表明本方法提高了不定长水尺图像水位检测的可靠性,测量精度达到1 cm,检测分辨率为1 pixel,基本满足水文站水位监测要求。     

Indexes for performance evaluation of cameras applied to dynamic measurements

Thanks to technology improvements, the applications of vision-based measurement to dynamic applications have been increasing in the last years. The available image resolutions and the high grabbing frequencies allow to acquire high-speed moving object with a good scaling factor and to perform dynamic analysis of vibrating items. Uncertainty analysis of vision-based measuring devices working in almost-static conditions was widely studied in literature, but the case of dynamic measurements still needs a further analysis. The measuring performances thus depend on the well-known parameters that affect the static performances (image resolution and contrast, processing algorithm, noise, etc.) but also on other factors, above all the exposure time and the camera-object relative motion, in terms of instantaneous velocity and acceleration. In this work, a performance analysis of imaging devices applied to dynamic measurements is proposed. The analysis aims to qualify the measurement uncertainty by some indexes, proposed in this work, and designed to quantify the motion effect on the acquired images and consequently the measurement uncertainty. These indexes are based on exposure time and Spatial Frequency Response (SFR) function, which is widely applied in literature and recommended in international standards for the image quality estimation in static acquiring conditions. Appropriate developments of SFR are proposed herein to obtain information on the image quality grabbed in dynamic conditions. The effectiveness of the proposed indexes are proved by several tests, where a target is moved with an harmonic law in controlled condition (varying its frequency and amplitude) and fixing different acquisition conditions in terms of lighting settings, diaphragm aperture, exposure time, etc.     

高速列车驾驶界面设计中的照明眩光评估

高速列车驾驶环境中的照明眩光对界面设计有着十分重要的影响,如何在设计阶段对眩光进行有效的评估,是目前高速列车驾驶界面设计中面临的一个难题。针对高速列车驾驶界面照明环境复杂,眩光源的形状和边界难以判定,眩光计算参数值难以准确采集等问题,提出一种基于统一眩光评估(Unified glare rating,UGR)公式和小光源UGR修正公式的高速列车驾驶界面照明眩光评估模型,在利用视觉仿真方法获得包含驾驶员视觉仿真图像及其每一像素点光度学信息的基础上,通过对视觉仿真图像内的眩光源像素点进行判定、整合和筛除,获取高速列车驾驶界面照明眩光评估模型计算参数值,实现高速列车驾驶界面的眩光评估。采用被试主观评价试验对CRH3型车驾驶界面的12种照明方案进行眩光评估,并与提出的基于视觉仿真的照明眩光评估方法的计算结果进行对比分析,分析结果表明提出的方法与主观感受具有显著的线性关系。该方法可在设计阶段对高速列车驾驶环境照明眩光进行有效评估,为驾驶界面相关设计与优化提供指导。     

基于改进 Blob 分析的机器人批量搬运纠偏研究

为了解决工业机器人在快节拍搬运任务中因为机械定位误差导致无法正确放置产品的问题，提出了一种基于改进Blob分析的两点纠偏定位的两步法策略。第1步基于机器视觉与图像处理技术利用改进的Blob分析方法识别出定位点，第2步利用平面仿射变换原理快速定位大量产品的位置。其中改进的Blob分析方法基于图像灰度反转、直方图均衡化、图像滤波技术结合阈值分水岭分割算法实现了对有限光照条件下不易成像的黑色托盘图像中定位圆形特征的可靠分割与圆心坐标提取。从而第2步的两点定位的托盘定位策略根据可靠的托盘圆心位置结果来计算托盘偏移前后的平面仿射变换矩阵以完成托盘的纠偏功能。最后通过在实际生产线的搬运工站实验证明基于改进Blob分析的两点纠偏定位的两步法策略的托盘识别准确性和召回率分别为99.75%和99.75%,同时产品的搬运时间降低了20.52%,提高了机器人下料系统的可靠性和效率。     

应用方向可调滤波器的车道线识别方法

考虑车道线的方向特性,提出一种应用方向可调滤波器的图像预处理方法。在对图像中的车道线方向特性进行分析的基础上,对图像进行分区处理,在每个区域内使用符合该区车道线方向的方向可调滤波器。在车道线初始检测阶段,利用边缘分布函数(Edge distribution function, EDF)确定车道线方向;在车道线跟踪阶段,则把上一轮检测结果作为方向可调滤波器的方向角输入。对比分析表明,该方法能够更加有效地强化车道线信息,去除图像噪声。经过多种工况下的试验验证,应用方向可调滤波器的车道线识别方法能够稳定地对车道线进行识别,准确地提取车道线参数,并且算法实时性很高。     

应用统计距离实现虹膜定位

提出了一种统计距离法(MCD)来提高虹膜识别效率。用MCD对虹膜边缘图像去噪,并建立了有效的虹膜内外圆定位方法。首先,用灰度求和找到瞳孔内一点,同时,使用Canny算子获得虹膜边缘图像,并根据所确定的瞳孔内的点来寻找虹膜内边缘上的3个边缘点。将这3个边缘点代入圆的方程即可找到虹膜内边缘。然后,根据虹膜内定位数据来消除虹膜外边缘图像中的噪声,再在去噪后的边缘图像中排除20%个与虹膜内圆圆心距离最远的边缘点。最后,使用一种改进的Hough变换来获得虹膜外边缘数据。实验结果表明:MCD的内定位时间和外定位时间分别是0.122 2s和0.242 4s,均比快速精确虹膜定位法(FAILA)低,且成功率为96.67%,高于FAILA。因此,MCD具有较高的精度和较快的速度,可提高虹膜识别的效率。     

巡检机器人中的指针式仪表读数识别系统

为了解决智能巡检机器人仪表读数识别中易受光照变化影响、识别精度不高等问题,结合高压变电场中常见指针区域的图像特点,建立了指针式仪表读数高精度识别系统。鉴于巡检机器人的室外工作环境,提出了迭代最大类间方差算法,实现了多种光照条件下仪表图像的指针区域提取。经过分析指针转动和图像特性,提出了基于Hough变换的指针角度识别,推导出指针角度与仪表读数的函数关系。该算法较传统Hough变换角度提取法,增加了指针中心线通过表计中心等约束条件,提高了指针角度提取的精度,降低了搜索数据量和搜索时间。通过大量实验验证所建立的表计读数识别系统可实现室外各种光照条件下表计读数识别,获得95%以上的正确识别率。多组鲁棒性实验分析表明,该系统对光照条件、指针宽度、表盘干扰、拍摄角度(不产生指针阴影)具有较好的鲁棒性,但由于拍摄角度而产生指针阴影时,会引起较大的指针中心线提取和角度计算偏差,从而降低仪表读数识别精度。