融合摄像机位姿信息的模板匹配跟踪算法

针对图像制导目标跟踪系统在跟踪过程中,由于图像旋转、成像视角和目标尺度的变化带来的跟踪漂移问题,提出一种利用摄像机的位姿信息的匹配模板校正和更新方法。根据摄像机与目标的相对位姿信息,建立目标透视成像模型以及不同摄像机位姿情况下的模板校正方程;将校正方程分解为实时图像旋转和模板仿射变换两部分减小模板变换的误差;通过设计与相关系数和距离信息相关的模板更新策略达到适应跟踪系统逐渐接近目标过程中目标的变化。采用基于视景仿真软件Vega Prime产生的模拟飞行视频对算法进行了验证。实验表明所提算法能够适应图像制导跟踪系统在跟踪过程中目标尺度、成像视角以及图像旋转的变化,减小跟踪漂移。     

多摄像机环境下人脸最优视角选择算法

多摄像机环境中的人脸最优视角选择在多通道人机交互,视频会议,序列图像中的人脸识别等领域有着广泛的应用。论文给出了一种基于肤色与几何信息的人脸最优视角选择算法。该算法能利用肤色的聚类特性对人脸进行粗检测,并根据几何信息对头部进行定位,然后给出一种最优视角的准则,并在该准则下通过分析检测结果中肤色在头部区域中所占比例来间接求出人脸相对于摄像机的偏转程度,从而达到最优视角选择的目的。实验结果表明,该算法在多摄像机环境下能根据人脸正面的程度自动地进行视角切换,得到最优的视角。并且具有运算简单,实时性高,对环境的变化不敏感,多摄像机可以任意放置,无需校准的特点。     

一种基于ADS-B信息的冲突告警算法

为了解决飞行流量持续快速增长导致的飞行安全问题,给出一种基于ADS-B信息的冲突告警算法。该算法的目的在于发现终端区或机场附近可能存在的飞行冲突,为飞行员采取避让措施提供足够的时间。算法主要由2个模型构成：第1个模型是飞行冲突区域划分模型,该模型包含保护空域(PAZ)和冲突空域(CAZ)2个区域;第2个模型是飞行冲突探测模型,该模型首先对冲突目标初选,然后对有可能发生飞行冲突的飞机从竖直和水平2个方向进行冲突探测并根据探测结果发出相应的告警信息。经大量的Monte-Carlo仿真实验表明该算法性能良好,能及时有效地发现飞行冲突,对确保终端区或者机场附近的安全有着重要意义。     

飞机结构件动态变形测量技术研究

针对飞行试验中飞机结构件的动态变形测量问题,提出了一种基于图像的测量方法,对其中涉及的关键技术进行了研究;采用10参数模型非线性成像模型补偿摄像机系统误差,引入摄像机动态校准算法,使摄像机标校重投影误差小于0.03 pixel;采用编码标志作为测量标志,提高了图像自动识别和匹配效率;采用双像机交会测量计算测量标志位移变形量可达到0.15 mm/m;实验证明,该方法满足飞行试验中飞机结构件动态变形要求。     

精确求解进港飞机调度双目标优化问题的epsilon约束算法

随着机场客流的持续增长,航班延误日益严重。同时,对于机场最重要的跑道资源而言,积雪结冰等会造成 飞机 打滑,从而出现事故。对于机场管理者,周期性地维护跑道至关重要,以防雨雪天气出现飞机打滑事故。该研究主要针对跑道上的 航班调度问题,考虑恶劣天气环境下跑道的周期性维护(如周期性喷洒除雪盐等)。为了在保证航班的服务质量的同时提高机场跑道的使用效率,文中以最小化航班总延误和跑道使用时间为优化的双目标。首先,提出该双目标优化问题混合整数规划模型;其次,为了精确求解出Pareto前沿,开发出epsilon约束算法;最后,给出算例来说明模型和算法的可行性。通过数学规划理论建模并开发精确求解算法,为机场资源优化研究提供参考。     

基于多摄像机的航空器滑行冲突检测研究

对机场场面航空器滑行冲突检测进行了研究,分析了基于多摄像机的航空器滑行冲突检测流程,基于图像识别和目标跟踪技术,提取航空器的滑行轨迹,提出了基于DCPA(distance of closest point of approach)和TCPA(time of closet point of approach)的滑行冲突检测模型,开发了基于多摄像机的航空器滑行冲突检测原型系统并应用于西南某通航机场;实验结果表明,基于多摄像机视频目标跟踪和冲突检测模型可有效地检测机场场面航空器的滑行冲突,可作为中小机场主要监视手段以及大型机场场监雷达系统的辅助,防止航空器机场滑行冲突,提高机场场面运行安全和效率。     

基于马尔可夫场的图像背景拼贴*

针对现代消费摄像机视野较小导致难以拍摄全景图片的问题,提出了一种新的图像背景拼贴的方法．给定一幅被扩展的输入图像,首先,从网络上获取包含相关场景的散乱图片集,重建出三维模型后对每幅图片颜色迁移,使得每张图片与输入图像的颜色基调保持一致;然后,在重建的三维模型的基础上,将超像素分割后的候选集图片都形变到输入图像的视角;最后,建立一个马尔可夫随机场模型,使用带标签的图割方法求解模型完成图像融合．实验结果表明,该算法适用于拥有大量网络图片集的大多数场景．与现有算法相比,该算法能得到与真实场景更为相符的结果,并且拼接效果更为自然．     

三维虚拟地形仿真技术辅助无人机起降和飞控

大型固定翼无人机在起飞降落阶段,需要由人工进行遥控飞行。传统的由"二维地图+虚拟仪表+机载摄像机"组成的飞控系统,普遍存在数据反馈不够直观,操控体验差等问题。通过采用三维虚拟地形仿真技术,建立了精确的机场周边及任务区域三维虚拟地形,并且将现实中的无人机飞行数据实时同步到虚拟场景中的虚拟无人机上。为无人机操控员提供了一种更加直观、方便的操控视角。在因为天候不佳或其它原因失去机载摄像机画面时,可以大幅降低操控失误的风险。此功能以辅助设备的形式接入现有飞控系统,无需对现有系统进行改造。独立性强,部署方便。     

改进的蚁群算法在飞行路径模型中的应用

为了保障飞机安全地运行,FAA规定每架飞机在飞行一定时间后都要进行周期性检修。通常考虑到检修成本,任一种检修都要在指定的机场完成,因此要求飞机每飞行一定的小时数后都要返回到指定的维护基地进行定期检修。如何合理地进行飞机飞行路径的调度以使飞机周期性地返回指定检修机场进行检修是本文研究的关键。为了问题简化,本文主要针对单检修基地、单机型的检修路径调度问题进行研究。本文结合经典蚁群算法,对现有算法参数的设置及信息的更新等方面进行改进后应用到飞行路径模型中,并运用Matlab对该算法编程,运用具体数据进行计算实现,确保了飞机周期性返回检修机场,实现周期性检修。     

一种简便的视角无关动作识别方法

针对日常生活中人体执行动作时存在视角变化而导致难以识别的问题,提出一种基于视角空间切分的多视角空间隐马尔可夫模型（ HMM）概率融合的视角无关动作识别算法。该方法首先按照人体相对于摄像机的旋转方向将视角空间分割为多个子空间,然后选取兴趣点视频段词袋特征与分区域的光流特征相融合,形成具有一定视角鲁棒性特征对人体运动信息进行描述,并在每个子视角空间下利用HMM建立各人体动作的模型,最终通过将多视角空间相应的动作模型似然概率加权融合,实现对未知视角动作的识别。利用多视角IXMAS动作识别数据库对该算法进行测试的实验结果表明,该算法实现简单且对未知视角下的动作具有较好识别结果。     

Content and task-based view selection from multiple video streams

We present a content-aware multi-camera selection technique that uses object- and frame-level features. First objects are detected using a color-based change detector. Next trajectory information for each object is generated using multi-frame graph matching. Finally, multiple features including size and location are used to generate an object score. At frame-level, we consider total activity, event score, number of objects and cumulative object score. These features are used to generate score information using a multivariate Gaussian distribution. The algorithm. The best view is selected using a Dynamic Bayesian Network (DBN), which utilizes camera network information. DBN employs previous view information to select the current view thus increasing resilience to frequent switching. The performance of the proposed approach is demonstrated on three multi-camera setups with semi-overlapping fields of view: a basketball game, an indoor airport surveillance scenario and a synthetic outdoor pedestrian dataset. We compare the proposed view selection approach with a maximum score based camera selection criterion and demonstrate a significant decrease in camera flickering. The performance of the proposed approach is also validated through subjective testing.     

基于LSD检测的无人机视觉着陆定位算法

针对复杂电磁干扰和拒止环境下固定翼无人机自主着陆的应用场景,提出了一种基于LSD的无人机视觉着陆定位算法,通过检测跑道的左右边线以及起始线对无人机进行定位;根据机场跑道的形态学特征,构建机场跑道数据模型,并对实验所用相机进行标定,采用灰度化和高斯滤波对采集到的图像进行预处理,采用LSD直线检测算法以提取跑道的直线特征,设计几何滤波策略从直线特征中提取出跑道的三条边线,采用蒙版技术以提高检测算法的抗干扰能力;根据相机成像原理推导出基于线检测的PNP定位算法,通过检测得到的机场跑道线在像素坐标系下的位置信息求出无人机相对于跑道的三维位置;分别在视景仿真环境和真实机场环境进行检测和定位解算,结果满足无人机着陆定位实时性和准确性的要求,从而验证了视觉着陆定位算法的有效性。     

机场跑道异物定位算法研究

跑道异物的存在给机场安全造成了很大的危险隐患,为了减小异物存在导致的经济和人身安全的影响,利用三维坐标定位技术,将Hough变换改进后用于确定跑道位置,归一化算法实现以机场跑道灯为特征点的匹配,同时为了提高匹配效果,采用特征点旋转整合,有效获取特征点位置。结合传感器逐区域扫描时的方位改变与像机初始坐标系换算关系,确定跑道异物的相对空间位置,实现对跑道异物的定位。该算法利用坐标变换方法,理论基础完善,实际应用时,所需传感器数目较少,成本较低,定位准确,有很好的应用价值。     

Robust outdoor stereo vision SLAM for heavy machine rotation sensing

The paper presents a robust outdoor stereo vision simultaneous localization and mapping (SLAM) algorithm. It estimates camera pose reliably in outdoor environments with directional sunlight illumination causing shadows and non-uniform scene lighting. The algorithm has been developed to measure a mining rope shovel’s rotation angle about its vertical axis (“swing” axis). A stereo camera is mounted externally to the shovel house (upper revolvable portion of the shovel), with a clear view of the shovel’s lower carbody. As the shovel house swings, the camera revolves with the shovel house in a planar circular orbit, seeing differing views of the carbody top. During the swing, the SLAM algorithm builds a map of observed 3D features on the carbody and simultaneously using these landmarks to estimate the camera position. This estimated camera position is then used to compute the shovel swing angle. Two novel techniques are employed to improve the SLAM algorithm’s robustness in outdoor environments. First, a “Locally Maximal” feature selection technique for Harris corners is used to select features more consistently in non-uniformly illuminated scenes. Another novel technique is the use of 3D “Feature Clusters” as SLAM landmarks rather than individual single features. The Feature Cluster landmarks improve the robustness of the landmark matching and allow significant reduction of the SLAM filter computational cost. This approach of estimating the shovel swing angle has a maximum error of ±1° upon SLAM map convergence. Results demonstrate the improvements of using the novel techniques compared to previous methods.     

基于FPGA的拼接式CMOS线阵相机系统设计

针对单个线阵相机在大视场下传感器边缘失光的问题,提出了在保证分辨率的前提下使用多个相对较低像素的相机拼接,对视场进行分担的方法;设计了一种基于FPGA的拼接式CMOS线阵相机系统,系统整体像素为4 096Pixels,行频为2.5kHz;详细介绍了系统的工作原理、硬件构成和各芯片的程序设计,实现了基于FPGA的多相机图像实时校正算法,并将校正后的图像通过高速USB芯片传输到采集软件;实验结果表明,在视场较大的条件下同等像素的拼接式相机相比单相机在视场边缘具有更好的成像质量,且需要的物距更短,可应用于对多离散目标的检测。     

一种无人机自主着陆视觉跟踪方法

视觉导航是利用图像信息进行飞机定位的,在无人机着陆过程中,为使机载传感器能始终追踪到机场跑道,提出了一种基于摄像机姿态与变焦控制的视觉跟踪方法;该方法通过调节摄像机姿态来追踪目标特征点,使目标特征点尽量位于成像平面的中心,然后根据无人机与机场跑道的距离,适时的调节焦距,以保证图像特征点完全位于图像平面内;实验结果表明,该法能很好地控制摄像机姿态角,使目标特征点位于图像中心附近,达到很好的跟踪效果;且该法操作简单,不需要增加图像处理的难度,实时响应速度快,可以满足工程需要。     

基于A~*算法的机场滑行路径优化研究

研究机场场面航班的滑行路径分配和滑行冲突问题。针对目前滑行效率制约机场调度。滑行冲突影响飞行安全的状态,提出将安全间隔、滑行规则和冲突避免限制规则作为约束条件建立了滑行路径优化模型。采用了A*算法给出了问题的优化,在保证滑行道调度零冲突的前提下,缩小航班的总滑行时间,提高了滑行效率。以重庆江北国际机场为例,与管制员依据机场细则得到的路径相比,结果表明提出的滑行道调度模型和优化方法是可行的,在实现较优的滑行路径的基础上能智能的发现冲突、解决冲突,可为繁忙机场的机场调度提供了决策支持。     

机场视觉移动服务机器人的设计与研究

民航事业迅猛发展,加上疫情突现,机场中迫切需要一种无人的机器人移动服务平台,以减少人力劳动和阻断病毒传播;依据机场环境和功能要求,对机场移动服务平台进行模块化设计与搭建;平台集成RGB-D相机系统Kinect 2.0,采用张正友标定原理确定相机内外参数;设计和实现移动平台的视觉SLAM整体架构,利用ORB算法进行图像特征点的提取与匹配,对邻帧图像进行估计与优化;将平台样机投入实验场地,设定粒子数为50,最小匹配得分为30,构建分辨率为每像素0.02m的二维栅格地图和三维点云图;该样机为机场提供一种以视觉传感器为基础的移动服务平台,结合实际需求,其他功能模块能快捷地集成于此,发挥各自的服务作用。     

强干扰条件下机场道面细小裂缝自动识别算法

针对机场道面裂缝极其细小,而基于深度相机的裂缝检测技术面临道面表观结构复杂和平台剧烈震动的双重强干扰的难题,提出了结合L2正则化与动态阈值贪心策略的道面主轮廓建模算法,并基于此实现了机场道面毫米级细小裂缝的精确检测。首先,设计了基于L2正则化约束的道面主轮廓模型估计方法,解决了因表观结构复杂而导致的道面主轮廓过拟合问题;其次,提出基于动态阈值的改进贪心算法,通过迭代去除异常点的方式抑制检测平台震动带来的噪声干扰;最后,基于构建的道面主轮廓模型,提取并融合多方向的机场道面主轮廓,并利用裂缝的深度与形态信息实现裂缝提取。通过在真实机场道面数据集上的测试结果表明,该算法能够精确地完成道面主轮廓重建和细小裂缝识别,且识别性能优于多种现有经典的裂缝检测算法。     

基于DSP的车道偏离检测与车辆前向车距检测

基于智能交通的快速发展,研究了在高速路段下基于机器视觉的车道偏离检测与车辆前向安全车距检测技术.首先固定车载相机,通过相机标定获取相机的内参数和外参数,进而设计车距检测模型.该模型不但能够检测出前方车辆与无人车的距离,还能计算出前方车辆相对于摄像机光轴的偏转角度.接着在CCP偏离检测算法的基础上,设定安全和报警区来建立车道偏离模型,并对当前车辆的偏离结果作出正常行驶的评判.最后借助TI的DVSDK组件包将算法移植到嵌入式平台DSP-DM3730上测试.实验表明,本文设计的车距检测模型和车道偏离模型在解决无人车的前向防撞检测和车道偏离检测等问题上具有较好的参考价值.