近红外高光谱图像数据预测技术

目的 受到传感器光谱响应范围的影响,可见光区域和近红外区域（400~2 500 nm）的高光谱数据通常使用不同的感光芯片进行成像,现有这一光谱区域典型的高光谱成像系统,如AVIRIS （airborne visible infrared imaging spectrometer）成像光谱仪,通常由多组感光芯片组成,整个成像系统成本和体积通常比较大,严重限制了该谱段高光谱探测技术的发展。为了能够扩展单感光芯片成像系统获得的高光谱图像的光谱范围,本文探索基于卷积神经网络的近红外光谱数据预测技术。方法 结合AVIRIS成像光谱仪的光谱配置,设计了基于残差学习的红外谱段图像预测网络,利用计算成像的方式从可见光范围的高光谱图像预测出近红外波段的光谱图像,并在典型的卫星高光谱遥感数据上进行红外光谱预测重构和基于重构的数据分类实验,以验证论文提出的红外光谱数据预测技术的可行性以及有效性。结果 本文设计的预测网络在Cuprite数据集上得到的预测近红外图像峰值信噪比为40.145 dB,结构相似度为0.996,光谱角为0.777 rad;在Salinas数据集上得到的预测近红外图像峰值信噪比为39.55 dB,结构相似性为0.997,光谱角为1.78 rad。在分类实验中,相比于只使用可见光图像,利用预测的近红外图像使得支持向量机（support vector machine,SVM）的准确率提升了0.6%,LeNet的准确率提升了1.1%。结论 基于AVIRIS传感器获取的两组典型卫星高光谱数据实验表明,本文提出的红外光谱数据预测技术不仅可基于计算成像的方式扩展可见光光谱成像系统的光谱成像范围,对于减小成像系统体积和质量具有重要意义,而且可有效提高可见光区域光谱图像数据在典型应用中的处理性能,对于提高高光谱数据处理精度提供新的技术支撑。     

长时序高光谱图像清晰度影响因素分析

目的 清晰度是评价对地观测成像仪影像数据质量的典型指标之一,可以反映成像仪对地物边缘变化的敏锐程度。已有的对地观测成像仪在轨测试及图像质量评价方法研究中,往往关注遥感影像清晰度是否达标,或监测其变化趋势,未对清晰度变化影响因素进行深入探讨。针对这一问题,本文主要对长时间序列的成像仪成像清晰度的变化以及影响因素进行探讨。方法 以天宫一号高光谱成像仪短波红外谱段0级数据作为研究对象,首先利用改进的基于边缘检测的清晰度算法计算出影像的清晰度,其次将各影像数据对应的成像仪工程参数进行筛选,然后利用Apriori算法对长时间序列高光谱影像的清晰度与成像时刻的工程参数进行关联规则挖掘,利用最小支持度阈值和最小置信度阈值筛选出强关联规则,并附加提升度和余弦对强关联规则进行验证,最后结合3维散点图对影响清晰度的主要因素进行定量分析。结果 经大量测试数据表明,天宫一号高光谱成像仪短波红外谱段影像清晰度较好,影响清晰度的主要因素有太阳高度角、拍摄积分时间以及平台稳定性(包括俯仰角、偏航角和滚动角的稳定性)。太阳高度角与图像清晰度呈正相关关系,即当太阳高度角大于65°时,影像清晰度较高,当太阳高度角小于30°时,影像清晰度较低;平台稳定性与图像清晰度呈正相关关系,即当太阳高度角大于30°且小于65°时,平台稳定性高倾向于得到清晰度较高的图像,平台稳定性低倾向于得到清晰度较低的图像;拍摄积分时间与图像清晰度呈负相关关系。结论 基于关联规则挖掘的长时序高光谱图像清晰度影响因素分析方法是一种有效的分析方法,可以挖掘出与影像清晰度强关联的工程参数。后续可扩大工程参数范围,利用此分析方法进一步研究遥感图像其他指标与工程参数的关联关系。     

多失真混杂的无人机图像质量盲评价

目的 面向多失真混杂的图像质量盲评价问题目前仍然是计算机视觉领域具有挑战性的工作之一,无人机图像受成像条件影响混杂多类失真,图像质量的准确评价是其效能发挥的关键环节。为此,引入并改进了基于自然场景统计的距离度量评价模型,提出多失真混杂的无人机图像质量盲评价方法。方法 从图像的结构性、信息完整性和颜色性3个不同的角度研究并提取了与无人机图像质量敏感的特征因子集;以实拍标准测绘图像库为原始图像获得MVG特性参数作为度量基准解决了盲评价中缺乏训练集的问题;构建了以实飞图像为样本的无人机图像质量数据库（UAV image set）,为相关问题的研究提供数据集和评价参考。结果 针对所构建的数据库,本文算法在主客观一致性、算法运行时间上与其他算法进行了对比实验。相比较其他经典算法,本文算法的主客观一致性较高,达到了0.8以上,运行时间较快,过到1.2 s。此外本文还给出了块大小对算法影响以及单特征对图像的评价结果,证明算法选择的图像块大小和图像特征符合质量评价的需要。结论 针对无人机图像所包含的多失真构建质量评价综合模型,该模型可满足无人机图像质量需求。     

融合事件相机的视觉场景识别

目的 传统视觉场景识别（visual place recognition,VPR）算法的性能依赖光学图像的成像质量,因此高速和高动态范围场景导致的图像质量下降会进一步影响视觉场景识别算法的性能。针对此问题,提出一种融合事件相机的视觉场景识别算法,利用事件相机的低延时和高动态范围的特性,提升视觉场景识别算法在高速和高动态范围等极端场景下的识别性能。方法 本文提出的方法首先使用图像特征提取模块提取质量良好的参考图像的特征,然后使用多模态特征融合模块提取查询图像及其曝光区间事件信息的多模态融合特征,最后通过特征匹配查找与查询图像最相似的参考图像。结果 在MVSEC（multi-vehicle stereo event camera dataset）和RobotCar两个数据集上的实验表明,本文方法对比现有视觉场景识别算法在高速和高动态范围场景下具有明显优势。在高速高动态范围场景下,本文方法在MVSEC数据集上相较对比算法最优值在召回率与精度上分别提升5.39%和8.55%,在Robot‐Car数据集上相较对比算法最优值在召回率与精度上分别提升3.36%与4.41%。结论 本文提出了融合事件相机的视觉场景识别算法,利用了事件相机在高速和高动态范围场景的成像优势,有效提升了视觉场景识别算法在高速和高动态范围场景下的场景识别性能。     

Lytro相机的光场图像校正与重对焦方法

目的 光场相机因其具有先拍照后对焦的能力而备受广泛关注,然而光场相机的理论研究往往受制于原始光场图像及其标定参数的获取。基于目前市面上唯一的一款消费级光场相机——Lytro相机,提出一套光场图像获取、校正和重对焦的系统化方法。方法 通过分析Lytro相机工作原理、算法和文件结构,给出了一套实现原始光场数据提取、解码、颜色校正、微透镜阵列标定和校正的完整方案。并在此基础上提出一种基于分数阶傅里叶变换的Lytro相机重对焦方法。结果 实验结果表明所提系统级方案正确,所提重对焦方法具有令人满意的重对焦性能。结论 本文Lytro相机光场图像获取和标定方法,利用分数阶傅里叶变换实现光场图像的频率域重聚焦。基于两台Lytro相机的实验结果表明,本文方法可正确获取图像数据及相机参数,重聚焦算法效果好。     

用于多光谱和高光谱图像融合的联合自注意力Transformer

目的 将高光谱图像和多光谱图像进行融合，可以获得具有高空间分辨率和高光谱分辨率的光谱图像，提升光谱图像的质量。现有的基于深度学习的融合方法虽然表现良好，但缺乏对多源图像特征中光谱和空间长距离依赖关系的联合探索。为有效利用图像的光谱相关性和空间相似性，提出一种联合自注意力的Transformer网络来实现多光谱和高光谱图像融合超分辨。方法 首先利用联合自注意力模块，通过光谱注意力机制提取高光谱图像的光谱相关性特征，通过空间注意力机制提取多光谱图像的空间相似性特征，将获得的联合相似性特征用于指导高光谱图像和多光谱图像的融合；随后，将得到的融合特征输入到基于滑动窗口的残差Transformer深度网络中，探索融合特征的长距离依赖信息，学习深度先验融合知识；最后，特征通过卷积层映射为高空间分辨率的高光谱图像。结果 在CAVE和Harvard光谱数据集上分别进行了不同采样倍率下的实验，实验结果表明，与对比方法相比，本文方法从定量指标和视觉效果上，都取得了更好的效果。本文方法相较于性能第二的方法EDBIN （enhanced deep blind iterative network），在CAVE数据集上峰值信噪比提高了0.5 dB，在Harvard数据集上峰值信噪比提高了0.6 dB。结论 本文方法能够更好地融合光谱信息和空间信息，显著提升高光谱融合超分图像的质量。     

Kinect传感器的彩色和深度相机标定

目的 针对现有的Kinect传感器中彩色相机和深度相机标定尤其是深度相机标定精度差、效率低的现状,本文在现有的基于彩色图像和视差图像标定算法的基础上,提出一种快速、精确的改进算法。方法 用张正友标定法标定彩色相机,用泰勒公式化简深度相机中用于修正视差值的空间偏移量以简化由视差与深度的几何关系构建的视差畸变模型,并以该模型完成Kinect传感器的标定。结果 通过拍摄固定于标定平板上的标定棋盘在不同姿态下的彩色图像和视差图像,完成Kinect传感器的标定,获得彩色相机和深度相机的畸变参数及两相机之间的旋转和平移矩阵,标定时间为116 s,得到彩色相机的重投影误差为0.33,深度相机的重投影误差为0.798。结论 实验结果表明,该改进方法在保证标定精度的前提下,优化了求解过程,有效提高了标定效率。     

多层感知分解的全参考图像质量评估

目的 图像质量评估是计算机视觉、图像处理等领域的基础研究课题之一,传统评估方法常基于图像低层视觉特征而忽略了高层语义信息,这也在一定程度上影响了客观指标和主观视觉质量的一致性。近年来,感知损失被广泛应用于图像风格化、图像复原等研究中,通过使用预训练的深度网络对图像进行多层语义分解,在相关问题上取得了较好的效果。受感知损失启发,提出一种多层感知分解的全参考图像质量评估方法。方法 首先使用预训练的深度网络对图像进行多层语义分解,获取多层特征图,再计算失真图像与参考图像之间的相似度,以及它们的不同层级特征图之间的相似度,最终得出兼顾了高层语义信息的图像质量分数。结果 针对传统方法PSNR（peak signal-to-noise ratio）、SSIM（structure similarity）、MS-SSIM（multi-scale structure similarity）及FSIM（feature similarity）进行实验,结果表明,本文方法能够有效提升传统图像质量评估方法的性能,在SRCC（Spearman rank order correlation coefficient）、KRCC（Kendall rank order correlation coefficient）、PLCC（Pearson linear correlation coefficient）和RMSE（root mean squared error）客观指标上均有相应提升。通过使用本文框架,PSNR、SSIM、MS-SSIM、FSIM方法在TID2013数据库上SRCC指标分别获得0.02、0.07、0.06和0.04的提升。结论 本文提出的一种多层感知分解的全参考图像质量评估方法,结合传统方法与深度学习方法,兼顾了图像低层视觉特征和高层语义信息,从而有效地提升了传统方法的评估性能,使客观评估结果更加符合主观视觉感受,同时,本文提出的评估框架能够适用于多种传统方法的性能提升。     

结合梯度信息的特征相似性图像质量评估

目的 图像的边缘信息对于图像质量的评估非常重要.基于底层特征的图像质量评估算法(FSIM),虽然考虑了图像的底层特征,但该算法对边缘信息的识别能力不理想.针对以上问题,将FSIM算法与对边缘信息更敏感的梯度结构相似度(GSSIM)算法相结合得到一种既符合人眼视觉系统特点又能有效识别图像边缘的新的图像质量评估算法(FGSIM).方法 该算法将FSIM算法的相位一致性部分与GSSIM算法的提取图像信息的部分相结合从而得到一种新的图像质量评估算法FGSIM.其中,采用相位一致性表示图像的特征,用于保持评估算法接近人类视觉系统的特点,提取图像信息的部分通过图像的梯度来实现,用于更有效的识别图像边缘.结果 分别使用FSIM、GSSIM以及FGSIM算法对不同运动模糊程度、不同高斯模糊程度以及不同高斯噪声的图像进行质量评估,将得到的数据用曲线图表示,从图中可以看出:在运动模糊实验中,随图像模糊程度的增大,FGSIM算法的数值由0.8943下降到0.3443,变化更加明显,对运动模糊表现出更好的敏感性;在高斯模糊和高斯噪声实验中,FGSIM算法数值变化的程度虽然不如GSSIM算法好,但相较FSIM算法有一定的提高.FGSIM算法在公共测试图像库中与FSIM、GSSIM算法进行实验比较,FGSIM算法的散点图较FSIM算法稍差些,但与GSSIM算法相比具有非常大的改进,其散点图比GSSIM更为集中.采用较为常用的衡量评估方法性能的指标:皮尔逊相关系数、斯皮尔曼秩相关系数、KROCC 和均方根误差对评估算法的性能进行衡量,数据显示,FGSIM算法的性能比GSSIM算法好.结论 实验结果表明,FGSIM算法是一种既符合人眼视觉系统特点又能有效识别图像边缘的新的图像质量评估算法,该算法对边缘信息的识别能力更强,对图像质量的变化更加敏感.     

高速公路云台相机的自动标定

目的 云台相机因监控视野广、灵活度高,在高速公路监控系统中发挥出重要的作用,但因云台相机焦距与角度不定时地随监控需求变化,对利用云台相机的图像信息获取真实世界准确的物理信息造成一定困难,因此进行云台相机非现场自动标定方法的研究对高速公路监控系统的应用具有重要价值。方法 本文提出了一种基于消失点约束与车道线模型约束的云台相机自动标定方法,以建立高速公路监控系统的图像信息与真实世界物理信息之间准确描述关系。首先,利用车辆目标运动轨迹的级联霍夫变换投票实现纵向消失点的准确估计,其次以车道线模型物理度量为约束,并采用枚举策略获取横向消失点的准确估计,最终在已知相机高度的条件下实现高速公路云台相机标定参数的准确计算。结果 将本文方法在不同的场景下进行实验,得到在不同的距离下的平均误差分别为4.63%、4.74%、4.81%、4.65%,均小于5%。结论 对多组高速公路监控场景的测试实验结果表明,本文提出的云台相机自动标定方法对高速公路监控场景的物理测量误差能够满足应用需求,与参考方法相比较而言具有较大的优势和一定的应用价值,得到的相机内外参数可用于计算车辆速度与空间位置等。     

不同波长近红外光下手掌静脉图像质量分析

在手掌静脉成像系统中,为对光源波长和成像质量之间的关系进行研究,对手掌皮肤中的表皮层、真皮层和脂肪层在近红外光下的吸收、散射光学特性建立数学模型,并对在760 nm、850 nm、890 nm和960 nm四种单波长近红外光下图像质量的影响因素进行分析。在上述四种单波长及其六种混合波长下,利用图像对比度作为图像质量评价标准,对2 500张掌脉图像进行了预处理和图像质量对比分析。实验结果和理论分析表明,在混合波长760 nm+960 nm下,最大程度保留了静脉信息。     

基于岭回归的四带图像偏色校正算法

对于在可见光范围拍摄的图像中混入近红外光引起的图像偏色问题,传统监控系统采用机械切换的红外截止滤镜来实现日夜拍摄模式的切换,但这容易产生机械故障,影响成像.本文在不改变原来CCD或CMOS传感器的基础上,采用可见光加850 nm双峰滤镜替代传统机械切换滤镜,但仍存在850 nm红外串扰问题.为解决红外干扰,本文抛弃传统的红外干扰图像偏色校正分析方法,从传感器受近红外光的影响分析入手,通过岭回归的彩色定标方法对相机自身的光谱特性进行校正.这个过程即拟合了摄像头拍摄三带图像时启用红外截止滤镜的状态.首先在实验室黑暗环境中,使用D65标准光源箱,并用850 nm的近红外光源直射已经移除红外截止滤镜的摄像头,在棚中拍摄潘通色卡的四带图像（RGB三带与IR近红外带）;随后关闭近红外光源,同机位拍摄潘通色卡的三带图像.根据岭回归算法进行彩色定标,获取三带图像与四带图像之间的校正矩阵,用于四带图像色彩校正,获得色彩自然的图像.     

手指静脉识别传感器的光源设计

针对手指静脉图像采集系统中近红外LED光源的光强均匀性相对较差的问题,设计了一种等边三角形结构的光源阵列.通过应用近红外LED光源的数学模型和斯派罗法则优化两个相邻光源的距离,确定了两颗光源之间的最优距离为6.26 mm,对该光源阵列进行仿真形成面积为10 mm ×20 mm的均匀光照区域.对此光源阵列进行硬件实验,证明等边三角形结构的光源阵列比单排的光源阵列在均匀性和图像质量上更加突出.     

阵列相机多光谱图像采集技术

过去几年里,开展了大量的多光谱图像采集领域的研究工作,但主要采用的是轮盘变换式的多光谱图像采集系统。近来,一种新的多光谱图像采集方法被提出,基于阵列相机延伸范围来形成多个通道,因此引入多光谱阵列相机的概念。本文构造基于阵列相机的多光谱图像采集系统。该阵列相机采用12个大恒DH-HV1300FM型相机,11个镜头装有波长不同的滤光片。本文结合阵列相机多通道数的优势,提出一种光谱反射率重建算法,能够可靠并有效地重建场景的光谱反射率。仿真实验结果验证了该系统的有效性。     

多发光目标的高速跟踪

研究了一种基于高速图像采集与处理的多发光目标跟踪技术.采用现场可编程门阵列(FPGA)形成高速Camera Link CMOS相机的图像采集与实时处理系统.通过对图像数据进行开窗、求重心等算法处理,实现对多发光目标的跟踪,并搭建由直流电机驱动、具有两个LED光源的发光靶标进行跟踪测试.测试结果表明:相机输出帧频100 Hz时,运动目标相对于相机角速度达1.93 rad/s,仍可实时跟踪.系统的跟踪能力正比于相机帧频.     

基于指部关联特征的多模态图像采集系统

针对基于单个生物特征的身份认证安全性和稳定性不足的问题,设计了基于指部关联特征的多模态图像采集系统,采用单个双波段摄像头分时采集同一根手指的指纹、指节纹和指静脉图像。指纹和指节纹采用非接触反射采集方式,指静脉采用单侧近红外光源与反射镜面相结合的透射采集方式,并根据静脉图像质量评价动态调控光源,根据特征点信息量动态调整各个特征的权重。实验结果表明,该多模态采集系统在认证通过率、误识率和拒登率等指标都优于指纹或指静脉的单模态采集系统,认证通过率达到99.1%,误识率为0.000 1%,不存在拒登现象。     

ASRNet: Adversarial Segmentation and Registration Networks for Multispectral Fundus Images

Multispectral imaging (MSI) technique is often used to capture images of the fundus by illuminating it with different wavelengths of light. However, these images are taken at different points in time such that eyeball movements can cause misalignment between consecutive images. The multispectral image sequence reveals important information in the form of retinal and choroidal blood vessel maps, which can help ophthalmologists to analyze the morphology of these blood vessels in detail. This in turn can lead to a high diagnostic accuracy of several diseases. In this paper, we propose a novel semi-supervised end-to-end deep learning framework called “Adversarial Segmentation and Registration Nets” (ASRNet) for the simultaneous estimation of the blood vessel segmentation and the registration of multispectral images via an adversarial learning process. ASRNet consists of two subnetworks: (i) A segmentation module S that fulfills the blood vessel segmentation task, and (ii) A registration module R that estimates the spatial correspondence of an image pair. Based on the segmention-driven registration network, we train the segmentation network using a semi-supervised adversarial learning strategy. Our experimental results show that the proposed ASRNet can achieve state-of-the-art accuracy in segmentation and registration tasks performed with real MSI datasets.     

Airborne Vision-Based Navigation Method for UAV Accuracy Landing Using Infrared Lamps

In this paper, an airborne vision-based navigation method for Unmanned Aerial Vehicle (UAV) accuracy landing is presented. In this method, a visible light camera integrated with a Digital Signal Processing (DSP) processor is installed on the UAV and a 940 nm optical filter is fixed in front of the camera lens. In addition, four infrared light-emitting diode (LED) lamps whose emission wavelengths are 940 nm are placed behind ideal landing site on the runway. In this way, the infrared lamps in the image are distinct even if the image background is complicated. In the image processing procedure, firstly maximum between-class variance algorithm and region growing algorithm are used to determine candidate infrared lamp regions in the images. Then Negative Laplacian of Gaussian (NLOG) operator is applied to detect and track centers of the infrared lamps in the images. The space position and attitude of the camera can be obtained according to the corresponding relationship between image coordinates and space coordinates of the infrared lamp centers. Finally, high precision space position of the UAV can be calculated according to the installation relationship between the camera and the UAV. Plenty of real flight and static precision experiments have proved the validity and accuracy of the proposed method.     

应用引导滤波器和成像系统特性的多光谱与全色图像融合算法

为了提高多光谱与全色图像融合的质量,提出一种应用引导滤波器和成像系统特性的多光谱与全色图像融合算法。该算法采用引导滤波器建立降质全色图像与多光谱图像的关系,进而利用这种关系对多光谱图像进行插值;再对待融合的多光谱和全色图像进行区域划分和NSCT变换,然后结合LCCS、FOCC和图像成像系统特征对图像高频系数进行区域融合,最后进行逆NSCT变换得到融合图像。实验数值表明,该算法在充分保留了多光谱图像光谱信息的同时,尽可能多地注入了全色图像的细节信息,提高了多光谱图像的融合效果。     

改进NSCT和IHS变换相结合的遥感影像融合

目的 目的为了增强多光谱和全色影像融合质量,提出基于脉冲耦合神经网络（PCNN）的非下采样Contoulet变换（NSCT）和IHS变换相结合的融合方法。方法 先对多光谱图像进行IHS变换提取亮度I分量,采用主成分分析增强I分量得到新的I⁺分量;然后通过NSCT变换分别对I⁺分量和全色图像进行分解,并采用边缘梯度信息激励的PCNN得到融合图像的低频和高频分量;最后进行NSCT逆变换、IHS逆变换得到融合图像。结果 利用资源一号02C卫星数据进行实验,结果表明该算法在保留光谱信息的同时提高了图像空间分辨率,获得了较好的融合效果。结论 结合NSCT和IHS变换的融合方法在视觉效果和客观评价指标上都优于常用的图像融合方法。