基于照度与场景纹理注意力图的低光图像增强

目的 现有的低照度图像增强算法常存在局部区域欠增强、过增强及色彩偏差等情况,且对于极低照度图像增强,伴随着噪声放大及细节信息丢失等问题。对此,提出了一种基于照度与场景纹理注意力图的低光图像增强算法。方法 首先,为了降低色彩偏差对注意力图估计模块的影响,对低光照图像进行了色彩均衡处理;其次,试图利用低照度图像最小通道约束图对正常曝光图像的照度和纹理进行注意力图估计,为后续增强模块提供信息引导;然后,设计全局与局部相结合的增强模块,用获取的照度和场景纹理注意力估计图引导图像亮度提升和噪声抑制,并将得到的全局增强结果划分成图像块进行局部优化,提升增强性能,有效避免了局部欠增强和过增强的问题。结果 将本文算法与2种传统方法和4种深度学习算法比较,主观视觉和客观指标均表明本文增强结果在亮度、对比度以及噪声抑制等方面取得了优异的性能。在VV（Vasileios Vonikakis）数据集上,本文方法的BTMQI（blind tone-mapped quality index）和NIQMC（no-reference image quality metric for contrast distortion）指标均达到最优值;在178幅普通低照度图像上本文算法的BTMQI和NIQMC均取得次优值,但纹理突出和噪声抑制优势显著。结论 大量定性及定量的实验结果表明,本文方法能有效提升图像亮度和对比度,且在突出暗区纹理时,能有效抑制噪声。本文方法用于极低照度图像时,在色彩还原、细节纹理恢复和噪声抑制方面均具有明显优势。代码已共享在Github上：https://github.com/shuanglidu/LLIE_CEIST.git。     

基于层次化及最小二乘的精确图像配准

针对传统对数极坐标傅立叶变换(log-polar mapping based Fourier transform, LPMFT)在大尺度、大旋转及大平移变换情况下不能精确估计图像对之间的变换参数, 提出基于层次化及最小二乘的图像配准方法(multi-resolution analysis and least square optimization, MALSO): 首先, 使用小波变换将图像分解为多分层结构, 并将每层的低频部分作为待匹配图像; 其次, 在每层中, 引入窗口函数及自适应滤波函数以减少谱泄漏, 混叠及插值误差的影响; 最后, 构建一个代价函数, 并通过最小二乘法求解最优参数. 实验表明, 该方法既满足大尺度, 大旋转及大平移参数准确估计要求, 又比LPMFT对遮挡更具鲁棒性, 有一定的理论及应用价值.     

改进融合策略下透明度引导的逆光图像增强

目的 针对传统的逆光图像增强算法存在的曝光正常区域与逆光区域间阈值计算复杂、分割精度不足、过度曝光以及增强不足等问题,提出一种改进融合策略下透明度引导的逆光图像增强算法。方法 对逆光图像在HSV(hue, saturation, value)空间中的亮度分量进行亮度提升和对比度增强,然后通过金字塔融合策略对改进的亮度分量进行分解和重构,恢复逆光区域的细节和颜色信息。此外,利用深度抠图网络计算透明度蒙版,对增强的逆光区域与源图像进行融合处理,维持非逆光区域亮度不变。通过改进融合策略增强的图像在透明度引导下既有效恢复了逆光区域又避免了曝光过度的问题。结果 实验在多幅逆光图像上与直方图均衡算法、MSR (multi-scale Retinex)、Zero-DEC (zero-reference deep curve estimation)、AGLLNet (attention guided low-light image enhancement) 和LBR (learning-based restoration) 5种方法进行了比较,在信息熵(information entropy,IE)和盲图像质量指标(blind image quality indicators,BIQI)上,比AGLLNet分别提高了1.9%和10.2%;在自然图像质量评价(natural image quality evaluation,NIQE)方面,比Zero-DCE(zero-reference deep curve estimation)提高了3.5%。从主观评估上看,本文算法增强的图像在亮度、对比度、颜色及细节上恢复得更加自然,达到了较好的视觉效果。结论 本文方法通过结合金字塔融合技术与抠图技术,解决了其他方法存在的色彩失真和曝光过度问题,具有更好的增强效果。     

注意力引导的三流卷积神经网络用于微表情识别

目的 微表情识别在心理咨询、置信测谎和意图分析等多个领域都有着重要的应用价值。然而,由于微表情自身具有动作幅度小、持续时间短的特点,到目前为止,微表情的识别性能仍然有很大的提升空间。为了进一步推动微表情识别的发展,提出了一种注意力引导的三流卷积神经网络（attention-guided three-stream convolutionalneural network,ATSCNN）用于微表情识别。方法 首先,对所有微表情序列的起始帧和峰值帧进行预处理;然后,利用TV-L1（total variation-L1）能量泛函提取微表情两帧之间的光流;接下来,在特征提取阶段,为了克服有限样本量带来的过拟合问题,通过3个相同的浅层卷积神经网络分别提取输入3个光流值的特征,再引入卷积块注意力模块以聚焦重要信息并抑制不相关信息,提高微表情的识别性能;最后,将提取到的特征送入全连接层分类。此外,整个模型架构采用SELU（scaled exponential linear unit）激活函数以加快收敛速度。结果 本文在微表情组合数据集上进行LOSO（leave-one-subject-out）交叉验证,未加权平均召回率（unweighted average recall,UAR）以及未加权F1-Score（unweighted F1-score,UF1）分别达到了0.735 1和0.720 5。与对比方法中性能最优的Dual-Inception模型相比,UAR和UF1分别提高了0.060 7和0.068 3。实验结果证实了本文方法的可行性。结论 本文方法所提出的微表情识别网络,在有效缓解过拟合的同时,也能在小规模的微表情数据集上达到先进的识别效果。     

基于置信度的深度图融合

由于匹配信息弱或噪声影响,深度计算精度难以保证,故深度图融合是多目立体视觉三维重建中的关键部分。为此,本文提出了一种基于置信度的抗噪融合算法。该方法首先对每幅深度图进行修正,利用一致性检测剔除大多数错误点并填补某些空洞。其次,通过保留那些在自身邻域内具有最高置信度的三维点以删除冗余。最后,将深度图反投影到三维空间,采用迭代最小二乘法进一步优化三维点并剔除离群点。通过在标准测试数据集上与其他算法比较,验证了该方法的有效性。     

沙尘图像色彩恢复及增强卷积神经网络

目的 在沙尘天气条件下,由于大气中悬浮微粒对入射光线的吸收和散射,户外计算机视觉系统所采集图像通常存在颜色偏黄失真和低对比度等问题,严重影响户外计算机视觉系统的性能。为此,提出一种带色彩恢复的沙尘图像卷积神经网络增强方法,由一个色彩恢复子网和一个去尘增强子网组成。方法 采用提出的色彩恢复子网(sand dust color correction, SDCC)校正沙尘图像的偏色,将颜色校正后的图像作为条件,输入到由自适应实例归一化残差块组成的去尘增强子网中,对沙尘图像进行增强处理。本文还提出一种基于物理光学模型的沙尘图像合成方法,并采用该方法构建了大规模的配对沙尘图像数据集。结果 对大量沙尘图像的实验结果表明,所提出的沙尘图像增强方法能很好地去除图像中的偏色和沙尘,获得正常的视觉颜色和细节清晰的图像。进一步的对比实验表明,该方法能取得优于对比方法的增强图像。结论 本文所提出的沙尘图像增强方法能很好地消除整体的黄色色调和尘霾现象,获得正常的视觉色彩和细节清晰的图像。     

一种基于GPU的快速半全局优化深度图计算方法

由于图像集规模巨大、匹配信息丰富,快速精准多视图立体匹配受计算效率严重制约。针对该问题,提出一种基于GPU的快速半全局优化深度图计算方法。首先,在CPU上通过平面扫描方法计算单张图像初始匹配代价。然后,提出GPU半全局优化并行计算架构,对匹配代价进行聚合,其核心算法为：在全局进行各方向聚合任务流并行以提升众核处理器的利用率;在局部通过将各像素计算任务准确分配到各线程块内实现并行处理,且注重GPU上数据重用以避免带宽限制。再通过GPU滤波剔除突变点进行图像增强。最后,将3维空间点在各深度图像上的一致性作为异常值检测和优化的约束条件。在多组数据集上测试结果显示,该方法计算速度最高为多核CPU系统中开启2线程实现方法的22.41倍,为开启8线程实现方法的9.13倍,且与两者精度相当;与同类深度图计算方法比较结果表明, 该方法在重建过程中加速效果均为其他算法的5倍及以上;通过使用开源点云比较软件在标准测试数据集上与其他算法比较,验证了该方法能有效提高重建结果的精度和完整度。     

结合内外先验知识的低照度图像增强与去噪算法

目的 现有大多数低照度图像增强算法会放大噪声,且用于极低照度图像时会出现亮度提升不足、色彩失真等问题。为此,提出一种基于Retinex(retina cortex)的增强与去噪方法。方法 为了增强极低照度图像,首先利用暗通道先验原理估计场景的全局光照,若光照低于0.5,对图像进行初始光照校正;其次,提出一种Retinex顺序分解模型,使低照度图像中的噪声均体现在反射分量中,基于分解结果,利用Gamma校正求取增强后的噪声图像;最后,提出一种基于内外双重互补先验约束的去噪机制,利用非局部自相似性原理为反射分量构建内部先验约束,基于深度学习,为增强后的噪声图像构建外部先验约束,使内外约束相互制约。结果 将本文算法与6种算法比较,在140幅普通低照度图像和162幅极低照度图像上（有正常曝光参考图像）进行主观视觉和客观指标评价比较,结果显示本文方法在亮度提升、色彩保真及去噪方面均有明显优势,对于普通低照度图像,BTMQI(blind tone-mapped quality index)和NIQE(natural image quality evaluator)指标均取得次优值,对于极低照度图像...