基于坐标—灰度交织映射的视频麦克风声音复原系统

区别于声学麦克风,视频麦克采用高帧率摄像机,利用声音震动引起周围物体的帧间图像细微差异,对声音进行复原。模拟人脑v2皮层位置亮度交织神经网络,提出一种基于二维对数的坐标—灰度交织映射算法。算法将视频帧图像矩阵与函数构造矩阵交织映射,产生混沌吸引子保留并放大帧间图像微差异,并构造基于该算法的视频麦克风声音复原系统。仿真实验表明,该视频麦克风系统可以从薯片袋子的高帧率视频中复原声音信号,相比于传统算法降低了40%的计算量,同时保持语音复原质量。     

融合视觉风格和标签约束的少数民族服装图像解析

目的 少数民族服装款式结构复杂,视觉风格各异。由于缺少民族服装语义标签、局部特征繁杂以及语义标签之间存在相互干扰等因素导致少数民族服装图像解析准确率和精度较低。因此,本文提出了一种融合视觉风格和标签约束的少数民族服装图像解析方法。方法 首先基于本文构建的包含55个少数民族的服装图像数据集,按照基本款式结构、着装区域、配饰和不同视觉风格自定义少数民族服装的通用语义标签和民族语义标签,同时设置4组标注对,共8个标注点;然后,结合自定义语义标签和带有标注对的训练图像,在深度完全卷积神经网络SegNet中加入视觉风格以融合局部特征和全局特征,并引入属性预测、风格预测和三元组损失函数对输入的待解析图像进行初步解析;最后,通过构建的标签约束网络进一步优化初步解析结果,避免标签相互干扰,得到优化后的最终解析结果。结果 在构建的少数民族服装图像数据集上进行验证,实验结果表明,标注对有效提升了局部特征的检测准确率,构建的视觉风格网络能够有效融合少数民族服装的全局特征和局部特征,标签约束网络解决了标签之间相互干扰的问题,在结合视觉风格网络和标签约束网络后,能够明显提升少数民族服装解析的平均精度,像素准确度达到了90.54%。结论 本文提出的融合视觉风格和标签约束的少数民族服装图像解析方法,能够提高少数民族服装图像解析的准确率和精度,对传承祖国文化、保护非物质文化遗产具有很好的意义。     

基于视觉感知机制的织物疵点轮廓检测

针对传统人工织物疵点检测存在的误检及低效等问题,提出了一种基于视觉感知机制的自适应织物疵点轮廓检测方法.首先,模拟视觉系统中视网膜感受野对视觉信息的处理机制对织物疵点图像进行滤波及疵点增强;其次,依据初级视皮层(V1)区对视觉信息响应的方向选择性机制构建织物疵点图像边缘检测模型,实现对织物疵点图像的边缘检测.最后,采用自适应阈值选择的方法对检测到的边缘进行二次处理,获得织物图像疵点的轮廓.为验证本文方法的有效性和准确性,对4类织物疵点图像进行测试,并定性和定量两方面进行比较分析,结果表明文中提出的方法能够较好地检测出织物疵点轮廓信息,不仅可以得到质量较高的织物疵点轮廓图像,而且在整个检测过程中能够自适应的选择参数,避免受人的主观因素影响,具有实际的应用价值.     

基于高精度流线生成的交互流场可视化

高效准确的流线绘制一直是流场可视化的重要研究内容,流线可以对流场的重要特征进行有效的稀疏表示,但流线需要长期的粒子追踪过程及大量的积分计算,在面向大规模流场可视化时时间效率较低,需要高性能计算设备进行辅助计算.本文通过设计一种基于深度学习的高精度流线生成算法,将初始的低精度流线快速映射为稠密的高精度流线,可以在较短的时间内快速生成可靠的流线可视化结果,并在此基础上设计了交互式实时流场可视化系统,涵盖了流场的特征检测,属性关联分析,信息论分析等,帮助用户快速了解流场数据,找到自己感兴趣的区域进行后续进一步深度分析,避免了获取过多冗余数据,同时优化了分析工作的效率,满足用户对于流场结构,特征属性等多维度进行关联分析的需求.     

基于生成感知差异的无参考图像质量评价模型

人眼视觉系统中的视觉感知差异是图像质量评价过程中的重要组成部分,通过感知失真图像与原始图像之间的视觉差异,可对图像的失真程度进行判断,然而在无参考图像质量评价中无法获取原始未失真的图像,且缺乏对失真图像的视觉感知差异。通过对深度学习中的生成对抗网络进行分析,提出一种基于生成视觉感知差异的无参考图像质量评价模型。利用生成对抗网络产生与失真图像相对应的视觉感知差异图像,并将其与失真图像输入质量评价网络以进一步学习图像的失真信息,从而达到评估图像质量的目的。在TID2008和TID2013数据库上的实验结果表明,与CNN、SOM、CORNIA等模型相比,该模型能够使失真图像质量预测准确度提升1个百分点以上,且对不同种类失真也表现出良好的预测性能。     

基于距离加权重叠度估计与椭圆拟合优化的精确目标跟踪算法

为解决判别式相关滤波（DCF）跟踪算法在跟踪目标旋转或非刚性形变时的模型漂移、尺度粗糙、跟踪失败问题,提出一种基于距离加权重叠度估计与椭圆拟合优化的精确目标跟踪算法（DWOP-EFO）。首先,同时采用矩形框之间的重叠度和中心距离作为动态锚框质量评价的依据,能够缩小预测结果与目标区域之间的空间距离,缓解模型漂移问题;其次,为了进一步提高跟踪精度,采用轻量化的目标分割网络将目标从背景中分割出来,再利用椭圆拟合算法对分割轮廓进行优化并输出稳定的旋转矩形框,实现对目标尺度的精确估计;最后,通过尺度置信度优化策略对置信度高的尺度结果实现门控输出。所提算法能缓解模型漂移问题,同时有利于增强跟踪器的鲁棒性和提升跟踪精度。在两个最为流行的评测数据集VOT2018和OTB100上进行了实验,结果表明：在VOT2018数据集上,所提算法的期望平均重叠率（EAO）指标比基于重叠度最大化准确跟踪算法（ATOM）提高2.2个百分点,相较于基于可学习的判别模型跟踪器（DiMP）提高1.9个百分点;同时,所提算法在OTB100评测数据集上的成功率指标比ATOM高出1.3个百分点,特别是在非刚性形变属性上效果显著。所提算法在评测数据集上的平均运行速率均超过25 frame/s实现了实时跟踪。     

基于级联生成对抗网络的遥感图像去雾方法

针对图像训练对的去雾算法难以应对遥感图像中训练样本对不足,且模型泛化的问题,提出一种基于级联生成对抗网络（GAN）的遥感图像去雾方法。为解决成对遥感数据集的缺失,提出了学习雾生成的U-Net GAN（UGAN）和学习去雾的像素注意GAN（PAGAN）。所提方法通过UGAN学习如何使用未配对的清晰遥感图像和带雾遥感图像集在保留遥感图像细节的同时对无雾图像进行加雾处理,然后引导PAGAN学习如何正确地对此类图像进行去雾。为了减少生成的带雾遥感图像和去雾后遥感图像之间的差异,在PAGAN中加入自我注意机制,用生成器从低分辨率图像中所有位置的细节线索生成高分辨率细节特征,用判别器检查图像远端部分的细节特征是否彼此一致。与特征融合注意网络（FFANet）、门控上下文聚合网络（GCANet）和暗通道先验（DCP）等去雾方法相比,级联GAN方法无需大量成对数据来反复训练网络。实验结果表明该方法能够有效地去除雾和薄云,在目视效果和定量指标上均优于对比方法。     

2021年42卷第3期

计算机视觉一直是人工智能研究的热点方向,经过近 60 年的发展,已经在算法、技术和应用等 方面取得了巨大的进步。近十年来,以大数据、大算力为基础的深度学习进一步推动计算机视觉走向大模型时 代,但其算法适应能力仍然和人类存在较大差距。本文从视觉任务评估评测(评测数据集、评测指标、评估方 式)出发,对计算机视觉的发展进行了总结,对现存的依赖大数据学习的计算机视觉发展问题进行了梳理和分 析,从人机对抗智能评测提出了计算机视觉下一步发展方向：视觉图灵。最后对视觉图灵发展方向进行了思考 和讨论,探讨了未来研究可能的方向。     

Two-level searching tracking algorithm based on fast Fourier transform

In order to solve the problems of appearance change, scale and rotation change in the visual tracking, a two-level searching tracking algorithm based on Fast Fourier Transform(FFT)is proposed. It achieves two-level searching by establishing the object's kernel ridge regression model in the Cartesian coordinates and log-polar coordinates, respectively, and the efficiency can be improved by transforming the operation into the frequency domain based on FFT. First, the kernel ridge regression model is constructed in the Cartesian coordinate and the object's center position is obtained by the exhaustive search method based on the circular structure matrix. Then, it transforms the object area to the log-polar coordinates and searches the shift using the kernel ridge regression model in the log-polar coordinates. Finally, the object's state is calculated according to the searching results and the object's model is updated. Experimental results indicate that the proposed algorithm not only can obtain a distinct improvement in coping with the appearance change, scale and rotation change, but also have a high tracking efficiency.     

融合特征关联性的深度哈希图像表示方法

针对深度描述子无法提供图像特征之间关联性的问题进行了研究,提出了一种融合特征关联性的深度哈希图像表示方法,这种方法将深度描述子之间的关系融入到图像内容的描述中,用于提高图像检索性能。首先,通过预训练网络生成图像的特征映射,并在此基础上提取出深度特征描述子。然后,将深度特征描述子映射为深度视觉词,从而用于深度视觉词的频繁项集发现。接下来将离散值的深度视觉词图像表示和哈希值的频繁项集图像表示连接生成图像表示。最后,算法通过图像类内、类间的相似性关系构造优化,得到最优的阈值,用于将图像表示变为哈希值。实验中,将提出的方法与一些优秀的图像表示方法在holiday、Oxford和Paris图像集的图像检索任务中进行了性能比对,用于证明此方法的有效性。