Study on traffic scene semantic segmentation method based on convolutional neural network

In order to improve the semantic segmentation accuracy of traffic scene,a segmentation method was proposed based on RGB-D image and convolutional neural network.Firstly,on the basis of semi-global stereo matching algorithm,the disparity map was obtained,and the sample library was established by fusing the disparity map D and RGB image into the four-channel RGB-D image.Then,with two different structures,the networks were trained by using two different learning rate adjustment strategy respectively.Finally,the traffic scene semantic segmentation test was carried out with RGB-D image as the input,and the results were compared with the segmentation method based on RGB image.The experimental results show that the proposed traffic scene segmentation algorithm based on RGB-D image can achieve higher semantic segmentation accuracy than that based on RGB image.     

基于改进双目视觉算法的三维重建研究

为解决现有立体匹配算法在图像弱纹理等区域鲁棒性差以及模型参数较大的问题,对PSMNet立体匹配方法进行改善,通过使用空洞空间卷积池化金字塔结构(atrous spatial pooling pyramid,ASPP)提取图像在不同尺度下的空间特征信息。随后引入通道注意力机制,给予不同尺度的特征信息相应的权重。融合以上信息构建匹配代价卷,利用沙漏形状的编解码网络对其进行规范化操作,从而确定特征点在各种视差情况下的相互对应关系,最后采用线性回归的方法得到相应的视差图。与PSMNet相比,该研究在SceneFlow和KITTI2015数据集里的误差率各自减少了14.6%和11.1%,且计算复杂度下降了55%。相比较于传统算法,可以改善视差图精度,提升三维重建点云数据质量。     

基于多任务学习的立体匹配算法

引入辅助任务信息有助于立体匹配模型理解相关知识,但也会增加模型训练的复杂度。为解决模型训练对额外标签数据的依赖问题,提出了一种利用双目图像的自相关性进行多任务学习的立体匹配算法。该算法在多层级渐进细化过程中引入了边缘和特征一致性信息,并采用循环迭代的方式更新视差图。根据双目图像中视差的局部平滑性和左右特征一致性构建了损失函数,在不依赖额外标签数据的情况下就可以引导模型学习边缘和特征一致性信息。提出了一种尺度注意的空间金字塔池化,使模型能够根据局部图像特征来确定不同区域中不同尺度特征的重要性。实验结果表明:辅助任务的引入提高了视差图精度,为视差图的可信区域提供了重要依据,在无监督学习中可用于确定单视角可见区域;在KITTI2015测试集上,所提算法的精度和运行效率均具有一定的竞争力。     

融合梯度特性与置信度的立体匹配算法

针对现有局部立体匹配算法在计算匹配代价时, 不能很好区分强弱纹理区域,及在视差计算过程 中,不能很好的解决视差歧义问题,提出一种融合梯度特性与置信度的立体匹配算法。首先 计算梯度特 征,并根据梯度特征信息选择匹配代价计算的匹配窗口,针对强弱不同纹理区域选择不同尺 寸的匹配窗 口,有效的提高了立体匹配精度,降低了误匹配率;然后在视差计算中引入置信度约束条件 ,解决了视差 计算中视差歧义的问题,提高了立体匹配算法的稳定性与精度;最后使用水平与垂直方向交 叉区域检测进 行奇异值的修正。实验结果表明,该算法在Middlebury数据集中31对 立体图像对的平均误匹配率为7.96%,有效的提高了立体匹配精度。     

基于深度学习的散斑投影轮廓术

针对传统的单幅散斑图像匹配算法测量精度低且无法测量复杂面型物体等问题,提出了一种基于深度学习的散斑投影轮廓术,即通过深度学习的方法实现散斑图像的逐像素匹配。设计利用孪生卷积神经网络结构,将目标散斑图像和参考散斑图像以图像块的形式输入神经网络。通过卷积层运算提取散斑图像块的特征信息,进而将子网络得到的特征信息融合为两个图像块之间的匹配系数,以获得散斑图像的视差数据,并最终可将视差数据转化为物体的三维信息。实验结果表明,该方法可以通过单幅散斑图像实现精度约为290 μm的三维轮廓测量。     

实时自适应的立体匹配网络算法

立体匹配是一个经典的计算机视觉问题。采用传统方法或卷积神经网络（CNN）方法的立体匹配,其精确度和实时性不能满足实际的在线应用。针对该问题,本文提出一种实时自适应的立体匹配网络算法,通过引入一种新的轻量级的、有效的结构模块自适应立体匹配网络（Modularly Adaptive Stereo Network,MASNet）,在网络中嵌入无监督损失模块和残差细分模块,使立体匹配的准确性和实时性得到提高。实验结果表明,本文方法相比具有相似复杂度的模型,精确度更高,并且能以平均约25帧每秒的处理速度达到在线使用的要求。      

Novel shrinking residual convolutional neural network for efficient accurate stereo matching

For stereo matching based on patch comparing using convolutional neural networks (CNNs), the matching cost estimation is highly dependent on the network structure, and the patch comparing is time consuming for traditional CNNs. Accordingly, we propose a stereo matching method based on a novel shrinking residual CNN, which consists of convolutional layers and skip-connection layers, and the size of the fully connected layers decreases progressively. Firstly, a layer-by-layer shrinking size model is adopted for the full-connection layers to greatly increase the running speed. Secondly, the convolutional layer and the residual structure are fused to improve patch comparing. Finally, the Loss function is re-designed to give higher weights to hard-classified examples compared with the standard cross entropy loss. Experimental results on KITTI2012 and KITTI2015 demonstrate that the proposed method can improve the operation speed while maintaining high accuracy.     

红外与可见光图像多尺度Transformer融合方法

目前主流的深度融合方法仅利用卷积运算来提取图像局部特征,但图像与卷积核之间的交互过程与内容无关,且不能有效建立特征长距离依赖关系,不可避免地造成图像上下文内容信息的丢失,限制了红外与可见光图像的融合性能。为此,本文提出了一种红外与可见光图像多尺度Transformer融合方法。以Swin Transformer为组件,架构了Conv Swin Transformer Block模块,利用卷积层增强图像全局特征的表征能力。构建了多尺度自注意力编码-解码网络,实现了图像全局特征提取与全局特征重构;设计了特征序列融合层,利用SoftMax操作计算特征序列的注意力权重系数,突出了源图像各自的显著特征,实现了端到端的红外与可见光图像融合。在TNO、Roadscene数据集上的实验结果表明,该方法在主观视觉描述和客观指标评价都优于其他典型的传统与深度学习融合方法。本方法结合自注意力机制,利用Transformer建立图像的长距离依赖关系,构建了图像全局特征融合模型,比其他深度学习融合方法具有更优的融合性能和更强的泛化能力。     

采用卷积神经网络的红外和可见光图像块匹配

红外和可见光图像块匹配在视觉导航和目标识别等任务中有着广泛的应用。由于红外和可见光传感器有不同的成像原理,红外和可见光图像块匹配更加具有挑战。深度学习在可见光领域图像的块匹配上取得了很好的性能,但是它们很少涉及到红外和可见光的图像块。文中提出了一种基于卷积神经网络的红外和可见光的图像块匹配网络。此网络由特征提取和特征匹配两部分组成。在特征提取过程中,使用对比和三重损失函数能够最大化不同类的图像块的特征距离,缩小同一类图像块的特征距离,使得网络能够更加关注于图像块的公共特征,而忽略红外和可见光成像之间差异。在红外和可见光图像中,不同尺度的空间特征能够提供更加丰富的区域和轮廓信息。红外和可见光图像块的高层特征和底层特征融合可以有效地提升特征的表现能力。改进后的网络相比于先前卷积神经匹配网络,准确率提升了9.8%。     

基于生成对抗网络的高光谱图像分类

为了解决简单卷积神经网络(convolutional neural network,CNN)不能有效提取与充分利用高光谱图像特征信息的问题,提出了一种基于残差网络的多层特征匹配生成对抗网络模型.提出的模型引入残差网络以挖掘高光谱图像的深层特征,生成可分性更高的高光谱图像,并通过一个特征融合层进行特征融合,充分利用网络的...     

基于无预训练卷积神经网络的红外车辆目标检测

为解决基于卷积神经网络的目标检测算法对预训练权重的过度依赖,特别是数据稀缺条件下的红外场景目标检测,提出了融入注意力模块来缓解不进行预训练所带来的检测性能下降的方法.本文基于YOLO v3算法,在网络结构中融入模仿人类注意力机制的SE和CBAM模块,对提取的特征进行通道层面和空间层面的重标定.根据特征的重要程度,自适应...     

基于模糊集的神经网络景象匹配算法

将神经网络思想引入到景象匹配,提出了基于模糊集的神经网络景象匹配算法。该算法将图像模糊集作为特征空间,尝试了在模糊域中采用3层前向神经网络搜索算法进行精确寻优的方法。实验结果表明,设计的算法不但较好地满足了景象匹配系统对匹配概率和匹配精度的要求,而且比传统算法具有更高的抗干扰能力,且实时性也较好,为飞行器实时景象匹配提供了一种可行方法。     

基于多模态融合的2D MR脑肿瘤图像分割算法研究

针对不同模态MR脑肿瘤图像呈现的肿瘤状态差异以及卷积神经网络(convolutional neural networks, CNNs)提取特征局限性的问题,提出了一种基于多模态融合的MR脑肿瘤图像分割方法。分割模型以U-net网络为原型,创新一种多模态图像融合方式以加强特征提取能力,同时引入通道交叉注意力机制(channel cross transformer, CCT)代替U-net中的跳跃连接结构,进一步弥补深浅层次的特征差距与空间依赖性,有效融合多尺度特征,加强对肿瘤的分割能力。实验在BraTS数据集上进行了多目标分割结果验证,通过定量分析对比前沿网络分割结果,表明该方法确有良好的分割性能,其分割出三种肿瘤区域的Dice系数分别达到80%、74%、71%。     

A new deep spatial transformer convolutional neural network for image saliency detection

In this paper we propose a novel deep spatial transformer convolutional neural network (Spatial Net) framework for the detection of salient and abnormal areas in images. The proposed method is general and has three main parts: (1) context information in the image is captured by using convolutional neural networks (CNN) to automatically learn high-level features; (2) to better adapt the CNN model to the saliency task, we redesign the feature sub-network structure to output a 6-dimensional transformation matrix for affine transformation based on the spatial transformer network. Several local features are extracted, which can effectively capture edge pixels in the salient area, meanwhile embedded into the above model to reduce the impact of highlighting background regions; (3) finally, areas of interest are detected by means of the linear combination of global and local feature information. Experimental results demonstrate that Spatial Nets obtain superior detection performance over state-of-the-art algorithms on two popular datasets, requiring less memory and computation to achieve high performance.     

基于深度特征提取和图神经网络匹配的图像复制粘贴篡改检测

针对图像中特征提取不均匀、单尺度超像素划分对伪造定位结果影响较大的问题,提出一种基于深度特征提取和图神经网络(graph neural network,GNN) 匹配的图像复制粘贴篡改检测(cope-move forgery detection,CMFD) 算法。首先将图像进行多尺度超像素分割并提取深度特征,为保证特征点数目充足,以超像素为单位计算特征点分布的均匀度,自适应降低特征提取阈值;随后引入新的基于注意力机制的GNN特征匹配器,进行超像素间的迭代匹配,且用随机采样一致性(random sample consensus,RANSAC) 算法消除误匹配;最后将多尺度匹配结果进行融合,精确定位篡改区域。实验表明,所提算法具有良好的性能,也证明了GNN在图像篡改检测领域的可用性。     

Stereoscopic ranging by matching image modulations

We apply an AM-FM surface albedo model to analyze the projection of surface patterns viewed through a binocular camera system. This is used to support the use of modulation-based stereo matching where local image phase is used to compute stereo disparities. The local image phase is an advantageous feature for image matching, since the problem of computing disparities reduces to identifying local phase shifts between the stereoscopic image data. Local phase shifts, however, are problematic at high frequencies due to phase wrapping when disparities exceed +/-pi. We meld powerful multichannel Gabor image demodulation techniques for multiscale (coarse-to-fine) computation of local image phase with a disparity channel model for depth computation. The resulting framework unifies phase-based matching approaches with AM-FM surface/image models. We demonstrate the concepts in a stereo algorithm that generates a dense, accurate disparity map without the problems associated with phase wrapping.     

基于引导滤波及视差图融合的立体匹配

立体匹配是双目视觉领域的重要研究方向.为在保证图片纹理区域匹配精度的同时降低弱纹理区域的误匹配率,提出一种基于引导滤波及视差图融合的立体匹配方法.首先,根据图像颜色相似性将图片划分为纹理较丰富区域和弱纹理区域.接着,分别采用不同参数的引导滤波进行代价聚合及视差计算,得到两张视差图.然后依据纹理区域划分的结果对获得的两张视差图进行融合.最后,通过左右一致性检测、加权中值滤波等视差优化步骤得到最终视差图.对Middlebury测试平台上标准图像对的实验结果表明,该方法在6组弱纹理图像上的平均误匹配率为9.67％,较传统引导滤波立体匹配算法具有更高的匹配精度.     

改进的全卷积神经网络的脑肿瘤图像分割

针对现有机器学习算法分割脑肿瘤图像精度不高的问题,提出一种基于改进的全卷积神经网络的脑肿瘤图像分割算法。算法首先将FLAIR、T2和T1C三种模态的MR脑肿瘤图像进行灰度归一化,随后利用灰度图像融合技术得到肿瘤信息更加全面的预处理图像;然后采用融合三次脑肿瘤特征信息的改进全卷积神经网络对预处理图像进行粗分割,并且在每个卷积层后加入批量正则化层以加快网络训练的收敛速度,提高训练模型精度;最后融合全连接条件随机场细化粗分割结果中的脑肿瘤边界。实验结果表明,相较于传统的卷积神经网络脑肿瘤图像分割算法,本算法在分割精度和稳定性上有了较大提升,平均Dice可达91.29%,实时性较好,利用训练模型平均1s内可完成单张脑肿瘤图像的分割。      

基于深度学习与特征融合的人脸识别算法

卷积神经网络在人脸识别研究上有较好的效果,但是其提取的人脸特征忽略了人脸的局部结构特征。针对此问题,文中提出一种基于深度学习与特征融合的人脸识别方法。该算法将局部二值模式信息与原图信息相结合作为SDFVGG网络的输入,使得提取的人脸特征更加丰富且更具表征能力。其中,SDFVGG网络是将VGG网络进行深浅特征相融合后的网络。在CAS-PEAL-R1人脸数据库上的实验表明,将网络深浅特征相融合与在卷积神经网络中加入LBP图像信息与原图信息相融合的特征信息对于提高人脸识别准确率非常有效,可得到优于传统算法和一般卷积神经网络的最高98.58%人脸识别率。     

基于YOLO-MIR算法的多尺度红外目标检测网络

针对红外图像相对于可见光检测精度低,鲁棒性差的问题,提出了一种基于YOLO的多尺度红外图目标检测网络YOLO-MIR（YOLO for Multi-scale IR image）。首先,为了提高网络对红外图像的适应能力,改进了特征提取以及融合模块,使其保留更多的红外图像细节。其次,为增强对多尺度目标的检测能力,增大了融合网络的尺度,加强红外图像特征的进一步融合。最后,为增加网络的鲁棒性,设计了针对红外图像的数据增广算法。设置消融实验评估不同方法对网络性能的影响,结果表明在红外数据集下网络性能得到明显提升。与主流算法YOLOv7相比在参数量不变的条件下平均检测精度提升了3%,提高了网络对红外图像的适应能力,实现了对各尺度目标的精确检测。