彩色图像多尺度引导的深度图像超分辨率重建

为获得更优的深度图像超分辨率重建结果,本文构建了彩色图像多尺度引导深度图像超分辨率重建卷积神经网络。该网络使用多尺度融合方法实现高分辨率(HR)彩色图像特征对低分辨率(LR)深度图像特征的引导,有益于恢复图像细节信息。在对LR深度图像提取特征的过程中,构建了多感受野残差块(MRFRB)提取并融合不同感受野下的特征,然后将每一个MRFRB输出的特征连接、融合,得到全局融合特征。最后,通过亚像素卷积层和全局融合特征,得到HR深度图像。实验结果表明,该算法得到的超分辨率图像缓解了边缘失真和伪影问题,有较好的视觉效果。     

基于傅里叶卷积和多特征调制的图像修复网络

目的 解决大面积破损难以修复且修复过程中感受野、特征空间信息利用不足，导致修复后的孔洞区域与背景之间出现结构、纹理、风格不一致的问题。方法 基于傅里叶卷积和多特征调制的修复网络FFC-MFMGAN，傅里叶卷积在网络的浅层便具有较大的感受野，尤其是在宽掩码时能够跳过掩码区域，捕获到有效特征，多特征调制生成网络能够分别利用完整区域的信息和随机样式操纵，增强与未受损区域的语义连贯性，以及大空洞率下修复的多样性。结果 在Place 2数据集上，将文中方法与其他图像修复方法进行了对比实验，经过测试，各类指标均得到明显改善，峰值信噪比提高了1.4%，结构相似性提高了4.5%，平均绝对误差降低了12.6%，基于学习的感知图像块相似性降低了9.1%。结论 FFC-MFMGAN网络能够较好地修复大面积不规则孔洞，同时增强修复图像的全局结构性和清晰度，对实际包装印刷图像的缺陷修复也有一定参考价值。     

基于U型全卷积神经网络的路面裂缝检测

路面裂缝检测是道路运营和维护的一项重要工作,由于裂缝没有固定形状而且纹理特征受光照影响大,基于图像的精确裂缝检测是一项巨大的挑战。本文针对裂缝图像的特点,提出了一种U型结构的卷积神经网络UCrackNet。首先在跳跃连接中加入Dropout层来提高网络的泛化能力;其次,针对上采样中容易产生边缘轮廓失真的问题,采用池化索引对图像边界特征进行高保真恢复;最后,为了更好地提取局部细节和全局上下文信息,采用不同扩张系数的空洞卷积密集连接来实现感受野的均衡,同时嵌入多层输出融合来进一步提升模型的检测精度。在公开的道路裂缝数据集CrackTree206和AIMCrack上测试表明,该算法能有效地检测出路面裂缝,并且具有一定的鲁棒性。     

一种并行混合注意力的渐进融合图像增强方法

针对低照度图像增强过程中出现的色彩失真、噪声放大和细节信息丢失等问题，提出一种并行混合注意力的渐进融合图像增强方法 (progressive fusion of parallel hybrid attention,PFA)。首先，设计多尺度加权聚合网络(multiscale weighted aggregation,MWA)，通过聚合不同感受野下学习到的多尺度特征，促进局部特征的全域化表征，加强原始图像细节信息的保留；其次，提出并行混合注意力结构(parallel hybrid attention module,PHA)，利用像素注意力和通道注意力并联组合排列，缓解不同分支注意力分布滞后造成的颜色差异，通过相邻注意力间的信息相互补充有效提高图像的色彩表现力并弱化噪声；最后，设计渐进特征融合模块(progressive feature fusion module,PFM)，在三个阶段由粗及细对前阶段输入特征进行再处理，补充因网络深度增加造成的浅层特征流失，避免因单阶段特征堆叠导致的信息冗余。LOL、DICM、MEF和LIME数据集上的实验结果表明，本文方法在多个评价指标上的表现均优于对比...     

基于EILBP视觉描述子结合PLSA的场景分类算法

针对场景分类问题,本文提出一种基于图像局部边缘区域的EILBP(Edge Improved Local Binary Pattern)视觉特征描述结合PLSA模型场景分类方法.EILBP视觉特征通过利用局部边缘区域的梯度、方向分布与特征的局部空间分布等信息对图像进行充分合理地描述.首先对场景图像边缘轮廓稠密采样,得到以稠密采样点为中心的图像局部边缘区域并提取区域的EILBP特征作为视觉词汇,对视觉词汇聚类形成视觉词汇表(码本);然后,用词袋(BOW,Bag-Of-Words)模型描述图像;最后,利用PLSA模型对图像的词袋模型进行潜在语义挖掘并用判定式KNN分类器进行场景分类,得到测试图像集合的混淆矩阵.在多类场景图像上的实验表明,本文所用的方法不需要对场景内容进行人工标注,具有较高的分类准确率,且对具有边缘轮廓的图像分类精度较高.     

基于卷积神经网络和Transformer网络的鸟声识别

针对传统鸟声识别算法中特征提取方式单一、分类识别准确率低等问题,提出一种结合卷积神经网络和Transformer网络的鸟声识别方法。该方法综合考虑网络局部特征学习和全局上下文依赖性构造,从原始鸟声音频信号中提取短时傅里叶变换(Short Time Fourier Transform,STFT)语谱图特征,将其输入到卷积神经网络(ConvolutionalNeural Network,CNN)中提取局部频谱特征信息,同时提取鸟声信号的对数梅尔特征及一阶差分、二阶差分特征用于合成梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient,MFCC)混合特征向量,将其输入到Transformer网络中获取全局序列特征信息,最后融合所提取的特征可得到更丰富的鸟声特征参数,通过Softmax分类器得到鸟声识别结果。在Birdsdata和xeno-canto鸟声数据集上进行实验,平均识别准确率分别达到了97.81%和89.47%。实验结果表明该方法相较于其他现有的鸟声识别模型具有更高的识别准确率。     

基于双频域特征聚合的低照度图像增强

针对低照度图像质量较差、噪声多、纹理模糊等问题,提出一种基于双频域特征聚合的低照度增强网络(dual frequency-domain feature aggregation network, DF-DFANet)。首先,构建频谱光照估计模块(frequency domain illumination estimation module, FDIEM)实现跨域特征提取,通过共轭对称约束调整频域特征图抑制噪声信号,并采用逐层融合方式提高多尺度融合效率以扩大特征图感受野范围。其次,设计多谱双注意力模块(multiple spectral attention module, MSAM)聚焦图像局部频率特征,通过小波域空间、通道注意力机制关注图像细节信息。最后,提出双域特征聚合模块(dual domain feature aggregation module, DDFAM)融合傅里叶域和小波域特征信息,利用激活函数计算自适应调整权重实现像素级图像增强,并结合傅里叶域全局信息提高融合效果。实验结果表明,在LOL数据集上所提网络的PSNR达到24.3714,SSIM达到0.8937。与对比网络相比,所提网络增强效果更具自然性。

     

用Gabor滤波实现虹膜图像纹理编码

针对虹膜纹理的幅度和相位信息特征,利用二维Gabor滤波器族可以很好地模拟皮层简单细胞的二维感受野轮廓,能够最大限度的提供图像局部方向和频率信息的特点,提出一种基于二维Gabor函数族对虹膜图像进行子块分解滤波的改进编码算法。实验结果表明,该方法能有效的提取虹膜纹理特征,从而达到虹膜识别的目的。     

基于二阶矩显著性估算的局部不变特征提取

借鉴图像显著性区域的检测思想,提出一种基于局部二阶矩显著性估算的局部不变特征提取算法.利用二阶矩矩阵对尺度空间下局部图像的各向异性程度的估算作用,在图像尺度空间中对局部特征提取区域的信息显著性进行评估,并根据显著性进行局部不变特征的提取,提取出拥有较高显著性的局部不变特征,增加了匹配特征点对的数量和尺度跨度.真实图像实验证明,该算法在保持局部特征各种不变性的基础上有效地提高了特征提取和匹配算法的性能.     

注意力机制及其在医学视觉任务中的作用研究

注意力机制模仿人类对特定信息的认知机制，放大关键细节，更多地关注数据本身，其本质就是定位感兴趣的信息，抑制无用信息。注意力也是一种对输入分配偏好的资源分配机制，计算一系列的注意力系数或权重参数。在计算机视觉领域中，注意力基于原有数据觅求信息间的关联，突出待处理对象的重要特征并捕捉图像感受野。本文基于注意力机制一般原理，阐释注意力之于神经网络的重要性，提升了神经网络近似复杂函数的能力，一定程度上缓解了深度神经网络“黑匣子”的不可解释问题。本文重点分析了基于自注意机制的Transformer：模型容量大、能更好地学习信息表征、可提取更高维的信息，以“长程依赖”的优势建模，克服CNN不能捕获图像全局信息的缺憾，是一种较强大的视觉识别工具。鉴于局部和全局特征对于医学图像分割这种密集的预测任务而言缺一不可，未来结合Transformer的整体捕获和CNN的局部提取工作将推动医学视觉任务的进一步突破。     

High-quality retinal vessel segmentation using generative adversarial network with a large receptive field

Retinal vessel segmentation is of great significance for assisting doctors in diagnosis of ophthalmological diseases such as diabetic retinopathy, macular degeneration and glaucoma. This article proposes a new retinal vessel segmentation algorithm using generative adversarial learning with a large receptive field. A generative network maps an input retinal fundus image to a realistic vessel image while a discriminative network differentiates between images drawn from the database and the generative network. Firstly, the proposed generative network combines shallow features with the upsampled deep features to assemble a more precise vessel image. Secondly, the residual module in the proposed generative and discriminative networks can effectively help deep nets easy to optimize. Moreover, the dilated convolutions in the proposed generative network effectively enlarge the receptive field without increasing the amount of computations. A number of experiments are conducted on two publicly available datasets (DRIVE and STARE) achieving the segmentation accuracy rates of 95.63% and 96.84%, and the average areas under the ROC curve of 98.12% and 98.53%. Performance results show that the proposed automatic retinal vessel segmentation algorithm outperforms state-of-the-art algorithms in many validation metrics. The proposed algorithm can not only detect small tiny blood vessels but also capture large-scale high-level semantic vessel features.     

基于GADF-CNN的滚动轴承故障诊断方法

针对一维信号作为卷积神经网络输入时无法充分利用数据间的相关信息的问题,提出GADF-CNN的轴承故障诊断模型。利用格拉姆角差域(GADF)对采集到的振动信号进行编码,可以很容易地进行角度透视,从而识别出不同时间间隔内的时间相关性并生产相应特征图,之后将其输入卷积神经网络(CNN)自适应的完成滚动轴承故障特征的提取与分类。为了验证模型性能,采用凯斯西储大学轴承数据集进行轴承故障诊断分析,同时引入常见神经网络作为对比,检验不同模型的分类性能。结果表明,相较于其他图像编码方式与神经网络,该模型在载荷变化以及噪声污染时,仍保持了良好的诊断性能。     

基于深度学习的图像分类算法框架研究

目的 提高图像分类精度是实现自动化生产的基础,提出一种更加准确的图像分类方法,使自动化包装和生产更加高效.方法 基于ResNeSt特征图组的思想,通过引入通道域和空间域注意力机制,并将自适应卷积核思想和Gem池化引入空间域注意力模块,从而使网络在空间域注意力机制中能够对不同图片使用不同的感受野使其关注更重要的部分,提出一种具有通道域和空间域注意力机制,且具有很好移植性的图像分类网络模型结构.结果 文中方法提高了图像分类准确度,在ImageNet数据集上,top-1准确度为81.39％.结论 文中提出的ResNeSkt算法框架优于目前的主流图像分类方法,同时网络整体结构具有很好的移植性,可以作为图像检测、语义分割等其他图像研究领域的主干网络.     

应用一种多核稀疏表示模型实现掌纹分类

与稀疏表示(SR)模型相比,基于单个核函数的SR(KSR)模型可以有效减少数据维数、降低学习模型的计算复杂度并提高特征分类精度;但这种模型对核函数及其参数的选择通常不能包含恰当的、完整的分类信息。为了满足更高的特征分类精度需求,提出了一种基于多个核函数的SR(M-KSR)模型及其快速稀疏优化方法,并将其应用于掌纹图像的分类。测试结果证明了基于M-KSR模型的掌纹分类方法的有效性和实用性。     

基于KSLPP与RWKNN的旋转机械故障诊断

针对旋转机械高维故障特征集识别精度低的问题,提出基于核监督局部保留投影（Kernel Supervised Locality Preserving Projection, KSLPP）与ReliefF特征加权的K近邻（ReliefF Weighted K-Nearest Neighbor, RWKNN）分类器相结合的维数约简故障诊断方法。该方法首先应用KSLPP提取故障特征集中的非线性信息,同时在降维投影过程中充分利用类别信息,使降维后最小化类内散度,最大化类间分离度;随后,将降维后得到的低维敏感特征集输入RWKNN进行模式识别,RWKNN能够突出不同特征对分类的贡献率,强化敏感特征,弱化不相关特征,提升了分类精度和鲁棒性。最后,通过典型转子实验台的故障特征集验证了该方法的有效性。     

An Image Edge Detection Algorithm Based on Multi-Feature Fusion

Edge detection is one of the core steps of image processing and computer vision. Accurate and fine image edge will make further target detection and semantic segmentation more effective. Holistically-Nested edge detection (HED) edge detection network has been proved to be a deep-learning network with better performance for edge detection. However, it is found that when the HED network is used in overlapping complex multi-edge scenarios for automatic object identification. There will be detected edge incomplete, not smooth and other problems. To solve these problems, an image edge detection algorithm based on improved HED and feature fusion is proposed. On the one hand, features are extracted using the improved HED network: the HED convolution layer is improved. The residual variable convolution block is used to replace the normal convolution enhancement model to extract features from edges of different sizes and shapes. Meanwhile, the empty convolution is used to replace the original pooling layer to expand the receptive field and retain more global information to obtain comprehensive feature information. On the other hand, edges are extracted using Otsu algorithm: Otsu-Canny algorithm is used to adaptively adjust the threshold value in the global scene to achieve the edge detection under the optimal threshold value. Finally, the edge extracted by improved HED network and Otsu-Canny algorithm is fused to obtain the final edge. Experimental results show that on the Berkeley University Data Set (BSDS500) the optimal data set size (ODS) F-measure of the proposed algorithm is 0.793; the average precision (AP) of the algorithm is 0.849; detection speed can reach more than 25 frames per second (FPS), which confirms the effectiveness of the proposed method.     

基于可变形密集卷积神经网络的布匹瑕疵检测

针对传统布匹瑕疵检测方法无法适用于尺度变化大、面积占比小的瑕疵特征,提出一种基于可变形密集卷积神经网络模型。为了关注到图像中距离较远的特征信息,并避免捕获纹理信息,采用可变形卷积来增强特征的语义表达能力。通过在卷积层中设置卷积像素相对于中心像素各自的x,y方向偏移量,并利用反向传播训练偏移量以增加感受野的变形适应性。同时,采用密集连接的方式以保持模型不遗漏边缘瑕疵信息。最后,根据瑕疵类别预测和位置边框回归实现瑕疵的分类和定位检测。实验结果表明:该模型的平均检测精度和单类目标检测精度标准差分别为93.53%,2.5139,相比于其他方法更具有竞争力。     

基于改进Faster R-CNN的纸病检测算法

目的 达到纸病检测中能够充分提取纸病特征、提高检测精度、降低小目标漏检率的目标。方法 基于Faster R-CNN的检测算法进行改进,主要改进的做法是利用深度残差网络ResNet-50替换原模型的骨干特征提取网络VGG16,以保留更多的纸病特征信息,增强特征网络对纸张缺陷的提取能力;在算法中添加空间和通道的双重注意力机制CBAM,用来提高纸病检测精度;将ROI-Pooling替换为ROI-Align,增强网络的泛化能力。结果 实验结果表明,改进后的算法平均精度达到98%,较原算法平均精度提升了9%。结论 改进后的算法能够充分提取纸病特征信息,有效提高了纸病的检测精度,以及提高了小目标纸病的检测率,降低了错漏检率。