基于多尺度稠密卷积网络的单图像超分辨率重建

目的针对已有网络对于卷积特征图利用率低下,从而导致高倍数图像重建质量不高的情况,提出一种多尺度稠密卷积网络(SRMD)。方法对SRDenseNet的稠密连接模块进行改进,去除批规范化层,参考已有网络,设计多尺度特征提取层和1×1的信息整合层,从而构成多尺度稠密卷积模块。SRMD通过一个多尺度特征提取层堆叠64个底层特征图,再由8个多尺度稠密卷积模块经过稠密连接堆叠1024个特征图,最后通过信息整合和子像素卷积模块输出超分辨率重建图像。结果在Set5,Set14,B100和U100数据集上进行测试,SRMD重建图像的峰值信噪比分别为30.1570,26.9952,25.7860, 23.4821 dB,结构相似性分别为0.8813,0.7758,0.7243,0.7452。结论与已有网络相比,SRMD与DRCN,VDSR表现相当,优于SRDenseNet和BiCubic方法。     

结合基元对比度与边界先验的显著性区域检测

研究了对完成计算机视觉任务有重要作用的视觉显著性检测,考虑到单纯依靠对比度计算进行显著性检测具有一定的局限性,提出了一种结合基元对比度与边界先验信息的显著性区域检测算法。该算法通过Mean-Shift分割构造图像基元结构,以图像基元为基础,利用图像颜色和亮度两种特征获得基元对比度显著图,再利用图像边界先验条件得到边界显著图;为了突出显著性目标,采用一种新的融合方式将以上检测结果进行融合,最后对显著图像进行多尺度增强操作,以获得更加高质量的显著性图。在国际公开数据集上的实验表明,该算法与现有的较成熟的方法相比,基本符合人眼的主观判断,具有较高的精度召回率。     

基于动态加权的多尺度残差网络旋转机械故障诊断算法EI北大核心CSCD

针对传统的机械故障诊断方法特征提取困难问题,提出一种新颖的基于特征通道重标定的动态加权多尺度残差网络旋转机械故障诊断方法。将原始数据作为网络的输入,设计宽卷积层进行信息初步融合扩大模型的感受野;再分别构建三个独立的以残差块为基础的并行分支网络,通过设计多尺度卷积核分别从并行分支网络提取深度特征;接着设计动态加权层建立全局信息建模特征通道之间的动态非线性关系,对每个尺度的特征通道进行重标定,提高网络对故障信息的敏感性;将三个尺度的特征进行特征融合,通过分类器实现故障诊断。在多个数据集上进行试验,验证了该算法的有效性。     

基于浅层Inception-MobileNet旋转机械故障诊断

针对现有的旋转机械故障诊断算法存在着时频表示模糊、特征提取困难，从而导致故障诊断效率和精度低的问题，提出一种基于浅层Inception-MobileNet 的旋转机械故障诊断模型。该模型通过拼接法将原始振动信号转换为二维图像，然后采用多尺度卷积核提取不同分辨率的特征图，并结合深度可分离卷积实现特征学习与分类。该网络在CWRU数据集和MFPT数据集上分别实现了十种故障分类和三种故障分类，分类精度为99.5 %和95.78 %。与传统的网络进行比较，该网络可提高特征提取能力，并且在相同数据集上该网络实现的故障识别精度最高。     

改进密集连接卷积网络的滚动轴承故障诊断方法

针对滚动轴承工作环境噪声干扰较大、模型泛化能力不足、变工况诊断较难的问题,提出了一种改进密集连接卷积网络的故障诊断方法。将采集到的滚动轴承的原始时域信号作为模型输入,不需要任何数据处理,实现端到端的特征提取和分类任务。改进密集连接卷积网络在密集块中强调信息流动,增强特征复用,通过多尺度卷积层提取特征,利用注意力机制对多尺度特征通道加权。在堆叠的密集块和池化层完成主要特征提取后,采用多分类函数实现故障诊断。选用凯斯西储大学轴承数据集验证改进密集连接卷积网络的诊断能力,结果表明,改进密集连接卷积网络在理想试验下的识别率为99.8%、在抗噪试验下的识别率为98.22%,在泛化试验下的识别率为97.19%,识别率明显高于其他深度学习模型,证明了其在滚动轴承故障诊断方面的优越性。     

基于多级特征融合的体素三维目标检测网络

目的 为精确分析点云场景中待测目标的位置和类别信息,提出一种基于多级特征融合的体素三维目标检测网络。方法 以2阶段检测算法Voxel?RCNN作为基线模型,在检测一阶段,增加稀疏特征残差密集融合模块,由浅入深地对逐级特征进行传播和复用,实现三维特征充分的交互融合。在二维主干模块中增加残差轻量化高效通道注意力机制,显式增强通道特征。提出多级特征及多尺度核自适应融合模块,自适应地提取各级特征的关系权重,以加权方式实现特征的强融合。在检测二阶段,设计三重特征融合策略,基于曼哈顿距离搜索算法聚合邻域特征,并嵌入深度融合模块和CTFFM融合模块提升格点特征质量。结果 实验于自动驾驶数据集KITTI中进行模拟测试,相较于基线网络,在3种难度等级下,一阶段检测模型的行人3D平均精度提升了3.97%,二阶段检测模型的骑行者3D平均精度提升了3.37%。结论 结果证明文中方法能够显著提升目标检测性能,且各模块具有较好的移植性,可灵活嵌入到体素类三维检测模型中,带来相应的效果提升。     

基于特征金字塔的多尺度特征融合网络

特征金字塔网络（FPN）是CNN网络对图像信息进行表达输出的一种有效方法,在目标检测网络中广泛应用．然而,FPN没有充分地将浅层的细节信息传递到深层的语义特征,存在特征融合不足的缺陷,因而只能依靠深层语义信息来进行预测,从而忽略了网络低层细节信息,对各种视觉学习的效果造成了一定的影响．针对FPN存在的以上问题,本文提出基于特征金字塔的多尺度特征融合网络模型,在FPN主干网络的基础上,设计了混合特征金字塔和金字塔融合模块,并结合注意力机制,对特征金字塔进行了多尺度的深度融合．本文在PASCAL VOC2012和MS COCO2014数据集上,以Faster R-CNN作为基础检测器进行实验,验证了MFPN对特征融合的有效性．     

基于下采样的特征融合遥感图像语义分割

本文提出了一种基于下采样的特征融合遥感图像语义分割模型,该模型在编解码结构基础上,将高分辨率原始图像引入"下采样"模块提取低级语义特征,在此基础上,将输出的低级语义特征通过MobileNetV2和空间金字塔池化进一步提取多尺度高级语义细节特征,然后,将这些高级语义特征和直接从下采样模块提取的低级语义特征融合并进行特征图分割.最后,在"CCF卫星影像的AI分类与识别竞赛"的数据集上取得了93%的训练准确率以及91%的预测准确率.     

改进Faster RCNN在铝型材表面缺陷检测中的应用研究

目的:为了解决传统目标检测方法在应对极端长宽比和小目标检测时存在的准确率低的问题,设计了一种改进Faster RCNN的铝型材表面缺陷检测方法。方法:在Faster RCNN的基础上,以残差网络替换原始VGG16网络提取图像特征,采用特征金字塔网络提取并融合多尺度的特征图,合成低级和高级语义信息。结果:在4 000张图片测试集的基础上,检测准确率达到78.9%,召回率为85.6%,均衡平均数为82.1%,相比于原始Faster RCNN模型,分别提高了16.2%、17%、16.6%。结论:相对于原始Faster RCNN模型,本文采用的改进算法在缺陷检测上有更好的效果,从而为计算机辅助小目标缺陷检测做了可行性论证。     

空频域结合的多尺度扩张卷积注意力数字水印

目的 将深度学习应用于数字水印,在隐藏信息的同时,不断提高图像的不可见性和鲁棒性,提出一种结合空间域和频率域的多尺度扩张卷积注意力数字水印算法(SF-ACA)。方法 SF-ACA算法的网络框架包含由ACA和SFE构成的生成器、解码器2个部分组成。其中,ACA网络中的MCA模块将3个不同扩张率的扩张卷积对载体图像以多尺度融合的方式进行特征提取,使载体图像能更有效地隐藏水印信息;SFE结合快速傅里叶卷积块,在空域和频域中通过不同大小的感受野捕获互补信息,更精准地获取水印的特征信息,增强了秘密信息的不可见性和鲁棒性。结果 本文提出的水印方法在隐藏与载体图像尺寸相等的三通道彩色图像时,PSNR值为38.81 dB,较UDH方法的PSNR值提高了7.78%。水印图像的隐藏容量是4 096比特,该算法与UDH方法在Dropout、Gaussian噪声、JPEG攻击下,提取精度分别提升了5.38%、10.5%、1.65%,满足不可见性要求的同时实现了强鲁棒性。结论 本文方法在隐藏容量较大时,不可见性和鲁棒性都达到了较好的性能。     

基于深度学习利用特征图加权融合的目标检测方法

为了提高目标检测的准确性,提出了一种基于深度学习利用特征图加权融合实现目标检测的方法。首先,提出将卷积神经网络中的浅层特征图采样后与最深层特征图进行加权融合的思想;其次,根据所提的特征图加权融合思想以及卷积神经网络的具体结构,制定相应的特征图加权融合方案,并由该方案得到新特征图;然后,提出改进的RPN网络,并将新特征图输入到改进的RPN网络得到区域建议;最后,将新特征图和区域建议输入到后续网络层完成目标检测。实验结果表明所提方法取得了更高的目标检测精度以及更好的目标检测效果。     

基于可变形密集卷积神经网络的布匹瑕疵检测

针对传统布匹瑕疵检测方法无法适用于尺度变化大、面积占比小的瑕疵特征,提出一种基于可变形密集卷积神经网络模型。为了关注到图像中距离较远的特征信息,并避免捕获纹理信息,采用可变形卷积来增强特征的语义表达能力。通过在卷积层中设置卷积像素相对于中心像素各自的x,y方向偏移量,并利用反向传播训练偏移量以增加感受野的变形适应性。同时,采用密集连接的方式以保持模型不遗漏边缘瑕疵信息。最后,根据瑕疵类别预测和位置边框回归实现瑕疵的分类和定位检测。实验结果表明:该模型的平均检测精度和单类目标检测精度标准差分别为93.53%,2.5139,相比于其他方法更具有竞争力。     

基于机器视觉的柔性包装袋喷码缺陷检测研究

目的 针对传统喷码检测方法计算量大、字符区域定位不显著、识别准确率较低等不足,提出一种基于机器视觉的柔性包装袋喷码缺陷检测方法。方法 以柔性包装袋上喷码图像为研究对象,以滤波抑噪、阈值处理等技术对图像进行预处理,运用YOLO-V3网络模型对字符区域进行定位,并采用阈值和非极大值抑制算法提高喷码区域定位的显著性,通过改进AlexNet网络结构、运用多特征融合运算等方法,获取更为丰富的图像卷积特征,实现字符串的整体识别,从而提高喷码缺陷识别的准确率。结果 将YOLO-V3联合改进AlexNet的检测方法与传统喷码检测方法进行对比,结果表明,所设计喷码缺陷检测方法的分类准确率达到99.39%。结论 基于机器视觉的柔性包装袋喷码缺陷检测方法在模型计算量、字符区域定位显著性和字符识别准确率都有一定的优势,并有效解决了字符串整体识别的问题。     

基于卷积网络的目标跟踪应用研究

本文针对目标跟踪应用,提出了基于Siamese-FC跟踪网络的改进卷积网络Siamese-MF,意在更进一步提升跟踪速度和准确性,满足目标跟踪的工程应用需求。对于跟踪网络,考虑速度和精度的权衡,减少计算量,增加卷积特征的感受野是改进跟踪网络的速度和精度的方向。在卷积网络结构上面进行改进结构创新,改进主要集中为两点:1)引入特征融合,丰富特征;2)引入空洞卷积,减少计算量的同时增强感受野。Siamese-MF算法实现了对于复杂场景目标的实时准确跟踪,在公开数据集OTB上测试速度达到平均76 f/s,跟踪成功率的均值达到0.44,而跟踪稳定性的均值达到0.61,实时性、准确性和稳定性均提升,满足目标实时跟踪应用。     

An Image Edge Detection Algorithm Based on Multi-Feature Fusion

Edge detection is one of the core steps of image processing and computer vision. Accurate and fine image edge will make further target detection and semantic segmentation more effective. Holistically-Nested edge detection (HED) edge detection network has been proved to be a deep-learning network with better performance for edge detection. However, it is found that when the HED network is used in overlapping complex multi-edge scenarios for automatic object identification. There will be detected edge incomplete, not smooth and other problems. To solve these problems, an image edge detection algorithm based on improved HED and feature fusion is proposed. On the one hand, features are extracted using the improved HED network: the HED convolution layer is improved. The residual variable convolution block is used to replace the normal convolution enhancement model to extract features from edges of different sizes and shapes. Meanwhile, the empty convolution is used to replace the original pooling layer to expand the receptive field and retain more global information to obtain comprehensive feature information. On the other hand, edges are extracted using Otsu algorithm: Otsu-Canny algorithm is used to adaptively adjust the threshold value in the global scene to achieve the edge detection under the optimal threshold value. Finally, the edge extracted by improved HED network and Otsu-Canny algorithm is fused to obtain the final edge. Experimental results show that on the Berkeley University Data Set (BSDS500) the optimal data set size (ODS) F-measure of the proposed algorithm is 0.793; the average precision (AP) of the algorithm is 0.849; detection speed can reach more than 25 frames per second (FPS), which confirms the effectiveness of the proposed method.     

An Efficient Medical Image Deep Fusion Model Based on Convolutional Neural Networks

Medical image fusion is considered the best method for obtaining one image with rich details for efficient medical diagnosis and therapy. Deep learning provides a high performance for several medical image analysis applications. This paper proposes a deep learning model for the medical image fusion process. This model depends on Convolutional Neural Network (CNN). The basic idea of the proposed model is to extract features from both CT and MR images. Then, an additional process is executed on the extracted features. After that, the fused feature map is reconstructed to obtain the resulting fused image. Finally, the quality of the resulting fused image is enhanced by various enhancement techniques such as Histogram Matching (HM), Histogram Equalization (HE), fuzzy technique, fuzzy type Π, and Contrast Limited Histogram Equalization (CLAHE). The performance of the proposed fusion-based CNN model is measured by various metrics of the fusion and enhancement quality. Different realistic datasets of different modalities and diseases are tested and implemented. Also, real datasets are tested in the simulation analysis.     

A Model for Helmet-Wearing Detection of Non-Motor Drivers Based on YOLOv5s

Detecting non-motor drivers’ helmets has significant implications for traffic control. Currently, most helmet detection methods are susceptible to the complex background and need more accuracy and better robustness of small object detection, which are unsuitable for practical application scenarios. Therefore, this paper proposes a new helmet-wearing detection algorithm based on the You Only Look Once version 5 (YOLOv5). First, the Dilated convolution In Coordinate Attention (DICA) layer is added to the backbone network. DICA combines the coordinated attention mechanism with atrous convolution to replace the original convolution layer, which can increase the perceptual field of the network to get more contextual information. Also, it can reduce the network’s learning of unnecessary features in the background and get attention to small objects. Second, the Rebuild Bidirectional Feature Pyramid Network (Re-BiFPN) is used as a feature extraction network. Re-BiFPN uses cross-scale feature fusion to combine the semantic information features at the high level with the spatial information features at the bottom level, which facilitates the model to learn object features at different scales. Verified on the proposed “Helmet Wearing dataset for Non-motor Drivers (HWND),” the results show that the proposed model is superior to the current detection algorithms, with the mean average precision (mAP) of 94.3% under complex background.     

Feature Fusion Multi-View Hashing Based on Random Kernel Canonical Correlation Analysis

Hashing technology has the advantages of reducing data storage and improving the efficiency of the learning system, making it more and more widely used in image retrieval. Multi-view data describes image information more comprehensively than traditional methods using a single-view. How to use hashing to combine multi-view data for image retrieval is still a challenge. In this paper, a multi-view fusion hashing method based on RKCCA (Random Kernel Canonical Correlation Analysis) is proposed. In order to describe image content more accurately, we use deep learning dense convolutional network feature DenseNet to construct multi-view by combining GIST feature or BoW_SIFT (Bag-of-Words model+SIFT feature) feature. This algorithm uses RKCCA method to fuse multi-view features to construct association features and apply them to image retrieval. The algorithm generates binary hash code with minimal distortion error by designing quantization regularization terms. A large number of experiments on benchmark datasets show that this method is superior to other multi-view hashing methods.     

融合目标检测与距离阈值模型的露天矿行车障碍预警

针对当前行车预警方法无法适应露天矿非结构化道路问题,本文提出一种融合目标检测和障碍距离阈值的预警方法。首先根据露天矿障碍特点改进原有的Mask R-CNN检测框架,在骨架网络中引入扩张卷积,在不缩小特征图的情况下扩大感受野范围保证较大目标的检测精度。然后,根据目标检测结果构建线性距离因子,表征障碍物在输入图像中的深度信息,并建立SVM预警模型。最后为了保证预警模型的泛化能力采用迁移学习的方法,在COCO数据集中对网络进行预训练,在文中实地采集的数据集中训练C5阶段和检测层。实验结果表明,本文方法在实地数据检测中精确率达到98.47%,召回率为97.56%,人工设计的线性距离因子对SVM预警模型有良好的适应性。