针对图像阶调的混合半色调方法

在比较不同半色调方法特点的基础上,分析得到了不同半色调方法适合的图像阶调范围,实验结果表明针对图像阶调的混合半色调方法可以在再现原图阶调特征的同时减少纹理影响,使半色调图像阶调过渡更加自然.     

基于特征金字塔的多尺度特征融合网络

特征金字塔网络（FPN）是CNN网络对图像信息进行表达输出的一种有效方法,在目标检测网络中广泛应用．然而,FPN没有充分地将浅层的细节信息传递到深层的语义特征,存在特征融合不足的缺陷,因而只能依靠深层语义信息来进行预测,从而忽略了网络低层细节信息,对各种视觉学习的效果造成了一定的影响．针对FPN存在的以上问题,本文提出基于特征金字塔的多尺度特征融合网络模型,在FPN主干网络的基础上,设计了混合特征金字塔和金字塔融合模块,并结合注意力机制,对特征金字塔进行了多尺度的深度融合．本文在PASCAL VOC2012和MS COCO2014数据集上,以Faster R-CNN作为基础检测器进行实验,验证了MFPN对特征融合的有效性．     

跨尺度注意力融合的单幅图像去雨

单幅图像去雨算法旨在将有雨图像中的雨纹去除生成高质量无雨图。目前基于深度学习的多尺度去雨算法较难捕获不同层次的细节,忽视尺度之间的信息互补,易导致生成图像失真,雨纹去除不彻底等问题。为此,本文提出了基于跨尺度注意力融合的图像去雨网络,在去除密集雨纹的同时尽量保留原本图片的细节,改善去雨图像的视觉质量。去雨网络由三个子网构成,每个子网用于获取不同尺度上的雨纹信息。各子网由跨尺度特征提取模块通过稠密连接的方式构成,该模块以跨尺度融合注意力为核心,构造不同尺度之间的关联实现信息互补,使图像兼顾细节与整体信息。实验结果表明,本文模型在合成数据集Rain200H和Rain200L上取得显著的去雨效果,去雨处理后的图片峰值信噪比达到了29.91/39.23 dB,结构相似度为0.92/0.99,优于一般的主流方法,并取得了良好的视觉效果,在保证去雨效果自然的同时保持了图像的细节。     

结合多尺度卷积网络和双端注意力机制的水声目标识别

水声目标识别是被动声呐系统的主要应用之一。为了进一步提升小样本条件下水下目标的识别率,文章提出一种基于多尺度卷积和双端注意力机制相融合的方法。首先,提取梅尔倒谱系数,色度谱和计算谱对比度等特征,建立基于多类别特征子集的三维聚合特征。其次,采用多尺度卷积滤波器算子构造多分辨率卷积神经网络,以更好地适应三维聚合特征的时频结构。另外,采用双端注意力模型捕获样本的全局依赖和局部特性。采用基于指数加权的对数交叉熵函数作为损失函数,提升样本数较少类别的识别率。实验结果表明,该方法在ShipsEar数据上的平均识别率为95.5%,取得了较好的分类效果。     

融合注意力的多尺度Faster RCNN的裂纹检测

电致发光(Electroluminescence,EL)下的光伏电池EL图像背景表现为复杂的非均匀纹理特征,且存在与裂纹相似的晶粒伪缺陷,同时裂纹表现为形状多样的多尺度特征,以上难点为检测任务带来了极大的挑战.因此,本文提出融合注意力的多尺度Faster-RCNN模型,一方面,采用改进的特征金字塔网络获取多尺度的高级语...     

基于注意力机制多特征融合的视网膜病变分级算法

糖尿病视网膜病变(Diabetic Retinopathy,DR)是糖尿病的一个常见的急性阶段,可引起视网膜的视功能异常。针对视网膜眼底图像病灶区域识别困难以及分级效率不高等问题,本文提出一种基于注意力机制多特征融合的算法来对DR进行诊断分级。首先对输入的图像采用高斯滤波等形态学预处理来提升眼底图像特征对比度;然后用ResNeSt50残差网络作为模型的骨干,引入多尺度特征增强模块对视网膜病变图像病变区域进行特征增强,提高分级准确率;再后利用图形特征融合模块对主干输出的特征增强后的局部特征进行信息融合;最后采用中心损失和焦点损失组合的加权损失函数进一步提升分类效果。在印度糖尿病视网膜病变(IDRID)数据集中灵敏度和特异性分别为95.65%和91.17%,二次加权一致性检验系数为90.38%。在Kaggle比赛数据集中准确率为84.41%,受试者工作特征曲线下的面积为90.36%。仿真实验表明,本文算法在糖尿病视网膜病变分级中具有一定的应用价值。     

融合注意力机制和语义关联性的多标签图像分类

卷积神经网络在单标签图像分类中表现出了良好的性能,但是,如何将其更好地应用到多标签图像分类仍然是一项重要的挑战。本文提出一种基于卷积神经网络并融合注意力机制和语义关联性的多标签图像分类方法。首先,利用卷积神经网络来提取特征;其次,利用注意力机制将数据集中的每个标签类别和输出特征图中的每个通道进行对应;最后,利用监督学习的方式学习通道之间的关联性,也就是学习标签之间的关联性。实验结果表明,本文方法可以有效地学习标签之间语义关联性,并提升多标签图像分类效果。     

顾及边缘信息的多尺度误差扩散半色调算法

目的为了解决传统多尺度误差扩散半色调算法会导致半色调结果图像阶调变暗和边缘模糊的问题,提出一种顾及边缘信息的多尺度误差扩散半色调算法。方法根据当前像素邻域内像素点的处理状态,设计动态非时序误差扩散滤波器;利用图像局部平均灰度与空间变化率提取图像边缘信息,结合图像边缘信息与灰度信息确定半色调处理顺序。结果半色调处理结果视觉效果均匀,阶调信息和边缘结构信息与原图像一致性良好,峰值信噪比、加权信噪比和结构相似度分别提高了0.7～1.2 d B,0.9～1.5 d B,0.11～0.18。结论该算法解决了多尺度误差扩散算法的图像阶调变暗和边缘模糊的问题,有效提高了半色调输出质量。     

融合残差及通道注意力机制的单幅图像去雨方法

为了去除雨天图像上附着的雨滴并恢复图像的清晰度,提出一种基于深度学习思想结合图像增强技术融合残差及通道注意力机制来实现的单幅图像去雨方法。首先,利用导向滤波将有雨图像分解为平滑基本层和高频细节层;其次,提出自适应Gamma校正算法增强平滑基本层以提高对比度;然后,构建融合残差块和通道注意力机制的深度神经网络实现高频细节层去雨;最后,将去雨后的高频细节层与增强后的平滑基本层融合实现单幅图像去雨功能。实验结果表明:与具有代表性的单幅图像去雨方法相比,所提方法效果较好并可保留更多的图像细节信息。     

加网参数和类型不确定的小波变换逆半调研究

针对不同加网类型和参数的彩色印刷图像,提出了一种基于加网参数和类型不确定的小波变换逆半调算法。首先在RGB颜色空间中分离了颜色通道,选择了B样条小波作为小波变换基函数;然后对图像实施了二层小波分解,利用小波阈值去噪策略,去除了半色调网点噪声;最后对图像进行了小波重构,得到了逆半调图像。实验结果表明,该逆半调算法适用于调频加网和调幅加网图像,同时逆半调图像具有很好的视觉效果。     

Multi-Scale Attention-Based Deep Neural Network for Brain Disease Diagnosis

Whole brain functional connectivity (FC) patterns obtained from resting-state functional magnetic resonance imaging (rs-fMRI) have been widely used in the diagnosis of brain disorders such as autism spectrum disorder (ASD). Recently, an increasing number of studies have focused on employing deep learning techniques to analyze FC patterns for brain disease classification. However, the high dimensionality of the FC features and the interpretation of deep learning results are issues that need to be addressed in the FC-based brain disease classification. In this paper, we proposed a multi-scale attention-based deep neural network (MSA-DNN) model to classify FC patterns for the ASD diagnosis. The model was implemented by adding a flexible multi-scale attention (MSA) module to the auto-encoder based backbone DNN, which can extract multi-scale features of the FC patterns and change the level of attention for different FCs by continuous learning. Our model will reinforce the weights of important FC features while suppress the unimportant FCs to ensure the sparsity of the model weights and enhance the model interpretability. We performed systematic experiments on the large multi-sites ASD dataset with both ten-fold and leave-one-site-out cross-validations. Results showed that our model outperformed classical methods in brain disease classification and revealed robust inter-site prediction performance. We also localized important FC features and brain regions associated with ASD classification. Overall, our study further promotes the biomarker detection and computer-aided classification for ASD diagnosis, and the proposed MSA module is flexible and easy to implement in other classification networks.     

一种基于注意机制和卷积神经网络的视觉模型

针对目前的深度卷积神经网络(CNN)模型规模大、训练参数多、计算速度慢以及难以移植到移动端等问题,提出了一种深度可分离卷积结合3重注意机制模块(DSC-TAM)的视觉模型.首先,通过深度可分离卷积网络来减少模型参数,提高网络模型的计算速度;其次,引入3重注意机制模块提高网络的特征提取能力,改善网络性能.实验结果表明:该...     

空频域结合的多尺度扩张卷积注意力数字水印

目的 将深度学习应用于数字水印,在隐藏信息的同时,不断提高图像的不可见性和鲁棒性,提出一种结合空间域和频率域的多尺度扩张卷积注意力数字水印算法(SF-ACA)。方法 SF-ACA算法的网络框架包含由ACA和SFE构成的生成器、解码器2个部分组成。其中,ACA网络中的MCA模块将3个不同扩张率的扩张卷积对载体图像以多尺度融合的方式进行特征提取,使载体图像能更有效地隐藏水印信息;SFE结合快速傅里叶卷积块,在空域和频域中通过不同大小的感受野捕获互补信息,更精准地获取水印的特征信息,增强了秘密信息的不可见性和鲁棒性。结果 本文提出的水印方法在隐藏与载体图像尺寸相等的三通道彩色图像时,PSNR值为38.81 dB,较UDH方法的PSNR值提高了7.78%。水印图像的隐藏容量是4 096比特,该算法与UDH方法在Dropout、Gaussian噪声、JPEG攻击下,提取精度分别提升了5.38%、10.5%、1.65%,满足不可见性要求的同时实现了强鲁棒性。结论 本文方法在隐藏容量较大时,不可见性和鲁棒性都达到了较好的性能。     

基于注意力机制的轻量级RGB-D图像语义分割网络

目的针对卷积神经网络在RGB-D(彩色-深度)图像中进行语义分割任务时模型参数量大且分割精度不高的问题,提出一种融合高效通道注意力机制的轻量级语义分割网络。方法文中网络基于RefineNet,利用深度可分离卷积(Depthwiseseparableconvolution)来轻量化网络模型,并在编码网络和解码网络中分别融合高效的通道注意力机制。首先RGB-D图像通过带有通道注意力机制的编码器网络,分别对RGB图像和深度图像进行特征提取;然后经过融合模块将2种特征进行多维度融合;最后融合特征经过轻量化的解码器网络得到分割结果,并与RefineNet等6种网络的分割结果进行对比分析。结果对提出的算法在语义分割网络常用公开数据集上进行了实验,实验结果显示文中网络模型参数为90.41 MB,且平均交并比(mIoU)比RefineNet网络提高了1.7%,达到了45.3%。结论实验结果表明,文中网络在参数量大幅减少的情况下还能提高了语义分割精度。     

A Novel Bidirectional LSTM and Attention Mechanism Based Neural Network for Answer Selection in Community Question Answering

Deep learning models have been shown to have great advantages in answer selection tasks. The existing models, which employ encoder-decoder recurrent neural network (RNN), have been demonstrated to be effective. However, the traditional RNN-based models still suffer from limitations such as 1) high-dimensional data representation in natural language processing and 2) biased attentive weights for subsequent words in traditional time series models. In this study, a new answer selection model is proposed based on the Bidirectional Long Short-Term Memory (Bi-LSTM) and attention mechanism. The proposed model is able to generate the more effective question-answer pair representation. Experiments on a question answering dataset that includes information from multiple fields show the great advantages of our proposed model. Specifically, we achieve a maximum improvement of 3.8% over the classical LSTM model in terms of mean average precision.     

融入注意力机制的轻量化可回收垃圾检测方法

目的 针对目前智能垃圾分类设备使用的垃圾检测方法存在检测速度慢且模型权重文件较大等问题,提出一种基于YOLOv4的轻量化方法,以实现可回收垃圾的检测。方法 采用MobileNetV2轻量级网络为YOLOv4的主干网络,用深度可分离卷积来优化颈部和头部网络,以减少参数量和计算量,提高检测速度;在颈部网络中融入CBAM注意力模块,提高模型对目标特征信息的敏感度;使用K-means算法重新聚类,得到适合自建可回收数据集中检测目标的先验框。结果 实验结果表明,改进后模型的参数量减少为原始YOLOv4模型的17.0%,检测的平均精度达到96.78%,模型权重文件的大小为46.6 MB,约为YOLOv4模型权重文件的19.1%,检测速度为20.46帧/s,提高了约25.4%,检测精度和检测速度均满足实时检测要求。结论 改进的YOLOv4模型能够在检测可回收垃圾时保证较高的检测精度,同时具有较好的实时性。     

基于知识增强与注意力机制的双通道图像描述研究

图像描述方法中在信息输入时只将图像作为输入,在端到端训练过程中,内部参数变化难以获取,很有可能造成错误.为进一步减小图像描述的不确定性,在图像描述任务中应用知识增强方法,即在输入端输入图像中的主题信息,将图像描述的范围确定化.提出了一种新的双通道图像描述架构,该架构包括主题通道与图像通道两部分,主题通道提取语义信息,并...     

Multi-Head Attention Graph Network for Few Shot Learning

The majority of existing graph-network-based few-shot models focus on a node-similarity update mode. The lack of adequate information intensifies the risk of overtraining. In this paper, we propose a novel Multi-head Attention Graph Network to excavate discriminative relation and fulfill effective information propagation. For edge update, the node-level attention is used to evaluate the similarities between the two nodes and the distribution-level attention extracts more in-deep global relation. The cooperation between those two parts provides a discriminative and comprehensive expression for edge feature. For node update, we embrace the label-level attention to soften the noise of irrelevant nodes and optimize the update direction. Our proposed model is verified through extensive experiments on two few-shot benchmark MiniImageNet and CIFAR-FS dataset. The results suggest that our method has a strong capability of noise immunity and quick convergence. The classification accuracy outperforms most state-of-the-art approaches.