基于CNN跨层融合结构的边缘检测算法

传统边缘检测算法难以处理复杂的图像, 而现有基于深度的边缘检测模型, 其检测结果往往存在边缘定位错误和信息丢失等现象. 针对此类问题, 提出一种基于RCF的高精度的边缘检测算法RCF-CLF. 首先, 引入HDC结构设计用于避免因叠加相同膨胀卷积而引起的网格效应; 其次, 设计了一种特征增强结构, 旨在融合多尺度信息、扩大感受野; 然后, 设计了跨层融合结构, 将高层信息和低层信息融合, 用于提取准确的边缘信息; 最后, 引入注意力机制CBAM, 通过聚焦物体边缘区域, 抑制非边缘区域, 从而提高网络对边缘信息的提取能力. 本文在BSDS500和BIPED数据集上评估所提出的方法, 与RCF算法相比, 在BIPED数据集上, 主要指标ODS、OIS和AP分别达到了0.893、0.901和0.945, 提高了近5个百分点, 在BSDS500数据集上, 主要指标也有所提升. 此外, 与其他同类算法相比, 本文算法也具有一定的优势, 可以实现更加准确的边缘定位.     

基于改进UNet3+的岩心图像颗粒提取算法

在石油勘探过程中, 岩心颗粒是研究地质层序、评估油气含量以及认识地质构造的有效资料, 对岩心颗粒图像进行颗粒提取有利于地质研究人员后续的深入分析. 岩心颗粒图像通常存在颗粒边缘模糊、背景与颗粒色彩复杂的问题. 为了改善岩心颗粒提取的效果, 本文设计了一种基于改进UNet3+的岩心图像颗粒提取算法. 该算法在UNet3+的每个编码层后加入感受野模块(RFB)来扩大网络的感受野, 从而有效地解决网络因感受野受限而导致的分割精度低的问题, 并在RFB模块后嵌入了卷积块注意力模块(CBAM)使网络更加精确地聚焦于目标区域, 提高目标区域的特征权重. 实验结果表明, 改进后的算法在岩心颗粒图像上具有良好的分割效果, 相比原始UNet3+网络, 分别在mIoU、mPA和FWIoU上提升了5.43%、2.99%和5.34%.     

基于多视角学习策略的手部姿态估计

手部姿态估计在人机交互、手功能评估、虚拟现实和增强现实等应用中发挥着重要作用, 为此本文提出了一种新的手部姿态估计方法, 以解决手部区域在大多数图像中占比较小和已有单视图关键点检测算法无法应对遮挡情况的问题. 所提方法首先通过引入Bayesian卷积网络的语义分割模型提取手部目标区域, 在此基础上针对手部定位结果, 利用所提基于注意力机制和级联引导策略的新模型以获得较为准确的手部二维关键点检测结果.然后提出了一种利用立体视觉算法计算关键点深度信息的深度网络, 并在深度估计中提供视角自学习的功能. 该方式以三角测量为基础, 利用RANSAC算法对测量结果进行校准. 最后经过多任务学习和重投影训练对手部关键点的3D检测结果进行优化, 最终提取手部关键点的三维姿态信息. 实验结果表明: 相比于已有的一些代表性人手区域检测算法, 本文方法在人手区域检测上的平均检测精度和运算时间上有一定的改善. 此外, 从本文所提姿态估计方法与已有其他方法的平均端点误差(EPE_mean)和PCK曲线下方面积(AUC)这些指标的对比结果来看, 本文方法的关键点检测性能更优, 因而能获得更好的手部姿态估计结果.     

基于预测对抗网络的图像二分类模型

正未标记学习仅使用无标签样本和正样本训练一个二分类器, 而生成式对抗网络(generative adversarial networks, GAN)中通过对抗性训练得到一个图像生成器. 为将GAN的对抗训练方法迁移到正未标记学习中以提升正未标记学习的效果, 可将GAN中的生成器替换为分类器C, 在无标签数据集中挑选样本以欺骗判别器D, 对C与D进行迭代优化. 本文提出基于以Jensen-Shannon散度(JS散度)为目标函数的JS-PAN模型. 最后, 结合数据分布特点及现状需求, 说明了PAN模型在医疗诊断图像二分类应用的合理性及高性能. 在MNIST, CIFAR-10数据集上的实验结果显示: KL-PAN模型与同类正未标记学习模型对比有更高的精确度(ACC)及F1-score; 对称化改进后, JS-PAN模型在两个指标上均有所提升, 因此JS-PAN模型的提出更具有合理性. 在Med-MNIST的3个子图像数据集上的实验显示: KL-PAN模型与4个benchmark有监督模型有几乎相同的ACC, JS-PAN也有更高表现. 因此, 综合PAN模型的出色分类效果及医疗诊断数据的分布特征, PAN作为半监督学习方法可获得更快、更好的效果, 在医学图像的二分类的任务上具有更高的性能.     

基于节点向量表达的复杂网络社团划分算法

社团结构划分对复杂网络研究在理论和实践上都非常重要.借鉴分布式词向量理论,提出一种基于节点向量表达的复杂网络社团划分方法（CDNEV）.为了构建网络节点的分布式向量,提出启发式随机游走模型.利用节点启发式随机游走得到的节点序列作为上下文,采用SkipGram模型学习节点的分布式向量.选择局部度中心节点作为K-Means算法的聚类中心点,然后用K-Means算法进行聚类,最终得到社团结构.在真实和模拟两种网络上做了丰富的实验,与主流的全局社团划分算法和局部社团划分算法作了比较.在真实网络上CDNEV算法的F1指标比其他算法平均提高19%;在模拟网络上,F1指标则可以提高15%.实验结果表明,相对其他算法,CDNEV算法的精度和效率都较高.     

边缘增强深层网络的图像超分辨率重建

目的 针对基于学习的图像超分辨率重建算法中存在边缘信息丢失、易产生视觉伪影等问题,提出一种基于边缘增强的深层网络模型用于图像的超分辨率重建。方法 本文算法首先利用预处理网络提取输入低分辨率图像的低级特征,然后将其分别输入到两路网络,其中一路网络通过卷积层级联的卷积网络得到高级特征,另一路网络通过卷积网络和与卷积网络成镜像结构的反卷积网络的级联实现图像边缘的重建。最后,利用支路连接将两路网络的结果进行融合,并将其结果通过一个卷积层从而得到最终重建的具有边缘增强效果的高分辨率图像。结果 以峰值信噪比（PSNR）和结构相似度（SSIM）作为评价指标来评价算法性能,在Set5、Set14和B100等常用测试集上放大3倍情况下进行实验,并且PSNR/SSIM指标分别取得了33.24 dB/0.9156、30.60 dB/0.852 1和28.45 dB/0.787 3的结果,相比其他方法有很大提升。结论 定量与定性的实验结果表明,基于边缘增强的深层网络的图像超分辨重建算法所重建的高分辨率图像不仅在重建图像边缘信息方面有较好的改善,同时也在客观评价和主观视觉上都有很大提高。     

利用LapSVM的快速显著性检测方法

目的 随着互联网技术的发展,信息的数量呈几何级数增长。信息改变着人类的传统生活方式,它可以给人们的娱乐,教育,商业活动提供便利。但是另一方面,需要处理的信息数量大大超过了计算机的处理能力,因此,如何使计算机能像人眼一样可以自动在大量信息中选择重要信息进行加工就显得十分重要。图像的视觉显著性信息能够反映图像中不同区域对人视觉系统刺激的程度。可靠的显著性方法可以从大量的信息中自动预测预测和挖掘重要的视觉信息,这些信息可以为图像分割、图像检索等应用提供有价值的线索。目前,显著性检测算法的鲁棒性和实时性是研究的热点。本文提出一种基于拉普拉斯支持向量机（LapSVM）的快速显著性检测方法。方法 采用简单线性迭代聚类算法SLIC（simple linear iterative clustering）将原始图像首先分成若干个超像素块,并用它代替图像像素参与计算,可以减少算法所需的计算量。利用超像素之间相似性构建图Laplacian。分析每个图像块的边缘特性定义粗糙标识样本,并利用一种快速LapSVM进行分类。LapSVM是一种基于流形正则化的半监督分类方法。通过引入提前停止机制来加速LapSVM的训练。这样可以快速地计算出一个近似结果。计算的复杂性由原来的O（n³）降到了O（kn²）,其中n是未标识样本和标识样本的数量。k是经验评价值,它远远小于n。通过分析得到的分类结果,提取出更准确的背景和目标样本作为新的标识样本再次进行LapSVM分类。最后,利用能量函数对分类结果进行优化得到最终的显著性检测结果。结果 ASD数据库是MSRA数据库的子集,包含1 000幅图片,被广泛用于各种显著性检测算法的实验中。本文算法在ASD图像数据库上与7种流行的图像显著性检测算法进行对比实验。本文算法不仅在准确率和召回率上保持了与其他算法相当的鲁棒性,平均绝对误差达到4%左右,同时算法的平均运行时间缩短为0.03 s左右。结论 提出一种基于LapSVM的快速图像显著性检测算法,通过区域边缘特征和分类结果分析,实现图像中背景和目标样本的准确检测。实验结果表明,本文算法具有良好的鲁棒性,显著地提高了算法的实时性。因此,与其他算法相比本文算法更适用于检测跟踪等实时性要求较高的场合。该方法可以在较短的时间内,以更好地准确率水平提取显著性区域。     

结合四元数与最小核值相似区的边缘检测

目的 针对传统彩色图像边缘检测方法中未充分利用图像色度信息、颜色模型间非线性转换过程中时间和空间的大量耗费、算法实现复杂等问题,将四元数引入最小核值相似区（SUSAN）算法中,提出一种RGB空间下的结合四元数与最小核值相似区的边缘检测算法。方法 该算法首先对彩色图像进行四元数描述,然后用改进的SUSAN算子进行边缘检测。针对其中单一几何阈值g的限制,以及检测出的边缘较粗等问题,本文采用Otsu算法自适应获取双几何阈值,再对弱边缘点集进行边缘生长,最后根据USAN重心及其对称最长轴来确定边缘局部方向,实现对边缘点的局部非极大值抑制,得到最终细化后的边缘图像。结果 实验选取1幅合成彩色图像及3幅标准图像库图像,与彩色Canny算法、SUSAN算法,及采用单阈值的本文算法进行对比,并采用Pratt品质因数衡量边缘定位精度。本文算法能够检测出亮度相近的不同颜色区域之间的边缘,且提取的边缘比较连续、细致,漏检边缘较少。与公认边缘检测效果较好的彩色Canny算法相比,本文算法的品质因数提高了0.012 0,耗时缩短了2.527 9 s。结论 本文提出了一种结合四元数与最小核值相似区的边缘检测算法,实现了四元数与SUSAN算子的有效融合。实验结果表明,该算法能够提高边缘定位精度,对弱噪声具有较好的抑制能力,适用于对实时性要求不高的低层次彩色图像处理。     

各向异性导向滤波的红外与可见光图像融合

目的 针对红外与可见光图像融合时易产生边缘细节信息丢失、融合结果有光晕伪影等问题，同时为充分获取多源图像的重要特征，将各向异性导向滤波和相位一致性结合，提出一种红外与可见光图像融合算法。方法 首先，采用各向异性导向滤波从源图像获得包含大尺度变化的基础图和包含小尺度细节的系列细节图；其次，利用相位一致性和高斯滤波计算显著图，进而通过对比像素显著性得到初始权重二值图，再利用各向异性导向滤波优化权重图，达到去除噪声和抑制光晕伪影；最后，通过图像重构得到融合结果。结果 从主客观两个方面，将所提方法与卷积神经网络（convolutional neural network，CNN）、双树复小波变换（dual-tree complex wavelet transform，DTCWT）、导向滤波（guided filtering，GFF）和各向异性扩散（anisotropic diffusion，ADF）等4种经典红外与可见光融合方法在TNO公开数据集上进行实验对比。主观分析上，所提算法结果在边缘细节、背景保存和目标完整度等方面均优于其他4种方法；客观分析上，选取互信息（mutual information，MI）、边缘信息保持度（degree of edge information，Q^AB/F）、熵（entropy，EN）和基于梯度的特征互信息（gradient based feature mutual information，FMI_gradient）等4种图像质量评价指数进行综合评价。相较于其他4种方法，本文算法的各项指标均有一定幅度的提高，MI平均值较GFF提高了21.67%，Q^AB/F平均值较CNN提高了20.21%，EN平均值较CNN提高了5.69%，FMI_gradient平均值较GFF提高了3.14%。结论 本文基于各向异性导向滤波融合算法可解决原始导向滤波存在的细节"光晕"问题，有效抑制融合结果中伪影的产生，同时具有尺度感知特性，能更好保留源图像的边缘细节信息和背景信息，提高了融合结果的准确性。     

基于稠密扩张卷积的图像语义分割模型

为解决图像语义分割任务中面对的分割场景的复杂性、分割对象的多样性及分割对象空间位置的差异性问题, 提高语义分割模型的精度, 提出基于稠密扩张卷积的双分支多层级语义分割网络(double branch and multi-stages network, DBMSNet). 首先采用主干网络提取输入图像的4个不同分辨率的特征图(De1、De2、De3、De4), 其次采用特征精炼(feature refine, FR)模块对De1和De3这两个特征图进行特征精炼处理, 特征精炼处理之后的输出分支经过混合扩张卷积模块(mixed dilation module, MDM)编码空间位置特征, De4分支采用金字塔池化模块(pyramid pooling module, PPM)编码高级语义特征, 最后将两个分支进行融合, 输出分割结果. 在数据集CelebAMask-HQ和Cityscapes中进行实验, 分别得到mIoU精度为74.64%、78.29%. 结果表明, 本文方法的分割精度高于对比方法, 且具有更少的参数量.     

贝叶斯优化的表面缺陷超分辨率检测

金属表面缺陷待测样本往往存在分辨率低、缺陷边界模糊、缺陷密集、缺陷目标小的情况,同时,构建的检测模型存在大量的超参数需要手动调参,缺乏模型自适应调参能力,本文提出一种基于贝叶斯优化的表面缺陷超分辨率检测算法.通过设计精细化分层结构,丰富主干网络特征图的感受野,增强对高低频信息的提取,重建出边缘纹理清晰的高分辨率图像;通过构建瓶颈残差密集结构,丰富主干特征提取网络的浅层特征和深层特征,提升模型对小目标和密集目标的分类和定位能力;通过贝叶斯优化算法以较小的时间代价自适应优化检测模型的关键超参数.实验表明,本文对NEU-DET数据集中6类金属表面缺陷的mAP_0.5可达0.782,同时检测速度可达102 f/s,优于其他检测算法.     

Object's contour detection scheme based on image fusion

Three novel object's contour detection schemes based on image fusion are proposed in this paper. In these schemes an active contour model is applied to detect the object's contour edge. Since an object's contour in an infrared (IR) image is usually clearer than that in a visible image, the convergent active contour in a visible image is improved with that in an IR image. The first contour detection scheme is realized by revising the shape-preserving active contour model. The second scheme minimizes the B-spline L ₂ norm's square of the difference of the B-spline control point vectors in two modal images. Contour tracking and extraction experiments indicate that the first scheme outperforms the second one. Moreover, a third scheme based on the active contour and pixel-level image fusion is proposed for images with incomplete but complementary scene information. An example using contour extraction of a partially hidden tank proves its efficacy.     

基于双分支融合注意力机制的图像分割算法

针对DeepLabV3+在特征提取阶段忽略了不同尺度特征重要程度出现的部分细节信息损失导致图像分割不细致,提出一种融合双分支特征提取和注意力机制的改进算法. ResNet101骨干网络初步提取出的特征图作为注意力机制的输入特征,解决了网络退化及梯度消失的问题,也能够捕获到被DeepLabV3+忽略的图像细节信息;设计双分支特征提取机制扩大特征提取能力,细化图像边缘信息以优化网络对不同尺度特征关注不均的问题;同时,联合采用交叉熵损失和类别不平衡函数两种损失函数作为损失函数,通过聚焦于前景样本降低背景的影响,提高算法分割精度.实验结果表明,改进算法在PASCAL VOC 2012和CityScapes数据集上的平均交并比(MIoU)值分别达到了79.92%和68.59%,与经典算法和基于DeepLabV3+改进的算法相比,特征提取的准确性有所提高,分割效果更优.     

基于双重注意力机制的事件抽取方法

针对事件抽取存在未充分利用句法关系、论元角色缺失的情况,提出了基于双重注意力机制的事件抽取（event extraction based on dual attention mechanism,EEDAM）方法,有助于提高事件抽取的精确率和召回率.首先,基于4种嵌入向量进行句子编码,引入依赖关系,构建依赖关系图,使深度神经网络可以充分利用句法关系.然后,通过图转换注意网络生成新的依赖弧和聚合节点信息,捕获长程依赖关系和潜在交互,加权融合注意力网络,捕捉句中关键的语义信息,抽取句子级事件论元,提升模型预测能力.最后,利用关键句检测和相似性排序,进行文档级论元填充.实验结果表明,采用基于双重注意力机制的事件抽取方法,在ACE2005数据集上,较最佳基线联合多中文事件抽取器（joint multiple Chinese event extractor,JMCEE）在精确率、召回率和F1-score分别提高17.82%、4.61%、9.80%;在大坝安全运行日志数据集上,较最佳基线JMCEE在精确率、召回率和F1-score上分别提高18.08%、4.41%、9.93%.     

边缘与区域不一致性引导下的图像拼接篡改检测网络

目的 针对已有图像拼接篡改检测方法中存在的真伪判断分类精度不高、拼接篡改区域定位不准确问题，本文设计了一种篡改边缘两侧和篡改区域内外不一致性引导下的重点关注篡改区域与篡改边缘的图像拼接篡改检测卷积神经网络。方法 图像内容在篡改过程中，拼接物体的边缘都会留下篡改痕迹，这是图像拼接篡改检测的重要线索。因此，本文设计了一条篡改边缘提取分支，通过学习拼接物体边缘两侧的不一致性，重点提取拼接篡改区域的边缘轮廓。考虑到篡改边缘像素点过少会导致网络难以收敛，提出一个边缘加粗策略，形成一个边缘加粗的"甜甜圈"，使得篡改边缘提取结果更具完整性。在不同图像采集过程中，所用相机设备和光线条件等因素不同，导致每幅图像包含的信息也不尽相同。对此，设计了一条篡改区域定位分支，重点学习来自不同图像拼接区域与周围区域之间不一致性的差异化特征，并将注意力机制引入图像拼接篡改检测的篡改区域定位分支，进一步提高对拼接篡改区域的学习关注程度。面向真伪判断设计了一条图像是否经过拼接篡改的二分类网络分支，不但可以快速有效地给出输入图像是否为篡改图像的判断结果，而且可以与上述两条分支的输出结果一起提供给用户，由用户结合视觉语义信息进行综合判断。结果 本文算法与已有的4个代表性方法在4个专业数据集上进行算法实验和性能比较。在真伪判断分类的精确度方面，在Dresden、COCO（common objects in context）、RAISE（a raw images dataset for digital image forensics）和IFS-TC（information forensics and security technical committee）数据集上分别提高了8.3%、4.6%、1.0%和1.0%；在篡改区域定位的准确度方面，F1评分与重叠度IOU（intersection over union）指标较已有方法分别提升了9.4%和8.6%。结论 本文算法将真伪判别分类、篡改区域定位和篡改边缘提取融合在一起，互相促进，较大提升了各分支任务的性能表现，在图像拼接篡改检测方面取得了优于已有方法的效果，为数字图像取证技术领域的研究工作拓展了思路。     

Image steganography using deep learning based edge detection

This paper introduces a deep learning-based Steganography method for hiding secret information within the cover image. For this, we use a convolutional neural network (CNN) with Deep Supervision based edge detector, which can retain more edge pixels over conventional edge detection algorithms. Initially, the cover image is pre-processed by masking the last 5-bits of each pixel. The said edge detector model is then applied to obtain a gray-scale edge map. To get the prominent edge information, the gray-scale edge map is converted into a binary version using both global and adaptive binarization schemes. The purpose of using different binarization techniques is to prove the less sensitive nature of the edge detection method to the thresholding approaches. Our rule for embedding secret bits within the cover image is as follows: more bits into the edge pixels while fewer bits into the non-edge pixels. Experimental outcomes on various standard images confirm that compared to state-of-the-art methods, the proposed method achieves a higher payload.

     

面向非对称特征注意力和特征融合的太赫兹图像检测

目的 太赫兹由于穿透性强、对人体无害等特性在安检领域中得到了广泛关注。太赫兹图像中目标尺寸较小、特征有限,且图像分辨率低,目标边缘信息模糊,目标信息容易和背景信息混淆,为太赫兹图像检测带来了一定困难。方法 本文在YOLO(you only look once)算法的基础上提出了一种融合非对称特征注意力和特征融合的目标检测网络AFA-YOLO(asymmetric feature attention-YOLO)。在特征提取网络CSPDarkNet53(cross stage paritial DarkNet53)中设计了非对称特征注意力模块。该模块在浅层网络中采用非对称卷积强化了网络的特征提取能力,帮助网络模型在目标特征有限的太赫兹图像中提取到更有效的目标信息;使用通道注意力和空间注意力机制使网络更加关注图像中目标的重要信息,抑制与目标无关的背景信息;AFA-YOLO通过增加网络中低层到高层的信息传输路径对高层特征进行特征融合,充分利用到低层高分辨率特征进行小目标的检测。结果 本文在太赫兹数据集上进行了相关实验,相比原YOLOv4算法,AFA-YOLO对phone的检测精度为81.15%...     

基于堆栈滤波器和Hopfield神经网络的边界检测法

提出了一种基于堆栈滤波器和Ｈｏｐｆｉｅｌｄ神经网络的边界检测法,采用较小滤波窗口的堆栈滤波器优化估计的图象象素点之间的灰度梯度,再根据这些灰度梯度的优化估计值计算及确定Ｈｏｐｆｉｅｌｄ神经网络的权重矢量,Ｈｏｐｆｉｅｌｄ神经网络收剑时输出图象的边界。相对于基于堆栈滤波器边界检测法,该方法对堆栈滤波器的优化训练速度大大提高,所需内存大为减少,而相对于基于Ｈｏｐｆｉｅｌｄ神经网络的边界检测法,该方法又     

结合金字塔Transformer与浅层CNN的变电站图像篡改检测

目的 变电站图像拼接篡改是电力系统的一大安全隐患,针对篡改图像背景复杂、篡改内容尺度不一造成的误检漏检问题以及相关研究较少,本文提出一种面向变电站的拼接篡改图像的双通道检测模型。方法 两通道均采用深度学习方法自适应提取篡改图像和残差图像的特征,其中篡改图像包含丰富的色彩特征和内容信息,残差图像重点凸显了篡改区域的边缘,有效应对了篡改图像多样性导致的篡改特征提取困难问题;将特征金字塔结构Transformer通道作为网络主分支,通过全局交互机制获取图像全局信息,建立关键点之间的联系,使模型具备良好的泛化性和多尺度特征处理能力;引入浅层卷积神经网络(convolutional neural network, CNN)通道作为辅助分支,着重提取篡改区域的边缘特征,使模型在整体轮廓上更容易定位篡改区域。结果 实验在自制变电站拼接篡改数据集(self-made substation splicing tampered dataset, SSSTD)、CASIA(Chinese Academy of Sciences Institute of Automation dataset)和NIST16(National Institute of Standards and Technology 16)上与4种同类型方法进行比较。定量上看,在SSSTD数据集中,本文模型相对性能第2的模型在精确率、召回率、F1和平均精度上分别提高了0.12%、2.17%、1.24%和7.71%;在CASIA和NIST16数据集中,本文模型也取得了最好成绩。定性上看,所提模型减少了误检和漏检,同时定位精度更高。结论 本文提出的双通道拼接篡改检测模型结合了Transformer和CNN在图像篡改检测方面的优势,提高了模型的检测精度,适用于复杂变电站场景下的篡改目标检测。     

基于语义信息的精细化边缘检测方法

边缘检测是在图像中准确地提取视觉上显著的边缘像素,以得到图像的边缘信息,然而传统基于全卷积网络的边缘检测方法通常存在预测边缘粗糙、模糊等问题。提出一种语义信息指导的精细化边缘检测方法。通过图像分割子网络将学习到的图像语义信息传递给边缘检测子网络,同时利用图像语义信息指导边缘检测子网络,其引入具有注意力机制与残差结构的特征融合模块,以生成精细的图像边缘,增强不同尺度的特征融合。在此基础上,结合图像分割任务和图像边缘检测任务中的代价函数定义新的模型代价函数并进行训练,进一步提高网络边缘检测质量。在BSDS500数据集上的实验结果验证了该方法的有效性,结果表明,该方法的固定轮廓阈值与图像最佳阈值分别达到0.818和0.841,相比HED、RCF等主流边缘检测方法,能够预测更精细的边缘图像,且鲁棒性更优。