基于CNN的分块自适应彩色图像边缘检测的研究*

利用细胞神经网络(CNN)模型对彩色图像边缘检测时,首先要解决彩色空间的选择以及颜色距离的计算问题,其次网络参数的选择也是一个重要问题。为了达到在确保边缘检测准确的同时有效抑制噪声的目的,对整幅图像进行分块自适应检测,采用熵来度量图像的各个子区域的不同性质,然后根据该区域的性质选择一组合适的网络参数,对提取该区域图像边缘的CNN 模板进行了理论分析和鲁棒性研究,提出一个设计符合相应功能要求的CNN 鲁棒性定理,它为设计相应的 CNN 模板参数提供了解析判据。仿真实验表明,该算法具有较好的健壮性。     

Subpixel edge detection of color images by principal axis analysis and moment-preserving principle

This paper discusses a new approach for detecting edges with sub-pixel accuracy in color images using the principal axis analysis and the moment-preserving principle. First, the principal axis of the color vectors in a three-dimensional space is obtained analytically for each image block. Based on the projection scores, the direction of the line edge is obtained by analyzing the three-dimensional principal axis of a color image block. Next, by preserving some spatial color moments of the pixels of each square block, analytic formulas are derived to extract the edge feature. Experiments on both synthetic and real images show that the accuracy of the proposed method is comparable to other color edge detectors. The proposed algorithm can be performed very fast for real-time applications with no need for special hardware.     

对比度与空间位置关系驱动的显著性检测

针对已有方法不能很好地检测显著目标边界以及完整区域问题,提出一种基于超像素分割的图像显著性检测方法。首先,对原图像进行双边滤波降低局部颜色差异,使图像更加平滑、均匀,同时能够保留显著目标的边缘信息。然后通过计算局部窗口内像素的差异来实现显著目标边界的初步检测;滤波后的图像通过超像素分割将具有相同或相近颜色特征的像素划分到一个超像素区块内,在此基础上,综合考虑超像素区块的局部对比度与全局对比度以及空间分布关系来计算每个区块的显著值。最后,融合上述两部分的结果并通过引导滤波来对检测结果进行优化处理。在MSRA-1000公开数据集上与其他7种方法进行对比实验,所提方法的平均准确率为81.57%,平均召回率为77.13%,综合指标F-measure值为80.50%。实验结果表明,提出的方法能够很好地检测出显著目标边界与内部信息,均匀突出了显著区域,证明了所提方法的有效性和鲁棒性。     

基于双边滤波的多尺度图像融合

提出一种彩色图像和近红外图像的融合算法,先给出一种改进核函数的双边滤波器,然后应用该双边滤波器和高斯滤波器相结合多次作用于彩色图像和近红外图像,得到低频图像、边缘图像、细节图像等不同尺度的图像,在不同尺度图像融合的权重选择上,提出一种自适应的权重选择法。该方法综合考虑参与融合的各像素点的邻域来确定各点权重,不仅抑制了融合图像噪声,还使融合图像色彩更贴近原彩色图像。实验表明该方法得到的融合图像具有符合人眼观测习惯的颜色信息,此外融合图像的纹理、边缘等细节信息比原彩色图像更丰富。     

Text extraction in complex color documents

Text extraction in mixed-type documents is a pre-processing and necessary stage for many document applications. In mixed-type color documents, text, drawings and graphics appear with millions of different colors. In many cases, text regions are overlaid onto drawings or graphics. In this paper, a new method to automatically detect and extract text in mixed-type color documents is presented. The proposed method is based on a combination of an adaptive color reduction (ACR) technique and a page layout analysis (PLA) approach. The ACR technique is used to obtain the optimal number of colors and to convert the document into the principal of them. Then, using the principal colors, the document image is split into the separable color plains. Thus, binary images are obtained, each one corresponding to a principal color. The PLA technique is applied independently to each of the color plains and identifies the text regions. A merging procedure is applied in the final stage to merge the text regions derived from the color plains and to produce the final document. Several experimental and comparative results, exhibiting the performance of the proposed technique, are also presented.     

彩色图像SUSAN边缘检测方法

传统的彩色图像边缘检测方法主要是基于灰度图像的,先将彩色图像转化为灰度图像,然后用灰度图像边缘检测方法检测边缘。这些方法利用彩色图像的亮度信息进行边缘检测,没有考虑其色度信息。因此部分边缘不能被检测出来。提出了一种基于CIELAB空间的SUSAN彩色图像边缘检测方法。该方法首先将彩色图像从RGB空间转换到CIELAB空间,然后用基于色差的SUSAN算子检测边缘。实验结果表明：此方法能有效地检测出彩色图像的边缘。在保留图像边缘方面,性能优于基于灰度图像的边缘检测方法。     

一种基于彩色边缘综合特征的图像检索算法

图像特征的提取与表达是基于内容的图像检索技术基础。边缘是重要的视觉感知信息,也是图像最基本的特征之一,其在图像分析和理解中有重要价值。文中以视觉重要的图像边缘轮廓为基础,提出一种基于彩色边缘综合特征的图像检索算法。该算法首先利用Canny检测算子提取出原始图像的彩色边缘轮廓。然后构造出能全面反映边缘轮廓内容的3种直方图,即加权颜色直方图、角度直方图和梯度方向直方图。最后综合利用上述3种彩色边缘直方图计算图像间的内容相似度,并进行彩色图像检索。仿真实验表明,该算法能够准确和高效地查找出用户所需内容的彩色图像,并且具有较好的查准率和查全率。     

自适应多尺度分块压缩感知算法

目的 基于小波域的多尺度分块压缩感知重构算法忽略了高频信号在重构过程中的作用,丢失了大量的边缘与细节信息。针对上述问题,提出一种自适应多尺度分块压缩感知算法,不仅合理利用低频信息还充分利用图像的高频信息,在图像细节复杂度提高的情况下保证图像重构质量的提高。方法 首先进行3层小波变换,得到一个低频信号和9个高频信号,分别进行小波逆变换后分成大小相同互不重叠的块,对低频部分采用2维邻块边缘自适应加权滤波的方法进行处理,对高频部分采用纹理自适应分块采样,最后利用平滑投影Landweber（SPL）算法对其进行重构。结果 与已有的分块压缩感知算法、基于边缘和方向的分块压缩感知算法和基于纹理和方向的分块压缩感知算法相比,本文算法在不同的采样率下,性能均有所提升,代表细节信息的高频信号得到充分重建,改进的算法所得到的重建图像具有较高的分辨率,尤其对细节较为丰富的图像进行重建后具有较高的峰值信噪比;2维邻块边缘自适应加权滤波有效的去除了重建图像的块效应,且重建时间平均减少了0.3 s。结论 将三层小波变换后的高频分量作为纹理部分,利用自适应多尺度分块重建出图像的轮廓与边缘;将低频分量直接视为平坦部分,邻块边缘自适应加权滤波重建出图像细节,不仅充分利用了图像的高低频信息,还减少了平坦块检测过程,使得重建时间有效缩短。经实验验证,本文算法重建图像质量较好,尤其是对复杂图像明显消除了块效应,边缘和纹理细节较清晰。因此主要适用于纹理细节较复杂的人脸图像、建筑图像和遥感图像等。     

循环生成对抗网络的线稿图像自动提取

目的 动漫制作中线稿绘制与上色耗时费力,为此很多研究致力于动漫制作过程自动化。目前基于数据驱动的自动化研究工作快速发展,但并没有一个公开的线稿数据集可供使用。针对真实线稿图像数据获取困难,以及现有线稿提取方法效果失真等问题,提出基于循环生成对抗网络的线稿图像自动提取模型。方法 模型基于循环生成对抗网络结构,以解决非对称数据训练问题。然后将不同比例的输入图像及其边界图输入到掩码指导卷积单元,以自适应选择网络中间特征。同时为了进一步提升网络提取线稿的效果,提出边界一致性约束损失函数,确保生成结果与输入图像在梯度变化上的一致性。结果 在公开的动漫彩色图像数据集Danbooru2018上,应用本文模型提取的线稿图像相比于现有线稿提取方法,噪声少、线条清晰且接近真实漫画家绘制的线稿图像。实验中邀请30名年龄在2025岁的用户,对本文以及其他4种方法提取的线稿图像进行打分。最终在30组测试样例中,本文方法提取的线稿图像被认为最佳的样例占总样例84%。结论 通过在循环生成对抗网络中引入掩码指导单元,更加合理地提取彩色图像的线稿图像,并通过对已有方法提取效果进行用户打分证明,在动漫线稿图像提取中本文方法优于对比方法。此外,该模型不需要大量真实线稿图像训练数据,实验中仅采集1 000幅左右真实线稿图像。模型不仅为后续动漫绘制与上色研究提供数据支持,同时也为图像边缘提取方法提供了新的解决方案。     

自动分割视频序列中运动物体的新算法：多特征联合方法

视频编码标准MPEG-4增加了适于多种应用的基于视频内容的功能,为了支持这一功能和提高编码效率,MPEG-4将视频序列中的每一帧分解成视频对象面(VOP);另外,由于基于内容的视频检索和视频监控系统均期望用分割出的关键视频对象紧致地表示一个序列,同时由于视频分割技术在模式识别、计算机视觉等领域也得到了广泛的应用,因此,分割视频运动物体并跟踪运动物体的变化变得至关重要.为了对视频中运动物体进行有效的分割,在帧差图象的基础上,采用Canny边缘检测和随机信号的高阶矩检测相结合的方法,来自动分割视频序列的前景区域和背景区域,并在前景区域中应用区域生长法进行颜色分割,以精确提取运动物体的边缘;还利用边缘和颜色特征来对分割出的运动物体建立模板,用于解决非刚体运动中局部暂时停止运动的情况.实验结果表明,此方法可以有效地分割运动物体,并能跟踪运动物体的变化.     

An adaptive neuro-fuzzy system for automatic image segmentation andedge detection

An autoadaptive neuro-fuzzy segmentation and edge detection architecture is presented. The system consists of a multilayer perceptron (MLP)-like network that performs image segmentation by adaptive thresholding of the input image using labels automatically pre-selected by a fuzzy clustering technique. The proposed architecture is feedforward, but unlike the conventional MLP the learning is unsupervised. The output status of the network is described as a fuzzy set. Fuzzy entropy is used as a measure of the error of the segmentation system as well as a criterion for determining potential edge pixels. The proposed system is capable to perform automatic multilevel segmentation of images, based solely on information contained by the image itself. No a priori assumptions whatsoever are made about the image (type, features, contents, stochastic model, etc.). Such an "universal" algorithm is most useful for applications that are supposed to work with different (and possibly initially unknown) types of images. The proposed system can be readily employed, "as is," or as a basic building block by a more sophisticated and/or application-specific image segmentation algorithm. By monitoring the fuzzy entropy relaxation process, the system is able to detect edge pixels     

基于多尺度自适应加权的改进Canny算子

在Canny算法框架下,对彩色遥感图像进行多尺度滤波分析。定义多个不同尺度的高斯滤波器,在每个尺度下,分别对遥感图像RGB三个通道进行滤波和梯度计算,取三个通道的梯度最大值为该尺度下的遥感图像梯度值。根据各个尺度的滤波器对噪声的抑制能力及边缘定位能力的不同,自适应地确定相应的权值大小,然后再将这些不同尺度下检测到的梯度图像用自适应确定的权值进行加权合成最终的梯度图像。在此基础上,由非极大值抑制和双阈值处理得到图像边缘。实验结果表明,该算法比传统的Canny算子在噪声抑制和边缘定位方面具有更优的性能,适合彩色遥感图像的边缘检测。     

基于单幅光模板的高分辨率可靠3维形貌重建

如今在计算机视觉领域,基于结构光从2维图像重建物体的3维轮廓已成为研究热点。然而低分辨率、纹理受限、对光照敏感是此项技术实际应用的主要制约。由于结构光视觉的关键技术是编码解码,因此为了进行高分辨率可靠的3维形貌重建,提出了一种新的彩色编码结构光技术,用来对单幅图像进行3维重建。该技术首先设计一个基于De Bruijn序列的等距白色光条间隔的彩色光模板,同时采用K均值聚类的方法来匹配投影仪和摄像机平面之间对应的光条颜色。然后引入聚类的统计特征量,以自适应不同场景、纹理,使之能够在无控光照条件下实现光条边界局部的精确定位、模板正确匹配和解码。另外,针对静态场景,同一光模板相移方法还可以获取高分辨率的3维形貌,可适用于高密度重建任务。实验结果表明,该方法可在日常光照下重建高分辨率可靠3维模型,并可提高3维形貌获取的适用条件。     

基于自适应方向导数滤波器的彩色边缘检测

传统彩色边缘检测算法在提高边缘检测准确性时可能将噪声检测为边缘,而在提高噪声鲁棒性时会将部分边缘当作噪声进行抑制,导致部分边缘信息丢失。为解决传统彩色边缘检测算法在边缘检测准确性与噪声鲁棒性之间的矛盾问题,提出一种基于自适应各向异性高斯方向导数（ANDD）的彩色边缘检测算法。通过彩色图像的微分自相关矩阵构建反映边缘类型的度量准则,以自适应地确定每个像素处ANDD滤波器的形状,从而准确提取不同类型的边缘特征,采用ANDD滤波器组对图像进行平滑处理,提取在三个通道上的ANDD特征。在此基础上,利用奇异值分解得到最优融合权值,并融合三个通道的ANDD特征,以增强彩色边缘强度。实验结果表明,该算法在无噪声和含噪声环境下的Pratt品质因子分别为0.849 6和0.791 4,与彩色Canny、RCMG-MM和FRPOS算法相比,在保持较高边缘检测准确率的同时具有较优的噪声鲁棒性。     

局部自适应的灰度图像彩色化

目的 现有的灰度图像彩色化方法为了保证彩色化结果在颜色空间上的一致性,往往采用全局优化的算法,使得图像边界区域易产生过渡平滑现象。为此提出一种局部自适应的灰度图像彩色化方法,在迁移过程中考虑局部邻域像素信息,同时自动调节邻域像素权重,在颜色正确迁移的同时保证清晰的边界信息。方法 首先结合SVM（support vector machine）和ISLIC（improved simple linear iterative clustering）算法获取彩色图像和灰度图像分类结果图;然后在分类基础上,确定灰度图像高置信度像素点,并根据图像纹理特征,在彩色图像中寻找灰度图像的像素匹配点;最后利用自适应权重均值滤波实现高置信度匹配像素点的颜色迁移,并利用迁移结果对低置信度像素点进行颜色扩散,以完成灰度图像彩色化。结果 实验结果显示,本文方法获得的彩色化迁移结果评分均高于3.5分,特别是局部放大区域评价结果均接近或高于4.0分,高于其他现有彩色化方法评价分数。表明本文方法不仅能够保证颜色迁移的准确性和颜色空间的一致性,同时也能获取颜色区分度高的边界细节信息。与现有的典型灰度图像彩色化方法相比,彩色化结果图在颜色迁移的正确性和抑制边界区域颜色的过渡平滑上都有更优的表现。结论 本文算法为灰度图像彩色化过程中抑制颜色越界问题提供了新的指导方法,能有效地应用于遥感、黑白图像/视频处理、医学图像着色等领域。     

Object's contour detection scheme based on image fusion

Three novel object's contour detection schemes based on image fusion are proposed in this paper. In these schemes an active contour model is applied to detect the object's contour edge. Since an object's contour in an infrared (IR) image is usually clearer than that in a visible image, the convergent active contour in a visible image is improved with that in an IR image. The first contour detection scheme is realized by revising the shape-preserving active contour model. The second scheme minimizes the B-spline L ₂ norm's square of the difference of the B-spline control point vectors in two modal images. Contour tracking and extraction experiments indicate that the first scheme outperforms the second one. Moreover, a third scheme based on the active contour and pixel-level image fusion is proposed for images with incomplete but complementary scene information. An example using contour extraction of a partially hidden tank proves its efficacy.     

结合四元数与最小核值相似区的边缘检测

目的 针对传统彩色图像边缘检测方法中未充分利用图像色度信息、颜色模型间非线性转换过程中时间和空间的大量耗费、算法实现复杂等问题,将四元数引入最小核值相似区（SUSAN）算法中,提出一种RGB空间下的结合四元数与最小核值相似区的边缘检测算法。方法 该算法首先对彩色图像进行四元数描述,然后用改进的SUSAN算子进行边缘检测。针对其中单一几何阈值g的限制,以及检测出的边缘较粗等问题,本文采用Otsu算法自适应获取双几何阈值,再对弱边缘点集进行边缘生长,最后根据USAN重心及其对称最长轴来确定边缘局部方向,实现对边缘点的局部非极大值抑制,得到最终细化后的边缘图像。结果 实验选取1幅合成彩色图像及3幅标准图像库图像,与彩色Canny算法、SUSAN算法,及采用单阈值的本文算法进行对比,并采用Pratt品质因数衡量边缘定位精度。本文算法能够检测出亮度相近的不同颜色区域之间的边缘,且提取的边缘比较连续、细致,漏检边缘较少。与公认边缘检测效果较好的彩色Canny算法相比,本文算法的品质因数提高了0.012 0,耗时缩短了2.527 9 s。结论 本文提出了一种结合四元数与最小核值相似区的边缘检测算法,实现了四元数与SUSAN算子的有效融合。实验结果表明,该算法能够提高边缘定位精度,对弱噪声具有较好的抑制能力,适用于对实时性要求不高的低层次彩色图像处理。     

Edge detection and edge-preserved compression for error-diffused images

In this paper, a new approach to edge detection and image compression of bilevel error-diffused images is proposed. The proposed approach is directly applied to the error-diffused images without any inverse halftoning technique. The main idea behind the proposed edge detection method is to compute the consistency value of each pixel of the error-diffused image, and the computed values are then clustered into two classes to obtain the desired edges. Here, the consistency value is a function of the mass center and geometric center of the window; more precisely, it represents the possibility that the area covered by the window can be uniform. As for compression, each error-diffused input image is compressed by dividing the image into non-overlapping blocks with size 8 × 8, then each highly-consistent block is encoded by its average illumination, and each lowly-consistent block is transmitted directly using the original bitmap. The threshold to distinguish these two kinds of blocks is automatically calculated based on the compression rate required by the users. The complexity of our compression technique is low, and this fast method can be used in real-time application.     

Edge detection: a review of dissimilarity evaluations and a proposed normalized measure

In digital images, edges characterize object boundaries, so edge detection remains a crucial stage in numerous applications. To achieve this task, many edge detectors have been designed, producing different results, with various qualities of segmentation. Indeed, optimizing the response obtained by these detectors has become a crucial issue, and effective contour assessment assists performance evaluation. In this paper, several referenced-based boundary detection evaluations are detailed, pointing out their advantages and disadvantages, theoretically and through concrete examples of image edges. Then, a new normalized supervised edge map quality measure is proposed, comparing a ground truth contour image, the candidate contour image and their associated spatial nearness. The effectiveness of the proposed distance measure is demonstrated theoretically and through several experiments, comparing the results with the methods detailed in the state-of-the-art. In summary, compared to other boundary detection assessments, this new method proved to be a more reliable edge map quality measure.     

基于多层小波阈值函数的彩色图像边缘检测

针对彩色图像边缘检测中RGB颜色空间分量之间高的关联性会导致部分色彩信息未能被有效识别、检测及抗噪性低,提出一种多层小波阈值去噪函数的彩色图像边缘检测方法。采用改进的小波阈值去噪方法对彩色图像进行去噪预处理;运用四元数思想构建四方向特征矩阵求解Canny算子梯度幅值和幅角;进行非极大值抑制和自适应双阈值处理得到最终边缘检测图像。实验表明,该算法能够较好地获取彩色图像边缘信息,并有效降低漏检率和错检率,增强了自适应性,提高了边缘检测中边缘的连续性和抗噪性。