多方向自然场景文本检测

针对自然场景图像背景复杂和文本方向不确定的问题,提出一种多方向自然场景文本检测的方法。首先利用颜色增强的最大稳定极值区域(C-MSER)方法对图像中的字符候选区域进行提取,并利用启发式规则和LIBSVM分类器对非字符区域进行消除;然后设计位置颜色模型将被误滤除的字符找回,并利用字符区域中心进行拟合估计文本行倾斜角度;最后通过一个CNN分类器得到精确的结果。该算法在两个标准数据集上(ICDAR2011和ICDAR2013)上进行了测试,f-score分别为0.81和0.82,证明了该方法的有效性。     

基于对象建议算法的自然场景文本检测

对象建议算法(object proposals)是对象检测中的常用算法,用于快速定位物体区域。根据自然场景文本的特点,将对象建议算法应用到文本检测中,并与经典的最稳定极值区域算法相结合;然后,通过贝叶斯模型融合了笔画宽度特征、视觉散度特征和边缘梯度特征,并将文本和非文本区域的区分问题转换成一个二值标记问题,通过最小化能量函数寻找最佳标记;最后,通过均值漂移聚类寻找文本区域的中心生成文本行。经实验证明,本算法在常用的自然场景文本检测数据集上速度得到了提高,并且一定程度上解决了传统最稳定极值区域算法对光照敏感的问题,获得了较高的查全率。     

基于YOLOv3与MSER的自然场景中文文本检测研究与实现

针对在复杂的自然场景中中文本倾斜、模糊、光照等检测难题,提出一种基于卷积神经网络YOLOv3与最大极值稳定区域MSER的检测方法YOLOv3-M,并针对中文场景分别改善YOLOv3与MSER.通过YOLOv3算法对图像文本区域的矩形坐标进行回归预测,设计一个基于MSER的角度检测方法与之关联,实现倾斜文本行的检测.YOLOv3-M弥补了YOLOv3不能检测倾斜目标的缺点以及MSER检测容易被复杂场景干扰的缺点,并且YOLOv3与MSER都在检测速度上有着优秀的表现.实验结果表明,YOLOv3-M算法准确率达到81.2％,召回率达到69.7％,其检测速度达到45帧/s.     

卷积深度置信网络的场景文本检测

自然场景中的文本检测对于视频、图像和图片等海量信息的检索管理具有重要意义.针对自然场景中的文本检测面临着图像背景复杂、分辨率低和分布随意的问题,提出一种场景文本检测的方法.该方法将最大稳定极值区域算法与卷积深度置信网络进行结合,把从最大稳定极值区域中提取出来的候选文本区域输入到卷积深度置信网络中进行特征提取,由Softmax分类器对提取的特征进行分类.该方法在ICDAR数据集和SVT数据集上进行实验,实验结果表明该方法有助于提高场景文本检测的精确率及召回率.     

基于城市监控的自然场景图像的中文文本提取方法

智慧城市的首要任务是城市场景监控及其信息分析,场景图像中文本信息的识别是一种直观且高效的场景信息分析手段,但目前场景图像的中文文本提取由于图像光照和模糊、中文字符结构复杂等因素,未能达到很好的效果.为解决这一问题,提出一种边缘增强的最大稳定极值区域(maximally stable extremal regions, MSER)检测方法,可在光照和模糊影响的条件下提取MSER,通过几何特征约束条件高效地过滤明显的非MSER,得到高质量的候选MSER.之后使用提出的中心聚合方法对分割成多个MSER的候选中文文本域进行中文的聚合,使得候选区域成为单个候选的中文文本分量,再对这些分量进行分析,并运用机器学习选出正确的中文文本.实验结果表明:该算法能够更有效地提取出自然场景图像中的中文文本.     

最稳定极值区域与边缘增强的船名定位方法

船名自动定位技术是船名身份自动识别的第一步,对推动船舶自动化管理有着重要意义。提出一种结合最稳定极值区域和边缘增强的船名定位方法。该方法在MSER(Maximally Stable Extremal Regions)区域检测Canny边缘,通过先验知识分析连通域最终实现定位船名。实验表明,该方法能适应昼间、夜间、强光和弱光多种光照环境,昼间数字定位准确率高达90.9%,昼间船名定位准确率达78.5%。     

基于垂直区域回归网络的自然场景文本检测

由于自然场景下文本检测不同于传统的物体检测,直接采用RPN算法对文本检测会有一定的限制,一方面,由于文本区域具有可变长度、背景复杂、多样化等因素,网络必须设计更大的感受野;另一方面,在RPN训练阶段,正样本的选择会出现大量的误检和漏检情况。对此提出一种基于垂直区域回归网络的算法,首先采用Hough算法对部分场景图像进行倾斜校正预处理;其次在训练阶段基于ground truth框与候选框Anchor在垂直方向上IOU值（交集与并集之比）大于某个阈值的情况下选择正样本,且在垂直方向上对正样本进行分类回归;最后由多个相邻Anchor合并形成文本区域。实验结果表明,在ICDAR2011和ICDAR2013数据集上获得了良好的检测效果。     

基于聚类与边缘检测的自然场景文本提取方法

为了解决复杂自然场景、光照不均匀及背景纹理丰富图像中文本的有效提取,提出一种基于K-means聚类与边缘检测结合的自然场景文本提取方法.该方法通过改进K-means聚类算法,实现文本区域的分割;然后对分割后的图像进行二值子图分解,将分解后的各子图像的连通区域进行标记与分析,得到候选的字符区域;最后利用文本区域的边缘特征对候选字符区域过滤,实现文本字符的提取.实验结果表明,该方法能有效提取出复杂背景、光照影响及背景纹理丰富图像中的文本字符区域.     

基于边缘检测和特征融合的自然场景文本定位

文本定位作为文本识别的基础和前提,对图像深层信息的理解至关重要。针对自然场景下的文本定位受光照、复杂背景等因素影响较大的问题,提出了一种基于多方向边缘检测和自适应特征融合的自然场景文本定位方法。该方法首先将自然场景图像进行三通道八方向的边缘检测;然后 通过启发式规则 对得到的边缘图像进行过滤从而提取出备选文本域,进而对备选文本域进行自适应权值的HOG-LBP特征提取与融合;最后采用支持向量机进行特征分类学习,实现文本定位。实验结果表明,该方法能准确定位自然场景图片的文本区域,对光照和复杂背景具有较强的鲁棒性。     

基于YCgCr颜色空间的光照自适应的肤色区域检测

为了校正由于光源颜色变化而引起的图像色彩的偏差,在RGB颜色空间基于Gray World假设,采用颜色平衡方法对输入的彩色图像进行颜色校正;为了有效地检测彩色图像中的肤色区域,采用了新颜色空间YCgCr,并在该颜色空间建立了联合亮度信息和Cg-Cr色度查找表的肤色模型.大量实验结果表明,该模型具有较强的光照适应性,可应用于复杂环境下的彩色图像中的人体肤色区域检测.     

结合MSCRs与MSERs的自然场景文本检测

目的 目前,基于MSERs(maximally stable extremal regions)的文本检测方法是自然场景图像文本检测的主流方法。但是自然场景图像中部分文本的背景复杂多变,MSERs算法无法将其准确提取出来,降低了该类方法的鲁棒性。本文针对自然场景图像文本背景复杂多变的特点,将MSCRs(maximally stable color regions)算法用于自然场景文本检测,提出一种结合MSCRs与MSERs的自然场景文本检测方法。方法 首先采用MSCRs算法与MSERs算法提取候选字符区域;然后利用候选字符区域的纹理特征训练随机森林字符分类器,对候选字符区域进行分类,从而得到字符区域;最后,依据字符区域的彩色一致性和几何邻接关系对字符进行合并,得到最终文本检测结果。结果 本文方法在ICDAR 2013上的召回率、准确率和F值分别为71.9%、84.1%和77.5%,相对于其他方法的召回率和F值均有所提高。结论 本文方法对自然场景图像文本检测具有较强的鲁棒性,实验结果验证了本文方法的有效性。     

基于YUV颜色空间的视频运动检测

给出了一种结合YUV颜色空间色度和亮度进行运动检测的算法,该算法首先采用单高斯背景建模,然后利用当前帧和背景帧像素的色度分量差分进行运动检测,并将膨胀后的色度检测结果和亮度检测结果进行与运算,得到色度和亮度联合检测结果.最后利用数学形态学闭运算和连通区域面积阈值化的方法对检测结果进行后处理,实现运动物体内部空洞的填充和周围较大噪声点的消除.实验结果表明,该算法能克服亮度变化和阴影的影响,取得较好的检测结果.     

改进基于HSV空间的阴影检测算法

为实现复杂视频中前景目标的分割,需要解决前景目标准确提取难题,但在光照情况下,会受到阴影影响。为解决这一难题,提出一种结合高斯混合模型的HSV颜色空间阴影检测算法。对HSV颜色空间阴影检测进行修正,消除对非运动目标区域阴影的误检,加入运动目标轮廓检测,消除运动目标边缘阴影误检,得到运动目标阴影的准确检测。实验结果表明,该算法能有效检测复杂背景下的阴影目标,为获得准确分割前景目标奠定基础。     

基于MSER-Otsu与直线矫正的仪表指针定位算法

针对配电站无人值守作业机器人执行巡检任务时对指针式仪表的识读需求,提出一种结合MSER-Otsu阈值分割与Hough变换直线矫正的仪表指针定位算法.利用最大稳定极值区域算法从表盘图像中粗提取出指针区域,引入迭代Otsu算法进一步对该区域进行阈值分割,将指针、阴影和背景区域像素点分离后仅保留指针的二值化图像,对其采用Ho...     

基于改进Mask R-CNN的越南场景文字检测

针对越南场景文字检测训练数据缺乏及越南文字声调符号检测不全的问题,在改进的实例分割网络Mask R-CNN的基础上,提出一种针对越南场景文字的检测算法。为了准确地分割带声调符号的越南场景文字,该算法仅使用P2特征层来分割文字区域,并将文字区域的掩码矩阵大小从14×14调整为14×28以更好地适应文字区域。针对用常规非极大值抑制（NMS）算法不能剔除重复文字检测框的问题,设计了一个针对文字区域的文本区域过滤模块并添加在检测模块之后,以有效地剔除冗余检测框。使用模型联合训练的方法训练网络,训练过程包含两部分：第一部分为特征金字塔网络（FPN）和区域生成网络（RPN）的训练,训练使用的数据集为大规模公开的拉丁文字数据,目的是增强模型在不同场景下提取文字的泛化能力;第二部分为候选框坐标回归模块和区域分割模块的训练,此部分模型参数使用像素级标注的越南场景文字数据进行训练,使模型能对包括声调符号的越南文字区域进行分割。大量交叉验证实验和对比实验结果表明,与Mask R-CNN相比,所提算法在不同的交并比（IoU）阈值下都具有更好的准确率与召回率。     

改进的HSI空间形态学有噪彩色图像边缘检测

针对在RGB空间中很难有效区分颜色相似性问题,选择了更加符合颜色视觉特性的HSI颜色空间进行图像处理,提出了一种改进的形态学有噪彩色图像边缘检测方法,将开闭的迭代运算和双结构元多尺度运算应用到传统形态学梯度算子中,然后计算图像H、S、I三个分量的边缘信息,根据H、S、I所占比重对三分量进行加权融合得到彩色图像边缘.实验结果表明,该方法所检测的边缘符合人眼视觉特性,在抗噪声方面的效果比传统方法及其他多种方法更佳,能够更完整地保留原彩色图像的轮廓,计算量相对较小,有很好的实用性和通用性.     

基于多肤色空间及AdaBoost算法的人脸检测方法

针对复杂背景和可变光照下的彩色图像人脸检测问题,提出一种基于多肤色空间下的肤色分割及Ada-Boost算法的人脸检测方法。首先利用均值滤波、拉普拉斯算子等方法对图像进行增强处理;然后结合YCbCr、YCgCr、YCgCb三种颜色空间下的多肤色空间对图像进行肤色分割,定位出候选的人脸区域;最后对AdaBoost算法的检测过程进行研究验证,检测出人脸并指示。数据显示,该方法在时间、检测率、漏检率等方面都有明显的改进。因此,该方法能较好地处理复杂背景下彩色图像人脸检测的错检、漏检问题,从而提高了检测效率。     

基于L*a*b*空间颜色信息度量的边缘检测

对L*a*b*空间进行分析,提出了一种基于颜色信息度量的边缘检测算法.通过在L*a*b*空间中构造立方体,根据体积变化定义各像素点的颜色信息度量,作为确定各像素点是否为彩色图像的边缘点的判据.该方法综合利用了彩色图像的明度和色度信息,将向量空间的计算以自然的方式转换成了标量的计算.实验证明,与传统的方法相比较,能快速有效地检测出图像的边缘.     

自然场景文本检测与识别的深度学习方法

许多自然场景图像中都包含丰富的文本,它们对于场景理解有着重要的作用。随着移动互联网技术的飞速发展,许多新的应用场景都需要利用这些文本信息,例如招牌识别和自动驾驶等。因此,自然场景文本的分析与处理也越来越成为计算机视觉领域的研究热点之一,该任务主要包括文本检测与识别。传统的文本检测和识别方法依赖于人工设计的特征和规则,且模型设计复杂、效率低、泛化性能差。随着深度学习的发展,自然场景文本检测、自然场景文本识别以及端到端的自然场景文本检测与识别都取得了突破性的进展,其性能和效率都得到了显著提高。本文介绍了该领域相关的研究背景,对基于深度学习的自然场景文本检测、识别以及端到端自然场景文本检测与识别的方法进行整理分类、归纳和总结,阐述了各类方法的基本思想和优缺点。并针对隶属于不同类别下的方法,进一步论述和分析这些主要模型的算法流程、适用场景和技术发展路线。此外,列举说明了部分主流公开数据集,对比了各个模型方法在代表性数据集上的性能情况。最后总结了目前不同场景数据下的自然场景文本检测、识别及端到端自然场景文本检测与识别算法的局限性以及未来的挑战和发展趋势。