表格识别技术研究进展

表格广泛存在于科技文献、财务报表、报纸杂志等各类文档中,用于紧凑地存储和展现数据,蕴含着大量有用信息。表格识别是表格信息再利用的基础,具有重要的应用价值,也一直是模式识别领域的研究热点之一。随着深度学习的发展,针对表格识别的新研究和新方法纷纷涌现。然而,由于表格应用场景广泛、样式众多、图像质量参差不齐等因素,表格识别领域仍然存在着大量问题亟需解决。为了更好地总结前人工作,为后续研究提供支持,本文围绕表格区域检测、结构识别和内容识别等3个表格识别子任务,从传统方法、深度学习方法等方面,综述该领域国内外的发展历史和最新进展。梳理了表格识别相关数据集及评测标准,并基于主流数据集和标准,分别对表格区域检测、结构识别、表格信息抽取的典型方法进行了性能比较。然后,对比分析了国内相对于国外,在表格识别方面的研究进展与水平。最后,结合表格识别领域目前面临的主要困难与挑战,对未来的研究趋势和技术发展目标进行了展望。     

基于最优坐标系的表格版面分析

表格文档在日常生活中运用十分广泛,对这类文档进行计算机自动处理能提高文档处理速度和准确度,具有重要的现实意义.表格文档版面结构提取是文档信息处理自动化的核心.由于表格文档图像包含印刷体和手写体字符、图像、污损、噪声和一定的倾斜,在其影响下,正确的提取文档的版面结构是比较困难的.在总结国内外表格文档版面结构提取方法的基础上,提出了一种基于最优坐标系的版面结构提取方法,该方法与其它方法相比具有很强的抗干扰能力和文档版面定义灵活方便的特点.     

表格检测与结构识别综述

针对当前文档分析领域中表格分析的发展现状,整理了近年来领域内的相关文献,分别对表格检测和表格结构识别两个关键任务进行研究。针对表格检测任务,将其划分为基于目标检测、图神经网络、生成对抗网络、可变卷积网络的方法;针对表格结构识别任务,将其划分为基于目标检测、图神经网络、循环神经网络、可变卷积与扩张卷积网络的方法。总结了各类模型的方法路径和局限性,梳理了相关任务及其对应的数据集。更广泛地总结了表格分析领域常用的公开数据集,并对各数据集的来源、规模、适用范围及文件类型进行详细介绍。列举了表格分析领域常用的评价指标,并按照实验数据集的不同对现有模型的实验结果进行对比。总结了当前表格分析领域的发展状况,并对未来发展方向进行了展望。     

自然场景文本检测与识别的深度学习方法

许多自然场景图像中都包含丰富的文本,它们对于场景理解有着重要的作用。随着移动互联网技术的飞速发展,许多新的应用场景都需要利用这些文本信息,例如招牌识别和自动驾驶等。因此,自然场景文本的分析与处理也越来越成为计算机视觉领域的研究热点之一,该任务主要包括文本检测与识别。传统的文本检测和识别方法依赖于人工设计的特征和规则,且模型设计复杂、效率低、泛化性能差。随着深度学习的发展,自然场景文本检测、自然场景文本识别以及端到端的自然场景文本检测与识别都取得了突破性的进展,其性能和效率都得到了显著提高。本文介绍了该领域相关的研究背景,对基于深度学习的自然场景文本检测、识别以及端到端自然场景文本检测与识别的方法进行整理分类、归纳和总结,阐述了各类方法的基本思想和优缺点。并针对隶属于不同类别下的方法,进一步论述和分析这些主要模型的算法流程、适用场景和技术发展路线。此外,列举说明了部分主流公开数据集,对比了各个模型方法在代表性数据集上的性能情况。最后总结了目前不同场景数据下的自然场景文本检测、识别及端到端自然场景文本检测与识别算法的局限性以及未来的挑战和发展趋势。     

基于距离加权的自适应字线分离算法

提出一种基于距离加权的自适应字线分离算法。应用一定的启发式规则，计算表格线上像素点的权值，将权值与阈值相比较来判断该点是否为字符上的点，其中权值和阈值根据具体表格自动确定。该算法与表格线检测方法无关，且易于实现。实验结果表明，可以很好地处理字线交叠问题，提高了表格识别的正确率。     

表格结构识别网络FcaTGRNet

如今重要的数据大都通过表格直接展示，在分析数据时，除数据和文字信息外，表格结构信息也很重要，要想更加准确、便捷地分析表格数据，能否自动准确地识别表格结构至关重要。现在有很多识别表格结构的方法，对表格单元格检测的准确率也都比较理想，但是很少有方法在特征提取方面做出改进。为了证明图像特征提取在表格结构识别过程中的重要性，针对这一问题在TGRNet的基础上引入了多频谱注意力机制，以便更好地提取图像多个频谱上的特征，使得到的特征更加全面。在公开数据集上的实验结果显示，所做改进较原方法在表格结构识别的单元格空间位置和逻辑位置检测的准确率有所提升。     

快速实用的通用表格分析方法

表格分析是对表格的基本结构及形状进行识别的过程,是以后能否从表格单元中正确提取文本信息的关键.在结合表格特点的基础上,采用了表格线检测与处理相结合的方法获取表格框线.检测表格线过程中,通过定义了主表格线长度来加快扫描的速度:在表格线的处理中,针对杂线的剔除、表格线的调整及最终获得表格结构等方面进行了系统的探讨.大量的实验结果表明所提方法是可行的.     

基于深度学习的表格检测识别算法综述

信息时代的高速发展导致数据的大量产生与频繁传输,单单依靠人力很难处理这些数据.依托于人工智能的兴起与发展,数据的利用变得更加高效.表格作为一种特殊的数据形式,逐渐引起了广泛关注.概述了表格识别技术的发展,介绍了传统的表格识别技术及其缺点;介绍了基于深度学习技术的表格检测、表格结构识别、端对端检测与识别以及字符识别,重点...     

受限表格识别系统的研究

表格的自动输入、存储、管理已经成为文档智能处理领域的一个重要组成部分。一方面,表格结构复杂多样,使得很难找到一种能良好识别任何表格的通用方法;另一方面,很多领域里使用的表格,需要识别的通常是固定的某些表格单元。因此,设计并实现了一个受限表格识别系统,实验结果表明,该系统提高了表格识别的适应性和正确率。     

基于词汇增强和表格填充的中文命名实体识别

中文命名实体识别主要包括中文平面命名实体识别和中文嵌套命名实体识别两个任务,其中中文嵌套命名实体识别任务难度更大。提出了一个基于词汇增强和表格填充的统一模型TLEXNER,该模型能够同时处理上述任务。该模型首先针对中文语料分词困难的问题,使用词典适配器将词汇信息融合到BERT预训练模型,并且将字符与词汇组的相对位置信息集成到BERT的嵌入层中;然后通过条件层归一化和双仿射模型构造并预测字符对表格,使用表格建模字符与字符之间的关系,得到平面实体与嵌套实体的统一表示;最后根据字符对表格上三角区域的数值判断实体类别。提出的模型在平面实体的公开数据集Resume和自行标注的军事领域嵌套实体数据集上F₁分别是97.35%和91.96%,证明了TLEXNER模型的有效性。     

融合边特征与注意力的表格结构识别模型

针对现有方法在表格结构识别问题中存在的先验知识依赖、鲁棒性不足、表达能力不足等问题，提出一种新的融合边特征与注意力的表格结构识别模型——GEAN-TSR。首先，提出图边注意力网络（GEAN）并作为模型的主干网络，在边卷积结构的基础上引入并改进图注意力机制聚合图节点特征，解决图网络在特征提取过程中的信息损失的问题，提高图网络的表达能力；然后，引入边特征融合模块融合浅层图节点信息与图网络输出，增强图网络的局部信息提取能力与表达能力；最后，将门控循环单元（GRU）提取的图节点文本特征融入文本特征融合模块对边进行分类预测。在SciTSR-COMP数据集上的对比实验中，相较于目前最优的模型SEM,GEAN-TSR的召回率与F1值分别提升2.5与1.4个百分点。在消融实验中，GEAN-TSR采用特征融合模块后，所有指标都取得了最优值，验证了模块的有效性。实验结果表明，GEAN-TSR能够有效提升网络性能，更好地完成表格结构识别任务。     

一种端到端的考场多目标行为识别算法

人工监考存在监考人员容易疲惫、监考行为缺乏客观的执行准则、违规行为证据无法留存等问题,因此越来越多的高校建设了智能化教室,并在教室开始实施利用行为识别进行自动化的监考任务,以期在监考工作中解放人工劳动的同时提供公平公正客观的监考程序。在实际考场监控的边缘设备中利用TSN双流、3DCNN等结合时空特征的网络很难实现实时的、相对准确的监控任务。提出一种端到端的考场多目标行为识别算法。相对于以提取空间、时序特征并进行融合为主流思想的行为识别算法,利用视频帧以多目标检测和多目标行为识别相结合的行为识别算法在考场环境中更加快速准确。算法借助了多标签学习、注意力机制和特征金字塔等策略来改进任务,同时利用迁移学习对本地采集的考场行为视频数据集进行再训练,得到最终的考场行为识别模型,结果表明达到了主流数据集中上水平,并在考场环境中具有良好的高效性与准确性。     

接触式图像传感器应用于表格文档信息处理

表格文档在日常生活中运用十分广泛 ,它应用于人口普查、银行票据、各类报表等领域 ,对这类文档进行计算机自动处理具有重要的现实意义。表格文档信息处理系统主要由文档原始图像获取、文档结构提取和填写信息识别等部分组成。在分析了国内外表格文档信息自动录入系统的优缺点后 ,采用一种基于接触式图像传感器 (CIS)摄取表格文档的原始图像信号 ,利用硬件获得了高质量的图像信号。采用光学字符识别 (OCR)技术对填写的表格文档信息进行识别。该表格文档信息处理系统具有对表格文档的纸张和填写的要求低和识别准确度高的特点。     

基于OCR技术的航天器材料及器件试验数据识别系统

航天器材料及器件数据库需要海量国内外试验报告数据的支撑,其中表格作为最普遍的数据存储形式含有的数据量最为庞大,然而面对人工识别提取表格数据工作繁琐且易出错的难点,以PDF文档的表格为研究对象,提出基于OCR技术的航天器材料及器件试验数据识别系统;采用了B/S架构,基于EXT、JAVA、Python等技术语言进行开发,系统具备PDF文档转换、表格识别、数据提取、数据编辑等功能;依据系统设计采用版面分析和PDFPlumber表格检测的关键技术和方法以达导准确有效识别PDF文档表格的目的,采用EXT表格控件形式展现提取的数据经试验测试实现了对PDF文档内规整表格的批量识别和数据提取;验证了设计方案的可行性,满足了试验数据试别系统的高识别准确率、快速识别等特点;     

非限定表格信息提取系统的研究

本文概要讨论了非限定一表格信息提取系统的结构和技术难点，提出了一种既有利于表格识别，又能进行表格定位的方法－四角定位点法，介绍了利用四角定位点法实现的非限定表格信息提取系统，实验结果表明，该系统具有通用、快速、准确的特点。     

任意倾角表格框线的快速检测

表格的识别近年来受到了越来越多的关注,已取得一些行之有效的成果。其中的部分算法可抗任意角度的倾斜,然而其运行效率却都低于投影类方法。而投影方法虽然效率很高,但不能处理严重倾斜的表格。文章给出一种新的检测倾斜表格框线的途径。算法利用数字影像中直线段的结构特征高效地检测出表格的一条边框线,并由此获得所需的角度值,进而沿着角度所指定的方向迅速搜索出边框线。整个检测方法的效率类似于投影法,同时可抗任意角度的旋转。     

手写表格识别系统研究和实现

对手写表格数字识别系统进行研究,提出了输出规则的概念,解决了常用表格数据识别处理的输出描述问题.用此方法已成功地开发出手写数字表格识别处理系统,该系统具有运算量小、抗干扰性强、通用性好、识别率高等特点.     

普通文档图象中表格结构的自动定位

表格结构定位是文档图象版面结构分析中的重要研究内容.为了准确进行普通文档图象中表格结构的自动定位,提出了一种基于数据分隔符、线条连通区域的表格结构定位算法,并建立了系统的表格结构检查机制,该算法不仅能够有效克服表格结构多样性、不稳定性造成的定位错误,而且能保证表格结构定位的准确和完整.经包含101页实际文档图象的样本集进行测试,该方法的定位正确率达到97.72%.     

表格图像处理自动评测的设计与实现

表格图像处理系统的自动化评测技术一直是文档图像处理领域的难点问题,目前尚缺乏成熟的评测方法体系。本文立足于“线条交点矩阵比对的思想建立完整的自动化评测方法,实现对表格定位和结构分析的自动化定量评测。     

表格单元格分类的端到端不完全监督方法

大数据时代下,爆炸式增长的非结构化数据中蕴含着大量有价值的信息,对其进行识别和提取变得越发重要。表格是典型的高价值密度非结构化数据,为了识别表格的功能结构,并提高模型的通用性和结果的易用性,针对表格单元格分类提出一个端到端不完全监督方法。设计了基于视觉可见的特征选取方案来提高通用性,提出基于规则的自动修正算法用于改善单元格分类的效果,让用户对结果进行再次修正并将结果作为额外的训练数据参与模型训练来提高模型不同场景下的适应性。最后将方法实现为端到端工具,在提高便捷性的同时使得修正后的数据可直接导出用于下游任务。实验结果表明,提出的方法在多个指标上对比基线方法均有提升,同时在一定程度上提高了结果的易用性。