数学公式图像处理综述

数学公式广泛存在于各类文献之中,因此数学公式的自动定位、识别、分析和理解是文档图像处理必须研究的问题.但是数学公式和普通文本存在很大区别,所以数学公式的识别、分析远比文字段落的识别困难.本文回顾了数学公式图像处理的研究历程,提出了公式处理的模型,总结比较了公式定位、公式识别、公式分析以及性能评估等方面的主要处理方法,并展望了未来的研究方向.     

一种中文文档的数学公式定位方法

为了从中英文混排的中文文档中定位数学公式,提出了一种基于中文字符识别和公式符号识别的数学公式定位方法。该方法主要由中文字符提取、内嵌公式提取和独立公式定位三个部分组成。在中文字符提取中,首先提取字符块信息中文字符识别结果、公式符号识别结果和字符块的几何特征,然后使用决策树的方法区分中文字符和非中文字符。在内嵌公式提取中,使用公式符号的语义信息、符号间的角标关系和公式的语义信息等从非中文字符中定位内嵌公式。在独立数学公式定位中,对包含较多内嵌公式符号且不包含中文字符的文字行提取版式结构特征,并使用高斯混合模型区分独立公式和普通文字行。在148幅文档图像共包含3 690个公式组成的测试集上取得了91.19%的公式定位正确率。     

印刷体中文文档中数学公式字符的定位

数学公式字符的定位对整个印刷体中文文档识别系统而言是提高其识别率的重要内容之一。在介绍典型的数学公式字符定位技术的基础上,提出了一种新的两级公式字符定位方法。该方法是采用了印刷体中文文档中不同字符之间的投影分布特征的不同与汉字识别拒识公式字符的思想结合起来对公式字符进行定位。从实验结果可以看出该定位方法能够在公式字符定位的准确率和时间上有了较大的改进,为提高印刷体中文文档识别系统的识别率奠定了基础。     

印刷体数学公式重构技术的研究

数学公式重构是公式识别的重要环节,目前相关的研究还很欠缺.基于MathML提出了一种印刷体数学公式重构的方法.在已实现的公式符号识别与结构分析程序所生成的公式关系树基础上,将公式关系树重构为MathML文档,并设计公式编辑器,实现了公式的再编辑和重用.实验表明,这种重构方法对印刷体数学公式具有较好的适应性和较高的准确率.     

数学公式基线结构分析及识别算法研究

公式识别问题被分为字符分割和结构分析两部分内容。系统地研究了数学公式识别的全过程,使用自适应字符分割方法和基线结构分析算法成功地实现了一般数学公式的识别,识别率比较高,较好地完成了公式识别任务。从实验结果中可以看出,这种基于基线结构分析的数学公式识别方法能够满足大多数印刷体公式的识别,是一种较好的方法。     

一种基于分块树的手写数学公式结构分析算法

本文源于一个手写数学公式识别系统,该系统实现了手写数学公式到文本公式的自动转化。文中提出了一种基于分块树的数学公式结构分析方法,该方法首先根据其内部结构特征将数学表达式分解为若干子模块,并采用树型结构对每个子模块内部字符之间的结构关系进行表示,最终形成整个表达式的树型表示。该方法定义了一系列的字符结构属性,将字符及属性值作为结构分析的结果,这些属性值再现了公式的结构特征,并很容易被系统的公式文本显示部分所利用。另外,该方法对传统的字符空间关系类型进行了简化,减小了识别误差,而引入的分块处理方式更加适合具有根式和分式等多层嵌套结构公式的处理,并且具有较强的可扩展性。     

基于基准线的多候选数学公式识别

提出了一种基于基准线的多候选数学公式识别(Baseline Based Multi-candidate Mathematical Expression Recognition,BBMMER)方法。现代印刷体数学公式识别是模式识别的重要组成部分,而数学公式结构分析又是数学公式识别技术发展的瓶颈所在。提出了一种利用基准线定位公式嵌套结构,多候选分析公式符号间结构关系的方法,并使用LaTex格式表示数学公式的识别结果。在大量的公式图像组成的测试集上取得了良好的公式分析正确率。     

基于语音和笔的手写数学公式纠错方法

采用识别技术的用户界面往往由于识别率的限制容易出错,如何为这类界面提供自然高效的纠错方法十分重要.手写数学公式具有二维结构,难以识别和纠错.提出一种用于纠正手写数学公式识男噜错误的多通道技术.它允许用户使用笔纠正切分错误,用笔和语音纠正符号识别和表达式结构分析错误.该技术的核心是一个多通道融合算法.融合算法以笔选择的符号和语音作为输入,根据语音输入的类型是数学术语或者数学符号分别选择融合方法,最后修正手写公式并输出最有可能的识别结果.实验结果表明,该技术能有效地纠正手写数学公式识别中的错误,它比基于笔的单通道纠错技术更加高效.     

基于Web的数学公式检索系统设计与实现

数学公式在Web环境下使用得越来越广泛,人们迫切需要通过对数学公式检索来获取相关的信息,但是目前主流的搜索引擎都不能检索数学公式。在分析公式自身特点的基础上提出构造公式索引的一些策略,并结合当前信息检索系统研究的成果,设计并实现了Web环境下的检索数学公式系统。     

基于综合纠错的印刷体数学公式识别后处理

目前印刷体数学公式识别系统的输出还存在着误识结果,进行必要的后处理是提高识别率的重要手段.介绍了一种将印刷体数学公式识别结果与公式的语义知识相结合的方法,对其误识结果进行系统的分析,给出了若干条共有的规则及基准转移等方法,进行综合纠错的后处理,从而进一步完善印刷体数学公式识别系统.实验结果表明,该方法能够有效地提高系统识别结果的正确率.     

基于运算符信息的数学表达式检索方法

传统的文本检索技术主要面向一维文本,难以用于对二维结构数学表达式的检索.针对该问题,通过引入公式描述结构,实现基于运算符信息的数学表达式检索.利用公式描述结构提取算法获取LaTeX数学表达式的节点信息,从而得到公式骨架存储结构.在此基础上,选择运算符值为1的节点及其相关文档建立索引,并通过数学表达式匹配算法得到与输入相似的表达式集合.实验结果表明,该方法能够从519 588个数学表达式中快速、准确地找到相似表达式,并且不受一般运算数的影响.     

基于统计特征的印刷体数学公式上/下标关系判别

印刷体数学公式与普通文本相比有许多不同的特点,其二维结构决定了公式识别不仅包含字符识别,更重要的是对其结构的分析。上/下标关系是公式中出现频繁又难于解决的特殊结构,容易与水平关系混淆。该文提出两种基于统计特征的印刷体数学公式上/下标关系判别方法,一种直接分析符号的外接矩形,另一种利用了符号的识别结果。实验结果表明,两种方法与同类方法相比都有改进,其中利用识别结果进行判别的方法不仅能将上/下标与水平关系很好地区分开,而且具有很大的类间距离。     

印刷体数学公式识别中的结构分析策略

数学公式识别是OCR技术的重要组成部分，目前相关的研究还很欠缺。文中在简要介绍数学公式识别发展状况的基础上，针对结构分析这一公式识别的关键环节，提出了一种将“自顶向下”和“自底向上”策略相结合的数学公式结构分析方法。实验表明，这种方法对公式结构具有较好的适应性。     

中文科技文档中的数学表达式定位

数学表达式定位是印刷体数学表达式识别的前提。针对中文科技文档,分别对独立表达式和内嵌表达式的定位问题提出了新的方法。采用自适应神经模糊推理系统(ANFIS) 对行特征进行分类,提取出独立表达式;采用模糊聚类和动态规划方法,从文档中依次提取出汉字、中文标点和英文字符,利用启发式规则合并剩余的数学符号而提取出内嵌表达式。实验表明,提出的表达式定位方法有很高的正确率。     

印刷体数学公式结构分析的一种方法

数学公式识别是OCR技术的重要组成部分,目前相关的研究还很欠缺。文章在简要介绍数学公式识别发展状况的基础上,针对结构分析这一公式识别的关键环节,提出了一种基于基准线、运算符作用域并结合语法分析数学公式结构的方法。实验表明,该方法对公式结构具有较好的适应性。     

面向联机手写数学表达式的实时识别方法

数学表达式识别一般分为字符识别和结构分析两部分,而且大多数现有的方法是先进行字符识别然后将字符识别的结果作为结构分析的输入再进行结构分析,在这种分步识别的过程中,字符识别的错误会被继承到结构分析阶段,最终导致识别错误。关于数学表达式结构分析的问题,现有的方法大多是在假设所有的符号已经识别的基础上进行的。为了解决上述问题,提出了一种实时识别联机手写数学表达式的方法。该方法基于字符识别和结构分析的结合,动态地构建一棵数学表达式结构树来识别该数学表达式。在构建数学表达式树的过程中,采用了影响区域定位的方法,免去了其他不受影响区域的重复识别过程,因而提高了再次识别的效率,同时还弥补了现有实时识别方法不能乱序输入的缺陷。实验结果表明提出的方法可以得到比较满意的识别结果。     

Defining the meaning of tabular mathematical expressions

Mathematical expressions in tabular form (also called “tabular expressions” or “tables”) have been shown to be useful for documenting and analysing software systems. They are usually easier to read than conventional mathematical expressions but are no less precise. They can be used wherever mathematical expressions are used. To avoid misunderstandings, and to support users with trustworthy tools, the meaning of these expressions must be fully defined.This paper presents a new method for defining the meaning of tabular expressions. Each definition of an expression type names the expression’s constituents, and provides a restriction schema and one or more evaluation schemas. The restriction schema defines the class of well-formed expressions of the type. An evaluation schema maps a well-formed tabular expression of the type to a mathematical expression of a previously defined type. Since the meaning of conventional mathematical expressions is well known, describing an equivalent expression fully defines the meaning of a tabular expression.In this approach, indexation is used to decouple the appearance of a tabular expression from its semantics. A tabular expression is an indexed set of grids; a grid is an indexed set of expressions. The expressions in a grid can be either conventional expressions or tabular expressions of a previously defined type.Defining the meaning of a tabular expression in this way facilitates the building of tools that faithfully implement the semantics. The decoupling of syntax and semantics by means of indices overcomes some limitations of older approaches.The method presented in the paper is illustrated by defining several previously known types of tabular expressions and some new ones. The use of the new model to build a suite of tools for the input, presentation, validation, evaluation, simplification, conversion and composition of tabular expressions is discussed.     

基于张量分析的表情特征提取

表情识别的性能依赖于所提取表情特征的有效性,现有方法提取的表情基本上是人脸与表情的融合体,然而不同个体的人脸差异是表情识别的主要干扰因素。在表情识别时,理想情况是将个体相关的人脸特征和与个体无关的表情特征相分离。针对此问题,在三维空间建立人脸张量;然后用张量分析的方法将人脸特征与表情特征进行分离,使获取的表情参数与人脸无关。从而排除不同个体的人脸差异对表情识别的干扰。最后,在JAFFE表情数据库上验证了该方法的有效性。