一种基于分块树的手写数学公式结构分析算法

本文源于一个手写数学公式识别系统,该系统实现了手写数学公式到文本公式的自动转化。文中提出了一种基于分块树的数学公式结构分析方法,该方法首先根据其内部结构特征将数学表达式分解为若干子模块,并采用树型结构对每个子模块内部字符之间的结构关系进行表示,最终形成整个表达式的树型表示。该方法定义了一系列的字符结构属性,将字符及属性值作为结构分析的结果,这些属性值再现了公式的结构特征,并很容易被系统的公式文本显示部分所利用。另外,该方法对传统的字符空间关系类型进行了简化,减小了识别误差,而引入的分块处理方式更加适合具有根式和分式等多层嵌套结构公式的处理,并且具有较强的可扩展性。     

数学公式基线结构分析及识别算法研究

公式识别问题被分为字符分割和结构分析两部分内容。系统地研究了数学公式识别的全过程,使用自适应字符分割方法和基线结构分析算法成功地实现了一般数学公式的识别,识别率比较高,较好地完成了公式识别任务。从实验结果中可以看出,这种基于基线结构分析的数学公式识别方法能够满足大多数印刷体公式的识别,是一种较好的方法。     

印刷体数学公式识别中的结构分析策略

数学公式识别是OCR技术的重要组成部分，目前相关的研究还很欠缺。文中在简要介绍数学公式识别发展状况的基础上，针对结构分析这一公式识别的关键环节，提出了一种将“自顶向下”和“自底向上”策略相结合的数学公式结构分析方法。实验表明，这种方法对公式结构具有较好的适应性。     

数学公式图像的结构理解与重现

数学公式图像识别与理解是文档图像处理领域的重要组成部分,目前尚无满足一般应用的处理方法. 提出了一种鲁棒的数学公式结构理解方法,使用公式图像识别结果、语法规则和句法规则分析数学公式结构,对数学公式的类型进行了完整的划分,对识别结果的错误进行自动的检查和纠正,能够自动分析数学公式符号的优先级和计算顺序. 既可以应用于数学公式图像的识别与格式转换,也可应用于对数学公式的检索和辅助编辑. 基于1 000个真实公式图像的实验结果证明了分析方法的有效性和稳定性.     

印刷体数学公式识别中的结构分析策略

数学公式识别是OCR技术的重要组成部分,目前相关的研究还很欠缺.文中在简要介绍数学公式识别发展状况的基础上,针对结构分析这一公式识别的关键环节,提出了一种将"自顶向下"和"自底向上"策略相结合的数学公式结构分析方法.实验表明,这种方法对公式结构具有较好的适应性.     

印刷体数学公式结构分析的一种方法

数学公式识别是OCR技术的重要组成部分,目前相关的研究还很欠缺。文章在简要介绍数学公式识别发展状况的基础上,针对结构分析这一公式识别的关键环节,提出了一种基于基准线、运算符作用域并结合语法分析数学公式结构的方法。实验表明,该方法对公式结构具有较好的适应性。     

人在回路的在线手写数学公式识别方法

在线手写数学公式识别面临书写字符的不确定性、数学公式结构的复杂性,以及公式书写风格因人而异等问题,特别是在公式书写中出现偶然性错误和包含复杂结构的情况下,现有的仅依赖机器的识别算法的识别准确率较低.为了解决这一问题,提出了人在回路的手写公式识别方法,该方法主要在结构分析阶段引入了人的参与,借助人对结构中歧义笔画的修改和结构补笔操作,完善和界定结构笔画和结构内笔画信息.为了评估该方法的有效性,将其与不含用户参与信息的一个基线识别方法在结构识别率和表达式识别率方面进行了对比分析.结果表明,该方法能够有效地促进用户参与到手写识别过程,同时,针对实验收集的手写数学公式数据,引入用户参与的方法能够有效地提高手写数学公式的结构和表达式识别率,分别提高了9.26％和13.99％.     

印刷体数学公式结构分析方法的研究

印刷体数学公式识别是OCR技术的重要组成部分,也是识别技术发展的瓶颈所在。在介绍公式识别技术发展现状的基础上,针对结构分析这一公式识别的关键环节,提出了一种基于基准线和字符间空白域特征的公式二维结构分析方法,并将语义和语境分析策略融入其中。实验表明,这种方法对公式结构分析具有较好的鲁棒性和应用前景。     

印刷体数学公式的结构分析与识别

针对印刷体数学公式中的结构分析,提出将“自下而上”和“自上而下”相结合的策略。自上而下是针对特殊结构的分析,特殊结构包括根号、矩阵、上下标等。自上而下是对公式整体结构的分析,并且用递归的方式对各个子表达式采用同样的分析方法。结构分析成功后,用树形结构表示整个公式的二维空间布局。实验结果表明,此种分析策略有效地提高了印刷体数学公式的结构分析成功率。     

数学公式图像处理综述

数学公式广泛存在于各类文献之中,因此数学公式的自动定位、识别、分析和理解是文档图像处理必须研究的问题.但是数学公式和普通文本存在很大区别,所以数学公式的识别、分析远比文字段落的识别困难.本文回顾了数学公式图像处理的研究历程,提出了公式处理的模型,总结比较了公式定位、公式识别、公式分析以及性能评估等方面的主要处理方法,并展望了未来的研究方向.     

Recognition of online handwritten mathematical expressions

This paper aims at automatic understanding of online handwritten mathematical expressions (MEs) written on an electronic tablet. The proposed technique involves two major stages: symbol recognition and structural analysis. Combination of two different classifiers have been used to achieve high accuracy for the recognition of symbols. Several online and offline features are used in the structural analysis phase to identify the spatial relationships among symbols. A context-free grammar has been designed to convert the input expressions into their corresponding T(E)X strings which are subsequently converted into MathML format. Contextual information has been used to correct several structure interpretation errors. A new method for evaluating performance of the proposed system has been formulated. Experiments on a dataset of considerable size strongly support the feasibility of the proposed system.     

用于在线手写公式合成的编解码网络

目的 在线公式识别是一种将在线输入手写轨迹点序列转换为公式文本的任务,其广泛应用在手机、平板等便携式设备上。众所周知,训练数据对于神经网络十分重要,但获取有标注的在线公式数据所需要的成本十分昂贵,在训练数据不足的情况下,深度神经网络在该任务上的泛化性和鲁棒性会受到影响。为此,提出了一个基于编码—解码模型的在线数据生成模型。方法 该模型从给定的公式文本生成对应的在线轨迹点序列,从而灵活地扩充训练数据规模。生成模型在编码器端设计了结合树形表示的文本特征提取模块,并且引入了基于位置的注意力算法,使模型实现了输入文本序列与输出轨迹序列间的对齐。同时,解码器端融入了不同手写人风格特征,使模型可以生成多种手写人风格的样本。结果 实验中,首先,将本文生成方法在不同类型输入文本和不同手写人风格上的结果可视化,并展示了模型在多数情况下的有效性。其次,生成模型合成的额外数据可作为训练集的增广,该数据被用于训练Transformer-TAP（track,attend,and parse）、TAP和DenseTAP-TD（DenseNet TAP with tree decoder）模型,并分析了3种模型在使用增广数据前后的性能变化。结果表明,引入增广数据分进行训练后,3个模型的绝对识别率分别提升了0.98%、1.55%和1.06%;相对识别率分别提升了9.9%、12.37%和9.81%。结论 本文提出的在线生成模型可以更加灵活地实现对原有数据集的增广,并有效提升了在线识别模型的泛化性能。     

基于形态学变换的有限集手写体汉字识别

以21个金融汉字为研究对象,提出了一种基于数学形态学和弹性网格技术的特征融合方法.在汉字图像上构造弹性网格,利用形态学变换将汉字分解为4个方向笔画分量,分别提取方向特征和笔画穿透数目特征,然后将这两组特征向量的维数和度量统一后组合成复向量的形式,并采用K-L变换降维,去除冗余信息.该方法无需细化,受笔画不规则变形影响较小.实验证明,是一种有效的特征提取方法.     

Augmented incremental recognition of online handwritten mathematical expressions

This paper presents an augmented incremental recognition method for online handwritten mathematical expressions (MEs). If an ME is recognized after all strokes are written (batch recognition), the waiting time increases significantly when the ME becomes longer. On the other hand, the pure incremental recognition method recognizes an ME whenever a new single stroke is input. It shortens the waiting time but degrades the recognition rate due to the limited context. Thus, we propose an augmented incremental recognition method that not only maintains the advantage of the two methods but also reduces their weaknesses. The proposed method has two main features: one is to process the latest stroke, and the other is to find the erroneous segmentations and recognitions in the recent strokes and correct them. In the first process, the segmentation and the recognition by Cocke–Younger–Kasami (CYK) algorithm are only executed for the latest stroke. In the second process, all the previous segmentations are updated if they are significantly changed after the latest stroke is input, and then, all the symbols related to the updated segmentations are updated with their recognition scores. These changes are reflected in the CYK table. In addition, the waiting time is further reduced by employing multi-thread processes. Experiments on our dataset and the CROHME datasets show the effectiveness of this augmented incremental recognition method, which not only maintains recognition rate even compared with the batch recognition method but also reduces the waiting time to a very small level.     

基于数学形态学的编码标志点识别算法

特殊编码标志点的使用是摄影测量中经常使用的一种手段,针对由此带来的标志点识别问题,主要以数学形态学为工具,对采集的标志点图像做若干次形态学运算后,提取出每个标志点所在区域的边界,进一步结合所提出的标志点特征向量准确地识别出该标志点．实验表明,该算法对较理想图像,识别率为100%,较坏情形可达94%以上。     

An online handwritten music symbol recognition system

The objective of this study is to produce a system that would allow music symbols to be written by hand using a pen-based computer that would simulate the feeling of writing on sheets of paper and that would also accurately recognize the music symbols. To accomplish these objectives, the following methods are proposed: (1) Two features, time-series data and an image of a handwritten stroke, are used to recognize strokes; and (2) The strokes are combined, as efficiently as possible, and outputted automatically as a music symbol. As a result, recognition rates of 97.60 and 98.80% were obtained in tests with strokes and music symbols, respectively.     

基于数学形态学的脱机手写体汉字识别方法

笔画特征是一种有效的脱机手写体汉字的识别特征,但是笔画细化往往会造成字体的变形,提出一种无需细化预处理的笔画特征提取方法,通过数学形态学中的腐蚀、膨胀等运算,采用不同的、具有自适应性的结构元素对汉字图像进行笔画分解,并利用弹性网格提取其方向特征,最后使用广义K L变换对特征向量的维数进行压缩,去除冗余信息。实验结果验证了本方法的有效性。     

联机手写化学公式识别与分析

随着移动设备的日渐普及,联机手写输入方式为化学知识的使用和分享提供了可能,而化学公式的数字化处理也逐渐成为热点。为了有效进行联机手写化学公式的识别,通过整理6种化学公式中常见的符号位置关系,提出了一种用于联机手写化学公式识别与分析的方法,该方法在处理了断笔、粘连、连笔等书写异常情况后,完成了对化学公式的切分。识别时,先利用SVM+HMM的两级分类机制识别独立的化学符号;然后以公式的语义和语法规则协助理解用户的书写原意。实验证明,该方法应用于平板电脑,对于上述3个阶段的化学公式识别均取得了理想的结果,从而为联机手写化学公式重现和重用打下了基础。     

基于形态学图像处理的网屏编码识别技术

通过构建合适的结构元素,实现了编码图像的滤波、边界提取,通过Hough完成图像的倾斜校正。网格法识别译码时,通过采用动态坐标法,消除纸张形变对译码的影响。译码对比结果显示,采用形态学图像处理方法的译码率更高,识别时间更短,从而验证了该方法的有效性与实用性。