语句级汉字拼音输入技术评估方法的研究

该文介绍了语句级汉字拼音输入技术评估方法的研究意义及其重要性。从信息论角度出发,提出了基于损失函数的语句级汉字拼音输入技术的评估方法,它通过损失函数比较经语句级汉字拼音输入系统输出的句子和相应的标准句子,得到描述系统性能的定量指标。该方法对汉字拼音输入技术的音节流自动切分和音字转换两方面进行了较全面的评估。采用手工标注的1996年《人民日报》部分语料,对目前流行的汉字拼音输入技术进行了评估,实验结果表明:拼音输入技术音字转换准确率最高能达到64.3%,音节流自动切分对音字转换的准确率有大约2%的影响。评估结果对今后的拼音输入技术的评估提供了参考价值,对汉字拼音输入技术的持续发展有指导意义。     

基于混合字词网格的汉语音字转换问题的求解

汉语音字转换是中文键盘输入、汉语语音识别和中文信息处理的基础,也是一个非常具有挑战性的问题.文中分析了汉语音字转换的研究现状和存在的问题,提出了基于混合字词网格的汉语音字转换方法,给出了系统实现的架构,研究了混合2-gram模型的有关问题以及字词网格的求解算法,最后讨论了自动预测与系统学习功能的实现.在此基础上设计了原型系统并与Windows XP上的微软拼音输入系统进行了比较,在拼音到汉字的自动转换正确率方面有显著的提高.     

汉语拼音输入法中拼音流的切分

讨论音序输入法中的汉语拼音流,实现当前音序输入法中拼音流的切分算法,包括对含中R/N/G拼音流切分难点的解决.拼音流的切分是整句输入的基础,给出算法具体实现所需的数据结构(汉语拼音的声母表与有效的汉语拼音表和音节树),经验证,该算法成功地实现了对拼音流的自动切分.     

基于支持向量机的音字转换模型

针对N-gram在音字转换中不易融合更多特征,本文提出了一种基于支持向量机(SVM)的音字转换模型,有效提供可以融合多种知识源的音字转换框架。同时,SVM优越的泛化能力减轻了传统模型易于过度拟合的问题,而通过软间隔分类又在一定程度上克服小样本中噪声问题。此外,本文利用粗糙集理论提取复杂特征以及长距离特征,并将其融合于SVM模型中,克服了传统模型难于实现远距离约束的问题。实验结果表明,基于SVM音字转换模型比传统采用绝对平滑算法的Trigram模型精度提高了1.2%;增加远距离特征的SVM模型精度提高1.6%。     

音节切分歧义方法研究

音节切分是整句拼音转换的基础,由于拼音的特殊性,存在歧义切分的可能。如果采用最少分词算法只能得到一种切分结果,不能保证整句拼音转换的正确性。提出一种音节切分算法,通过插入音素节点不断构造合法音节节点,进而生成状态空间,遍历算法遍历状态空间可获得所有的切分可能,而当用户进行删除操作时,只需删除部分相关节点。整个状态空间随用户的操作进行局部调整,分布均匀。该算法有利于存在歧义切分问题的整句拼音转换,可从保留下来的所有切分可能中选出一个全局最优的语句候选,保证整句转换的正确性。     

语句拼音-汉字转换的智能处理机制分析

语句拼音- 汉字转换是中文信息处理研究的一个重要方面,是键盘汉字输入和语音输入的核心技术,其主要特征是对动态输入的拼音串进行词法分析,给出所有可能的汉语句子,然后对这些汉语句子根据上下文环境进行句法分析和语义分析,动态调整句子中的字词,输出最佳结果。近年来,语句拼音- 汉字转换系统大量应用了人工智能技术和机器翻译的理论,以期提高系统转换的准确率和增强系统的智能处理功能。本文分析了语句拼音- 汉字转换系统所采用的核心技术,即知识支持、自动分词和动态调整等,讨论了语句拼音- 汉字转换的处理方法和过程,知识库的组成结构,用于拼音串自动分词的算法和实现,音字转换中动态调整的概率模型等,本文还分析了现有语句拼音- 汉字转换系统在拼音串自动分词和音字转换的动态调整中发生错误的原因,并提出了改进方法。     

音节切分歧义方法研究

音节切分是整句拼音转换的基础,由于拼音的特殊性,存在歧义切分的可能.如果采用最少分词算法只能得到一种切分结果,不能保证整句拼音转换的正确性.提出一种音节切分算法,通过插入音素节点不断构造合法音节节点,进而生成状态空间,遍历算法遍历状态空间可获得所有的切分可能,而当用户进行删除操作时,只需删除部分相关节点.整个状态空间随用户的操作进行局部凋整,分布均匀.该算法有利于存在歧义切分问题的整句拼音转换,可从保留下来的所有切分可能中选出一个全局最优的语句候选,保证整句转换的正确性.     

子字粒度切分在蒙汉神经机器翻译中的应用

在蒙汉神经机器翻译任务中,由于语料稀少使得数据稀疏问题严重,极大影响了模型的翻译效果。该文对子字粒度切分技术在蒙汉神经机器翻译模型中的应用进行了研究。通过BPE算法将切分粒度控制在字符和词之间的子字粒度大小,将低频词切分成相对高频的子字片段,来缓解数据稀疏问题,从而在有限的数据和硬件资源条件下,更高效地提升模型的鲁棒性。实验表明,在两种网络模型中使用子字粒度切分技术,BLEU值分别提升了4.81和2.96,且随着语料的扩大,训练周期缩短效果也更加显著,说明子字粒度切分技术有助于提高蒙汉神经机器翻译效果。     

统计语言模型及汉语音字转换的一些新结果

汉语音字转换是一个重要而困难的问题。语料库语言学为我们提供了新思路。作者们通过建立统计语言模型, 将基于语料库的方法与传统的基于规则的方法结合, 研制了THED新一代音字转换系统。该系统对随机抽取的祈华社新闻语料有不低于95%的带调音节和国标汉字的转换正确率。本文侧重报道该系统在汉语音字转换方面及与此相关的汉语切词和词性标注方面的一些实验结果, 也简要介绍该系统在语料库应用方面的一些思路。     

基于HMM的汉语整句拼音输入法研究

介绍了一种基于HMM的汉语整句拼音输入转换为整句汉字的输入法,提出了引入语言知识后的一种音字选择方法.并给出了采用N元拼音文法时的选择模型.实验表明,该方法取得了较好的效果.     

基于Solr的商品拼音搜索系统设计与实现

In the commodity search system based on Solr full-text search technology, this paper uses the third-party Chinese word breaker on the Chinese search information entered by the user segmentation, inquiry commodity index database based on segmenta- tion results, but it ignores the case which the user enters pinyin to search. By analyzing the grammatical structure of Chinese pinyin, the pinyin word segmentation methods are designed, using a proprietary lexicon of e-commerce to construct a Chinese pinyin li- brary, and implementing a commodity search system based onAjax pinyin input prompts to improve the deficiencies in the search in- put method.     

基于中文发音视觉特点的唇语识别方法研究

随着深度学习的发展,唇语识别技术在英文方面取得了长足的进步,但针对中文无论是在数据集丰富性还是识别准确率上均存在一定的落差.通过分析中文发音的视觉特点,提出"视觉拼音",意图规避中文在视觉表达上的歧义性.为了验证视觉拼音的有效性,建立了中文句子级唇语识别模型CHSLR-VP.该模型是一个端到端结构,其中以视觉拼音为媒介...     

Mining Pinyin-to-character conversion rules from large-scale corpus: a rough set approach

This paper introduces a rough set technique for solving the problem of mining Pinyin-to-character (PTC) conversion rules. It first presents a text-structuring method by constructing a language information table from a corpus for each pinyin, which it will then apply to a free-form textual corpus. Data generalization and rule extraction algorithms can then be used to eliminate redundant information and extract consistent PTC conversion rules. The design of our model also addresses a number of important issues such as the long-distance dependency problem, the storage requirements of the rule base, and the consistency of the extracted rules, while the performance of the extracted rules as well as the effects of different model parameters are evaluated experimentally. These results show that by the smoothing method, high precision conversion (0.947) and recall rates (0.84) can be achieved even for rules represented directly by pinyin rather than words. A comparison with the baseline tri-gram model also shows good complement between our method and the tri-gram language model.     

用于汉字拼音输入的类trie树及其改进

汉字带联想的“全拼”输入法的外码到机内码的转换,可采用改进的一种可称之为类trie树的数据结构,该数据结构紧凑,查找速度满足实时要求,该树可自动生成,当汉字库的大小变化时,对应的trie树应跟随变化,这时,自动生成的好处得到充分的体现。     

基于神经元网络的汉语组块自动划分

介绍一种基于三层神经元网络的汉语组块自动划分方法。输入信息为句子中每一个字本身及与前后字组合的划分情况，输出为句子中每个字的划分结果。对于一个新输入的汉语句子，在该方法中。并不对句子进行切词，这是与别的组块分析方法的不同之处。实验表明，该方法是可行的。也是有效的。     

词汇搭配和用户模型在拼音输入法中的应用

中文输入法是中文信息处理的难题之一。随着互联网上中文用户的不断增加,中文输入法的重要性也变得日益突出。本文在对句子中长距离词汇依赖现象观察的基础上,抽取出语料库中的词汇搭配来获取长距离特征,并以此构建基于词汇搭配关系的拼音输入法系统;同时将词汇搭配的思想应用到拼音输入法的用户模型中,从而使我们的输入法系统能够辅助用户更加有效的输入。实验表明基于词汇搭配关系的改进方法对提高输入法的准确率有积极的作用。     

基于汉盲对照语料库和深度学习的汉盲自动转换

汉盲转换是指将汉字文本自动转换为对应的盲文文本,其在盲文出版、盲人教育等领域具有重要应用价值,但当前已有系统性能难以满足实用需求。该文提出一种基于汉盲对照语料库和深度学习的汉盲自动转换方法,首次将深度学习技术引入该领域,采用按照盲文规则分词的汉字文本训练双向LSTM模型,从而实现准确度高的盲文分词。为支持模型训练,提出了从不精确对照的汉字和盲文文本中自动匹配抽取语料的方法,构建了规模为27万句、234万字、448万方盲文的篇章、句子、词语多级对照的汉盲语料库。实验结果表明,该文所提出的基于汉盲对照语料库和深度学习的汉盲转换方法准确率明显优于基于纯盲文语料库和传统机器学习模型的方法。