规则和统计相结合的中文地址翻译方法

该文研究了一种规则和统计相结合的中文地址翻译方法。首先利用区划词典、关键字词典和模式表进行分词及词语类型标注,并根据词语类型划分地址单元;然后,以统计翻译模型为基础结合少量的翻译词典和人工模板对地址单元进行翻译;最后,将地址单元的翻译结果以逆序粘合在一起,形成最终译文。实验表明,利用该方法翻译中文地址能够取得较好地翻译效果。     

基于SNM算法的大数据量中文地址清洗方法

中文地址由行政区划地址和详细地址两部分组成,行政区划地址的处理可通过构建地址词典、分词、补充特征字等方式清洗,目前技术较为成熟。详细地址则随我国城镇化的发展而不断变化,且新的地址层出不穷,导致其清洗和规范化工作极其困难。在研究大数据量中文地址的基础上,提出了中文地址清洗模型,在行政区划地址先清洗并规范的前提下,对地址进行排序,利用SNM算法将详细地址聚集在一个较小的窗口内,对窗口内的地址进行匹配和清洗,实验结果证明清洗效果良好。     

非规范化中文地址的行政区划提取算法

由于互联网上中文地址的非规范化表达,导致互联网中的中文地址信息在地理位置服务中难以直接应用。针对此问题,提出一种非规范中文地址的行政区划提取算法。首先,对原始数据进行“路”特征词分组预处理;再利用行政区划字典和移动窗口最大匹配算法,从中文地址中提取所有可能的行政区划数据集;然后,利用中文地址行政区划元素之间具有层次关系的特点,建立行政区划条件集合运算规则,对获取的数据集进行集合运算;再利用行政区划匹配度建立一种行政区划集合解析规则,来计算行政区划可信度;最后,得到可信度最大信息量最完整的中文地址的行政区划。利用从互联网中提取的约25万条中文地址数据进行是否采用“路”特征词分组处理以及是否进行可信度计算处理,对算法的可用性进行了验证,并与目前的地址匹配技术进行对比,准确率达到93.51%。     

非结构化中文自然语言地址描述的自动识别

互联网中存在海量易获取的自然语言形式地址描述文本,其中蕴含丰富的空间信息。针对其非结构化特点,提出了自动提取中文自然语言地址描述中词语和句法信息的方法,以便深度挖掘空间知识。首先,根据地址语料中字串共现的统计规律设计一种不依赖地名词典的中文分词算法,并利用在地址文本中起指示、限定作用的常见词语组成的预定义词表改善分词效果及辅助词性标注。分词完成后,定义能够表达中文地址描述常用句法的有限状态机模型,进而利用其自动匹配与识别地址文本的句法结构。最后,基于大规模真实语料的统计分词及句法识别实验表明了该方法的可用性及有效性。     

基于条件随机场的中文地址要素识别方法

由于中文地址命名的不规范性和汉语语言特点,中文地址要素识别成为地址编码的关键技术。传统的特征字匹配和字典匹配方法,难以解决地址要素命名的多样性问题。借鉴自然语言处理技术,通过构建地址要素标注集,设计了基于条件随机场的中文地址要素识别方法。实验证明,与基于特征字的规则方法相比,基于条件随机场的方法能够在较大程度上提高识别效果。由于条件随机场模型具有较好的泛化能力,该方法具有更强的通用性,特别适宜于大规模地址数据的批量解析和大众化位置服务中地址编码的快速处理。     

基于聚类分析的中文客户地址自动分组方法

提出一种基于聚类分析的中文客户地址自动分组方法.该方法考虑了客户地址的噪声数据,首先利用标准中国邮政编码数据中的邮政编码、省份与城市等信息来判断客户地址的有效性,然后通过字符串匹配反馈学习的方法对有效客户地址进行中文分词,将分词结果利用向量空间模型进行表示后再基于改进的混合K均值微粒群聚类方法将地址聚类,通过结合模拟退火算法来避免搜索陷入局部极小,最终根据最优微粒确定的聚类中心产生地址分组.采用真实地址数据进行对比实验的结果验证了该方法的有效性.     

基于LSTM网络的中文地址分词法的设计与实现

当前中文地址的分词法主要采用基于规则和传统机器学习的方法。这些方法需要人工长期维护词典和提取特征。为避免特征工程和减少人工维护,提出了将长短时记忆（long short-term memory,LSTM）网络和双向长短时记忆（bi-directional long short-term memory,Bi-LSTM）网络分别应用在中文地址分词任务中,并采用四词位标注法以及增加未标记数据集的方法提升分词性能。在自建数据集上的实验结果表明：中文地址分词任务应用Bi-LSTM网络结构能得到较好性能,在增加未标记数据集的情况下,可以有效提升模型的性能。     

一种基于统计的分词标注一体化方法

分词标注是中文信息处理的基础。传统方法的处理步骤大都是首先对文本进行预处理,得到文本的粗分模型,在此基础上对词语进行词性标注。粗分模型集合的大小取决于采用的分词方法,粗分模型的准确性直接影响着后续处理结果的准确性。提出一种基于统计的分词标注一体化方法即概率全切分标注模型,该方法的特点是将分词、标注两部分工作融为一体同时进行,在利用全切分获得所有可能分词结果的过程中,计算出每种词串的联合概率,同时利用马尔可夫模型计算出每种词串所有可能标记序列的概率,由此得到最可能的处理结果。该方法提高了结果的召回率和准确率     

中文分词和词性标注模型

构造一种中文分词和词性标注的模型,在分词阶段确定N个最佳结果作为候选集,通过未登录词识别和词性标注,从候选结果集中选优得到最终结果,并基于该模型实现一个中文自动分词和词性自动标注的中文词法分析器。经不同大小训练集下的测试证明,该分析器的分词准确率和词性标注准确率分别达到98.34%和96.07%,证明了该方法的有效性。     

基于地址语义理解的中文地址识别方法

互联网中中文地址文本蕴含着丰富的空间位置信息,为了更加有效地获取文本中的地址位置信息,提出一种基于地址语义理解的地址位置信息识别方法。通过对训练语料进行词频统计,制定地址要素特征字集合和字转移概率,构造特征字转移概率矩阵,并结合字符串最大联合概率算法,设计了一种不依赖地名词典和词性标注的地址识别方法。实验结果表明,该方法对地址要素特征字突出且存在歧义的中文地址的完全匹配率为76.85%,识别准确率为93.11%。最后,与机械匹配算法和基于经验构造转移概率矩阵的方法进行对比实验,实验结果表明了该方法的可用性和有效性。     

基于Trie树和有限状态自动机的中文地址解析模型

 目前,无论是在研究或者是商业领域中,中文地址解析都没有一个成熟的模型结果。要素识别是地址解析的关键技术,传统的地址要素识别是基于特征词和字典匹配的方法,难以解决地址命名的多样性问题。利用自然语言处理技术,根据Trie树模型对行政区域寻址的方法和有限状态自动机模型对非规范地址的要素提取方法,本文提出T-FA模型对地址进行分级划分。其中,采用隐马尔可夫模型的切词方法和最长公共子序列算法,可以解决地址要素识别的模糊化搜索。T-FA模型具有良好的泛化能力,在批量处理地址时具有很好的通用效果,能比较有效地解决中文地址多样化的解析难题。     

基于全文索引知识图谱的危化品运输地址匹配研究

地址匹配是危化品运输交通起止点调查分析的关键技术之一。为解决复杂非标危化品道路运输地址匹配精度较低的问题,通过构建自扩展中文分词及自扩展的地址数据知识图谱,基于全文索引知识图谱进行危化品运输中文地址的匹配,纳入加权拼音全文搜索机制以提高拼写错误地址的匹配准确率,结合在线地理解析接口构建危化品运输地址多重匹配机制,并对少量疑难地址执行半监督匹配,形成了完整的危化品运输地址匹配方法体系。针对危化品运输电子运单地址数据的计算表明,算法能实现复杂中文危险化学品运输地址匹配的高准确率及高精度。在随机地址测试集中准确率达94.6%,在较难分类地址测试集中准确率达67.5%,在较难分类地址匹配的准确率及精度上均相比于通用匹配方法及地理搜索引擎有大幅度的提升。     

基于近似串匹配的地名数据库建设探析

地址编码数据库在城市信息化建设中具有极其重要的地位．本文从绍兴市地名实际出发,就地址编码数据库的关键技术：地址标准化和地址匹配及数据库设计等方面进行了探讨,并重点介绍了多模式近似串匹配算法在地址匹配阶段的应用．在地址标准化中,讨论了规范化地址内容的表达形式,把标准地址表达为行政区划名、主地址、子地址三部分构成,建立层级地址数据模型和地址输入模型,基于行政区划代码进行地址代码编制;讨论了地址标准化的过程,给出了标准化示例．最后还给出了近似串匹配算法在地址匹配阶段应用的伪代码．     

基于知识图谱的中文地址匹配方法研究

随着信息技术的迅猛发展,建设新型高效智慧型城市已成为趋势。智慧城市中有大量以地理信息为基础的应用场景,如在城市规划建设、城市便民生活服务、城市细化管理等都离不开地理信息。由于中文地址的复杂性与人工输入的不确定性,地址数据不规范性、不一致、不明确现象给业务系统之间与内部带来了很多困难。急需优秀的中文地址匹配方法。现有的匹配方法仅从地址文字出发进行匹配,而忽略地址作为一个实体蕴含着丰富的地理知识,这些知识可以有效地协助匹配过程,由此,提出注意力知识图谱的中文地址匹配方法,从而解决复杂中文地址匹配准确率低的问题。通过对传统的标准地址库进行地址分词以及特征抽取,建立标准地址知识图谱与POI知识图谱;采用基于选择注意力机制的知识图谱关系抽取方法来进行对地址的特征提取,从而进行地址分类;通过计算知识图谱实体相似度,从而进行非标中文地址的地址匹配。实验结果表明,该方法较基于Jaccard相似度的地址匹配方法、基于动态规划的地址匹配方法、基于Sorensen Dice的全文检索地址匹配方法和基于bert4keras预训练模型的地址匹配方法准确率分别提高了11.05%、15.30%、11.05%、0.95%,有效对复杂中文地址进行匹配。     

一种改进的快速分词算法

首先介绍了一种高效的中电子词表数据结构,它支持首字Ｈａｓｈ和标准的二分查找,且不限词条长度;然后提出了一种改进的快速分词算法,在快速查找两字词的基础上,利用近邻匹配方法来查找多字词,明显提高了分词效率．理论分析表明,该分词算法的时间复杂度为１．６６,在速度方面,优于目前所见的同类算法。     

基于层次化表示的电力文本命名实体识别和匹配算法

针对电力领域科技项目申请书评审工作中存在的项目与专家精准匹配难的问题,提出一种基于层次化语义表示的电力文本命名实体识别模型（Attention-RoBerta-BiLSTM-CRF, ARBC）以及基于语义-象形双特征空间映射的电力项目与电力专家的匹配策略。ARBC模型包括词嵌入模块、双向长短时记忆网络BiLSTM模块以及条件随机场（CRF）模块。其中,词嵌入模块同时使用了电力文本词语、句子和文档3个层面的信息。具体地,首先提取基于RoBerta预训练模型的词嵌入向量,进而通过引入文档层面基于词频-逆文档频率值的注意力机制增强句子的上下文表征能力,最终将词嵌入与句子嵌入进行线性加权融合,形成词语的层次化表征向量。在ARBC模型输出电力文本命名实体基础之上,进一步提出基于语义-象形双特征空间映射的项目文本与领域专家的实体匹配策略,最终实现项目与专家的有效精准匹配任务。实验结果表明,ARBC模型在2000篇电力项目摘要文本命名实体识别测试集上获得83%的F1值,显著高于基于Bert和RoBerta的文本表示方法。此外,基于双特征空间映射的实体匹配策略在电力文本与电力专家匹配任务中准确率达85%。     

基于子块均值的快速块匹配算法

根据积分图像对匹配误差函数进行变形,提出了一种新的局部匹配误差函数——基于子块均值的匹配误差函数。实验表明,基于子块均值的匹配误差函数与完全匹配误差函数相比具有相当的运动估算质量和更快的运动估算速度,与基于子抽样的匹配误差函数相比同时具有更优的运动估算质量和速度。子块划分的恒常性,也保证了基于子块均值的匹配误差函数对于不同的匹配图像所消耗的时间大致相同,非常适合于实时视频压缩等应用。