基于最短路径的二元语法中文词语粗分模型的研究

词语粗分是分词后续处理的基础和前提,直接影响到分词系统最终的准确率和召回率。针对目前常用分词方法单一使用时存在的不足,综合机械分词的高效性和统计分词的灵活性,设计一种基于最短路径的二元语法中文词语粗分模型。实验结果表明,此粗分模型无论在封闭测试和开放测试中,还是在不同粗分模型对比测试和不同领域的开放测试中,都有较好的句子召回率。     

一种基于统计的分词标注一体化方法

分词标注是中文信息处理的基础。传统方法的处理步骤大都是首先对文本进行预处理,得到文本的粗分模型,在此基础上对词语进行词性标注。粗分模型集合的大小取决于采用的分词方法,粗分模型的准确性直接影响着后续处理结果的准确性。提出一种基于统计的分词标注一体化方法即概率全切分标注模型,该方法的特点是将分词、标注两部分工作融为一体同时进行,在利用全切分获得所有可能分词结果的过程中,计算出每种词串的联合概率,同时利用马尔可夫模型计算出每种词串所有可能标记序列的概率,由此得到最可能的处理结果。该方法提高了结果的召回率和准确率     

统计机器翻译中短语切分的新方法

基于短语的统计机器翻译是目前主流的一种统计机器翻译方法,但是目前基于短语的翻译系统都没有对短语切分作专门处理,认为一个句子的所有短语切分都是等概率的。本文提出了一种短语切分方法,将句子的短语切分概率化: 首先,识别出汉语语料库中所有出现次数大于2次的词语串,将其作为汉语短语; 其次,用最短路径方法进行短语切分,并利用Viterbi算法迭代统计短语的出现频率。在2005年863汉英机器翻译评测测试集上的实验结果(BLEU4)是: 0.1764(篇章),0.2231(对话)。实验表明,对于长句子(如篇章),短语切分模型的加入有助于提高翻译质量,比原来约提高了0.5个百分点。     

基于统计方法的中文姓名识别

专有名词的识别对自动分词有重要意义。本文针对如何识别中文姓名做了有益的尝试,主要采用基于统计方法,进行中文姓名识别。本文建立了有监督学习机制,提出了句子切分结果可信度等概念,并在此基础上建立了较好的统计模型,系统闭式精确率和召回率分别达95.97%和95.52% ,开式精确率和召回率分别达92.37%和88.62%。     

中文文本中外国人名与中国人名同步识别方法

根据中国人名和外国人名的构成特点产生潜在中国人名和外国人名，然后把它们作为节点词加入到句子的分词有向图中，利用上下文信息对有向图的边赋值．使有向图最短路径对应句子正确切分．在确定句子正确切分时识别出句子中的外国人名和中国人名，该方法可以避免由分词结果造成的人名不能被召回的现象，提高了人名识别的召回率．通过对真实语料的测试，在封闭测试中该方法对中国人名和外国人名识别的综合指标F值为97．30％．     

基于二元语法的N-最大概率中文粗分模型

中文粗分是中文分词的基础环节,目前常用的粗分模型有基于规则的非统计模型和基于一元语法（uni-gram）的统计模型,其中后者取得了较好效果。在一元语法模型基础上提出了一种基于二元语法（bi-gram）的N-最大概率中文粗分模型,该模型把所有可能的词切分构造成一个有向无环图（DAG）,利用噪声—信道模型和二元语法来计算概率,通过插值平滑技术来解决数据稀疏问题,目的在于更好地得到少量高召回率、高效率的粗分结果,更大程度地保留歧义字段和未登录词,提高后续分词质量。通过理论分析、模型建立和初步实验验证了模型的有效性。     

基于最大熵模型的语义块切分

语义块切分是HNC理论的重要课题,与以往的处理策略不同,采用统计建模的方法来解决这一问题。采用词语、词性、概念等信息组成特征模板,并应用增量方法进行特征选择,构建了一个基于最大熵模型的语义块切分系统。在HNC标注语料库上的测试取得了较好的效果,开放测试的正确率和召回率分别达到了83.78%和91.17%。     

基于前后文n-gram模型的古汉语句子切分

提出了基于前后文n-gram模型的古汉语句子切分算法，该算法能够在数据稀疏的情况下，通过收集上下文信息，对切分位置进行比较准确的预测，从而较好地处理小规模训练语料的情况，降低数据稀疏对切分准确率的影响。采用《论语》对所提出的算法进行了句子切分实验，达到了81%的召回率和52%的准确率。     

基于最大匹配分词算法的中文词语粗分模型

提出一种基于最大匹配分词算法的中文词语粗分模型,通过对最大匹配分词算法做出改进,解决了最大匹配分词算法所不能解决的一些问题,并得出较准确的粗分结果。该模型在重点考虑切分速度的同时兼顾了切分精度,是中文分词比较有效的词语粗分手段之一,适用于处理海量数据的中文分词系统。     

一种改进的基于二元统计的HMM分词算法

中文分词是中文信息处理的基础。基于二元统计的HMM中文分词算法表现良好,但也存在易将包含常用介、副词的词进行误拆分的问题。改进的分词算法运用逆向最大匹配的思想,在计算粗分集权重的过程中,考虑了分词的词长及词序对正确切分的有利影响。该算法首先计算出二元统计粗分模型有向边的权值,然后根据词长修定权值,最后运用最短路径法求出分词结果。实验结果表明,该算法有效的解决了过分拆分的问题,分词效果良好。     

基于FMM和CRFs双层分词模型的研究

中文分词是众多自然语言处理任务的基本工作。该文提出了一个用双层模型进行中文分词的方法。首先在低层利用前向最大匹配算法（FMM）进行粗分词,并将切分结果传至高层;在高层利用CRFs对文本重新进行标注,其中低层的识别结果作为CRFs的一项特征,最后将对每个字的标注结果转换为相应的分词结果。,跟以前单独利用CRF进行分词的模型相比．低层模型的加入对CRFs模型的标注起到了重要的辅助作用。在北京大学标注的1998年1月份的人民日报语料上进行了大量的实验,取得了精确率93．31％,召回车92．75％的切分结果,证明该方法是切实可行的。     

一种基于EM非监督训练的自组织分词歧义解决方案

本文旨在提供一种基于非监督训练的分词歧义解决方案和一种分词算法。基于EM的思想,每个句子所对应的所有(或一定范围内)的分词结果构成训练集,通过这个训练集和初始的语言模型可以估计出一个新的语言模型。最终的语言模型通过多次迭代而得到。通过一种基于该最终语言模型的统计分词算法,对于每个句子至少带有一个歧义的测试集的正确切分精度达到85.36%(以句子为单位) 。     

一种基于EM非监督训II练的自组织分词歧义解决方案

摘要本文旨在提供一种基于非监督训练的分词歧义解决方案和一种分词算法。基于EM的思想,每个句子所对应的所有(或一定范围内)的分词结果构成训练集,通过这个训练集和初始的语言模型可以估计出一个新的语言模型。最终的语言模型通过多次迭代而得到。通过一种基于该最终语言模型的统计分词算法,对于每个句子至少带有一个歧义的测试集的正确切分精度达到85.36％(以句子为单位)。     

一种基于内容的音频流二级分割方法

基于内容的音频流分割是多媒体数据分析领域中的一个十分重要和困难的问题．目前大多数传统的音频流分割方法是基于小尺度音频分类的，但是这类分割方法普遍存在虚假分割点过多的缺点，严重影响了实际应用的效果．作者的研究表明，大尺度音频片段的分类正确率要明显高于小尺度音频片段的分类正确率，并且这个趋势与分类器选择无关．基于这个事实和减少虚假分割点的目的，作者提出了一种新的音频流分割方法．首先，采用基于大尺度音频分类的分割方法对音频流进行粗分割，以减少虚假分割点；然后定义了分割点评价函数，并利用它在边界区域中进一步精确定位分割点．实验结果表明这种音频流分割方法可以比较精确地获取分割点位置，同时将虚假分割点减少到传统方法的四分之一．     

结合全卷积网络的无监督视频目标分割

对视频中的目标进行像素级分割是计算机视觉领域的研究热点，完全没有用户标注的无监督视频分割对分割算法提出了更高的要求。近几年在分割中常使用基于帧间运动信息进行建模的方法，即用光流等运动信息预测目标轮廓，再结合颜色等特征建立模型进行分割。针对这些方法产生的前景背景混淆以及边缘粗糙等问题，本文提出结合全卷积网络的视频目标分割方法。首先通过全卷积网络预测视频序列中显著目标的轮廓，结合光流获得的运动显著性标签进行修正，然后建立时间-空间图模型，运用图割的方法获得最终的预测标签。在SegTrack v2以及DAVIS这2个通用数据集上进行评估，结果表明本文方法较基于帧间运动信息的方法在分割效果上有明显的提高。     

基于改进视网膜抽样模型的人脸检测混合方法

提出了一个在复杂背景下检测灰度人脸图像的混合方法，它用基于多分辩率的二值马赛克图像和投影分析方法来检测双眼，以加快从背景中分离人脸的速度；用改进的视网膜抽样模型抽取最能代表人脸特性的低维数据；降维后的输入图像用学习矢量量化网络训练特征。实验表明，本方法有近90%的检测成功率，速度较快，对部分遮挡的人脸定位也适用。     

视频中多线索的人脸特征检测与跟踪

针对目前的人脸特征检测与跟踪算法存在的对环境适应能力差、缺乏自我检错能力的缺点，该文提出了一种多线索综合的新方法，多线索中包括基于深度信息的人脸区域粗分割，基于多关联模板匹配的人脸检测，利用多尺度Sobel卷积的特征提取，基于“特征眼”的人眼验证以及基于多视图的校验方法，多种线索互相补充，自我检错和纠错，对背景，光照及姿态变化具有较强的适应能力，实验表明该方法是有效的，鲁棒的。     

基于多特征融合和条件随机场的道路分割

针对复杂交通场景图像中路面分割难度大和分割边缘粗糙的问题,提出了一种基于多特征融合和条件随机场的道路分割方法.首先,提取图像的纹理基元特征与颜色特征;然后,将道路分割问题视为一个基于像素的二分类问题,融合所提取的两种特征,使用SVM分类器实现对交通场景图像中路面区域与背景区域的粗糙划分;最后,利用全连接条件随机场中的颜色与位置约束,对分割结果进行优化,获得更加平滑的分割边缘,并与其他分割算法进行对比.实验结果表明,基于多特征融合与条件随机场的道路分割算法获得了95.37%的平均分割准确率和94.55%的平均像素精度.     

变精度最小平方粗糙熵的图像分割算法

图像处理是获取信息的重要途径且被广泛地应用到军事、医学和交通等重要领域,图像分割在图像处理中占有重要地位。针对图像处理分割过程中的不确定性,为获取更加精确的图像分割效果,提出变精度最小平方粗糙熵和粒子群的图像单阈值分割算法。该单阈值分割算法用变精度粗糙集表示图像,以变精度最小平方粗糙熵求解最佳分割阈值,借助粒子群优化算法提高分割效率。实验表明,该单阈值分割算法明显优于最大平均信息熵法,且说明了变精度粗糙熵能够处理图像分割过程出现的不确定性。     

熵率超像素分割一致性检验视差细化算法

针对传统分割一致性检验视差细化算法处理低纹理图片时优化效果较差的问题,提出一种基于熵率超像素分割的改进方法,使用基于熵率的超像素分割算法代替均值漂移（Mean-shift）分割算法。针对参考图像进行超像素分割处理;将每一个分割块进行统计分析,根据集中趋势值筛选可信值与不可信值;进行视差填充处理获得最终优化后的视差图。选取15组Middlebury数据集中的图像对进行视差图获取并检测。实验结果表明,基于熵率超像素分割的改进方法对于低纹理图片和纹理复杂的图片都有着较好的优化效果,该算法平均误匹配率较传统算法最多降低了5.88个百分点。