| 文本相似性度量中参数相关性与优化配置研究 |
| |
| 引用本文： | 张祖平,徐昕,龙军,袁鑫攀. 文本相似性度量中参数相关性与优化配置研究[J]. 小型微型计算机系统, 2011, 32(5) |
| |
| 作者姓名： | 张祖平 徐昕 龙军 袁鑫攀 |
| |
| 作者单位： | 中南大学,信息科学与工程学院,湖南,长沙,410083 |
| |
| 基金项目： | 国家自然科学基金项目(60873081;60970095;M0921005)资助; 湖南省自然(07JJ6122)资助 |
| |
| 摘 要： | 针对文本相似性度量中的相似度阈值、准确率、召回率、shingle滑动窗口大小、shingle权重系数和文本属性等参数相互影响、关系复杂的问题,研究了这些参数之间的相关性,并结合实际应用需求,提出各参数可优化配置的建议,分析与设计了相似度阈值可适应文本篇幅属性的相似性度量算法.通过某基金2009年的7378个项目申请书的比对分析,结果表明:提出的算法不但适用于大规模的文本集合,而且在短小的文本集合中进行相似性度量也具有很高的应用价值,其准确率和召回率均可高达95%以上.
|
| 关 键 词： | 文本相似性度量 算法 邻接词组 参数相关性分析 召回率 |
Parameters Correlation and Optimization in Text Similarity Measurement |
| |
| ZHANG Zu-ping,XU Xin,LONG Jun,YUAN Xin-pan. Parameters Correlation and Optimization in Text Similarity Measurement[J]. Mini-micro Systems, 2011, 32(5) |
| |
| Authors: | ZHANG Zu-ping XU Xin LONG Jun YUAN Xin-pan |
| |
| Affiliation: | ZHANG Zu-ping,XU Xin,LONG Jun,YUAN Xin-pan (School of Information Science and Engineering,Central South University,Changsha 410083,China) |
| |
| Abstract: | Parameters in text similarity measurement such as similarity threshold,precision,recall rate,size of shingle moving window,shingle weighted coefficient and text attributes are interrelated and their relationship are complicated.Based on the analysis of parameter correlations and practical requirements,we suggest optimized parameter configurations and design a similarity measurement algorithm to adjust the similarity threshold to the text length contribute.The algorithm is applied to the text similarity anal... |
| |
| Keywords: | text similarity measurement algorithm shingle parameters correlation analysis recall rate |
| 本文献已被 CNKI 万方数据 等数据库收录！ |
|
