云计算环境中虚拟机性能评测工具的研究与设计

介绍了云计算环境中服务器的部署方式及优缺点,总结了传统的服务器性能评测工具的特点,特别是对于云计算场景下的服务器测试方面的不足及存在的问题。基于此,分析了云计算环境中虚拟机性能测试的需求,并提出了虚拟机性能评测方法,主要针对性能评测工具的功能及关键问题进行了比较全面合理的方案设计。     

汉语自动分词和词性标注评测

本文介绍了2003年“863中文与接口技术”汉语自动分词与词性标注一体化评测的一些基本情况,主要包括评测的内容、评测方法、测试试题的选择与产生、测试指标以及测试结果,并对参评系统的切分和标注错误进行了总结。文中着重介绍了测试中所采用的一种柔性化的自动测试方法,该方法在一定程度上克服了界定一个具体分词单位的困难。同时,对评测的结果进行了一些分析,对今后的评测提出了一些建议。     

汉语语音合成系统评测中MOS和PC评估方法的比较

采用主观印象评测（MOS）和成对比较评测（PC）两种方法对已有的四个汉语语音合成系统进行了评测。17名普通话讲的很好的大学三年级学生参加了评测，其中男同学10名，女同学7名。在MOS中，文章从系统的整体印象、努力程度、理解程度、语速、发音（重音、停顿）及悦耳程度6个方面进行了评测。评测结果显示：听音的努力程度与系统的整体印象相关性最大，对系统整体印象的影响最大，其次是声音的悦耳程度。评测比较结果显示，PC测试同MOS测试具有很好的一致性，对于没有专家参与的评测中，PC方法更简单易用。     

第七届全国机器翻译研讨会机器翻译评测总结

该文介绍了第七届全国机器翻译研讨会(CWMT2011)机器翻译评测的具体情况。本次评测重点关注各种语言到汉语的翻译,除了汉英、英汉、日汉三个语言对以外,评测还新增了五种民族语言(藏语、蒙古语、维吾尔语、哈萨克语、柯尔克孜语)到汉语的翻译评测。共有19家国内外单位的165个系统参加此次评测。除了介绍评测项目的设置、评测数据的准备、评测流程、参评单位等,本文还重点介绍了CWMT2011的评测结果,并对评测结果进行了分析,用实例说明了与评测结果相关的几个因素 源语言与目标语言是否相似、评测领域是否集中、测试集与训练及开发集语料是否相似、训练语料的规模、参评系统的技术和成熟度等。     

公有云存储系统性能评测方法研究

随着云存储系统的迅速发展和广泛使用,许多企业开发者和个人用户将其应用从传统存储迁移至公有云存储系统,因此,云存储系统性能成为企业开发者和个人用户关注的焦点。由于传统测试难以模拟足够多的用户同时访问云存储系统;测试环境构建复杂,测试时间长,准备测试环境成本高;受网络因素及外界其他因素影响,评测结果不稳定。针对以上所述云存储系统性能评测的重点和难点,提出一种“云测试云”的公有云存储系统性能评测方法,该方法通过在云计算平台动态申请足够数量的实例,对公有云存储系统性能进行评测。首先,构建通用的性能评测框架,可动态伸缩申请实例,自动化部署评测工具及负载,控制并发访问云存储系统,自动释放实例及收集并反馈评测结果;其次,提出多维度的性能评测指标,涵盖不同典型应用、不同云存储接口;最后,提出一种可扩展通用的性能评测模型,该模型可以评测常见典型应用的性能,分析云存储性能影响因素,可适用于任何的公有云存储平台。为了验证该方法的可行性、合理性、通用性和可扩展性,利用所提方法对Amazon S3云存储系统进行性能评测,并使用s3cmd验证评测结果的准确性。实验结果表明,评测结果可以为企业开发者和个人用户提供参考意见。     

掌纹鉴别自动性能评估

研究关于掌纹鉴别系统的性能评测问题,设计并实现了一个用于性能评测的自动测试系统（ASPE）,此系统采用的是掌纹识别系统的处理核心。同时还提出了一种基于特征点（终点和分叉点）的评测方法和用于量化评估的俩个主要指标-召回率和准确率.此系统可以直接在样张上显示标准特征点和提取特征点,方便开发人员的对比并发现问题,从速度和精确度的测试结果看出自动的性能评测在效率和准确上都大大超过了人工测试。     

从评测到读者需求

如果用“月光宝盒”将时光退回2年或再往前追溯，普通读以及硬件爱好对产品评测是很感兴趣的，那是一个了解产品的重要途径，但如今，媒体却经常听到一些愤怒的声音，是来自读的，诸如以下“某某媒体评测的某产品在市场上根本看不到”或“市场上的这产品和评测中介绍的相差太大(实际就是缩水)”，进而还会演化成“某某评测是枪手章”，对这些看法，我们表示理解，毕竟评测编辑也都经历过读的阶段。但为什／厶评测现在被打上不信任标志，难道大家如今不需要产品的测试么?非也，上述问题的根源出在评测的目的和对待读的态度上。     

慧眼识英雄——平板式扫描仪评测报告

本期扫描仪评测报告是上期的连载。上期向大家介绍了300dpi扫描仪的评测结果,本期将发布600dpi组扫描仪的评测报告,由于评测方法在上期已作介绍,本期不再赘述。下面直接从该组扫描仪的测试结果及产品评析开始。     

让评测文章不再是天书（六）——看懂评测之硬盘篇

硬盘是计算机系统中最重要最神秘的部件之一,虽然从外表上来看它普普通通,但是由于系统中的数据都储存在硬盘上,因此其重要性就不言而喻了——数据可是无价之宝。那么对于硬盘而言,到底是什么影响了它的性能呢?一、硬盘评测的基本内容硬盘评测一般主要包括以下内容:首先是硬盘的外观、接口介绍,这部分内容一般比较好懂;接着就是各种测试了,包括测试平台的介绍、测试软件测试得到的数据等等。硬盘评测以测试为主,因此对于很多初级用户而言,由于文章中有大量的专业术语,如果只看评测得到的数据的话,往往很难很好地理解评测。因此,必须得对硬盘…     

基于Web应用系统的评测方法和技术

在现有Web服务器的评测方法和技术基础上对Web应用系统进行性能测试的一些研究，主要定义了一套测试基于Web的应用系统的术语和性能指标集，并提出了性能测试的总体方案，对生成工作负载的相关问题也作了简要的说明。     

基于等价类划分的测试用例设计在软件评测中的应用

软件产品与项目的数量与复杂度的不断增加,对软件评测的工作效率及测试用例高覆盖率提出了挑战。本文通过等价类划分的介绍,划分原则的阐述,以及测试用例的实例设计,为软件评测提供了一种较好的应用方法。等价类划分法有助于提高软件评测人员的测试效率,即以相对少量的测试用例完成测试的高覆盖率。     

基于Petri网的组合虚拟仪器硬件评测

已有的评测方法多以硬件为主、软件为辅,评测成本高,评测信息单调.基于此,根据用例组合虚拟仪器硬件的模块结构建立用于评测的Petri网模型,通过软件生成测试用例进行测试,实现以软件为主、硬件为辅的评测机制.实验表明,该方法不但测试用例生成方便,评测代价低、效果好,而且可借鉴于设计通用虚拟仪器硬件评测系统.     

自然语言处理评测中的问题与对策

自然语言处理中的评测任务引导和推动着技术、模型和方法上的研究。近年来,新的评测数据集和评测任务不断被提出,与此同时,现有评测暴露的一系列问题也限制了自然语言处理技术的进步。该文从自然语言处理评测的概念、构成、发展和意义出发,分类综述了主流自然语言处理评测的任务和特点,进而总结归纳了自然语言处理评测中的问题及其成因。最后,该文参照人类语言能力评测规范,提出类人机器语言能力评测的概念,并从信度、难度、效度三个方面提出了一系列类人机器语言能力评测的基本原则和实施设想,并对评测技术的未来发展进行了展望。     

软件可靠性保证与评测技术

软件可靠性评测是对软件进行测试,通过采集系统运行期间的软件可靠性参数,运用统计技术进行处理并评估软件可靠性的过程.在软件生存期中,有效地控制影响软件可靠性的各种因素,才能提高软件可靠性,实现软件产品的无故障运行.文中着重介绍了提高软件可靠性的方法和技术以及软件可靠性的评测技术.     

报文分类算法可扩展性标准评测系统

针对报丈分类算法没有标准可扩展性评测工具的问题,基于计算机体系结构测试领域的benchmark方法开发出基于benchmark的报文分类算法可扩展性评测系统.该系统利用benchmark参数文件引导生成规则库,允许用户利用高层输入参数控制规则库和Trace的产生,并能够实现对被测算法可扩展性能指标的实时监测.最后利用该评测系统对典型报文分类算法在不同模拟场景下进行仿真评测.仿真结果表明,该系统能够准确评测算法的可扩展性,为研究报丈分类算法的可扩展性提供了标准评测工具.     

软件可靠性保证与评测技术

软件可靠性评测是对软件进行测试,通过采集系统运行期间的软件可靠性参数,运用统计技术进行处理并评估软件可靠性的过程。在软件生存期中,有效地控制影响软件可靠性的各种因素,才能提高软件可靠性,实现软件产品的无故障运行。文中着重介绍了提高软件可靠性的方法和技术以及软件可靠性的评测技术。     

软件项目综合实践课程评测方法分析与研究

在充分研究国内外教学评测方法理论与实践的基础上,以项目为驱动的软件开发综合实践课程为例,结合形成性评测和终结性评测理论,提出分阶段构建实践课程的形成性评测模型;结合跟踪和反馈信息,与终结性评测进行合理加权,进而得出课程评测结果,同时结合北京信息科技大学的软件项目综合实践课程,详细阐述该课程的评测过程与方法。     

2005年度863机器翻译评测方法研究与实施

为了能够全面了解国内外机器翻译技术的现状,促进机器翻译技术的研究,2005年度863计划机器翻译评测于2005年9月举行.本次评测进行了汉英、英汉、汉日、日汉、日英、英日6个语言方向,两种类型的评测以及汉英词语对齐的评测.本次评测采用了网上评测的形式,利用基于N-gram的NIST、BLEU以及人工评测方法对各系统的结果进行评测.本文给出了此次评测的组织、准备、过程、结果及分析.为国内外研究单位在机器翻译方面的进一步研究提供了数据.     

基于查询子主题分类的多样性搜索评价方法

多样化检索结果的评测通常假设一个查询词包含多个权重各不相同的用户子意图,并在此假设的基础上对检索结果进行评测.虽然大多数已经存在的多样化检索评测方法利用了这些特性对检索结果进行评测,但在评测过程中,它们都忽略了查询子意图的类型信息;而不同类型的查询子意图对信息需求具有不同的特点.首先,通过引入衰减函数对这种特点进行描述,进而对用户子意图的分类方法进行抽象;在此基础上,提出了利用查询子意图类型信息进行多样化检索结果评测的框架,该框架定义了利用查询子意图类型信息进行多样化检索评测的方法应该具有的结构;然后,讨论了在用信息类和导航类作为子意图分类方法的前提下,其对应的衰减函数的形式;最后,在TREC与NTCIR测试集上的实验结果表明了所提出方法的有效性.     

电子商务软件易用性的评测方法和评测过程*

关注和提升电子商务软件的易用性可以更好地满足客户需求、提高产品竞争力、节约成本,具有现实意义和实用价值。基于易用性评测的理论基础,依据电子商务软件易用性评测指标体系,提出了电子商务软件易用性的评测方法和评测过程。