大数据基准测试流程与测试工具

当前大数据产品和技术的发展非常迅速,市场中存在各种各样的商业版和开源的大数据软件,这些大数据系统解决了大数据大体量、多样性、时效性的挑战。随着大数据产品和技术成熟,如何去测试和评估这些大数据产品成为新的研究主题。文章简要介绍大数据兴起的背景,综述大数据处理系统的主要构成,并针对大数据处理系统的特点,提出构建大数据基准测试平台的要素和流程,最后介绍当前大数据基准测试工具和存在的问题,展望未来大数据基准测试工具的发展方向。     

大数据技术及标准发展研究

分析我国大数据布局和大数据标准化的现状,以标准化为切入点论述了标准化工作对大数据发展的助推作用以及大数据标准化未来发展的目标,并从制定技术标准的角度详细分析了技术标准体系的构建。     

大数据环境下准确验证计算模型效率的方法

随着开源大数据技术的快速发展,许多新的大数据技术的得到商用,大数据计算模型更是发展迅速。传统认为,大数据具有3V特性,即Volume(海量)、Velocity(高速)和Variety(多样),同时大数据还面临Value(价值)和Veracity(精确)的挑战。如何客观地比较不同数据计算模型效率,即大数据测试基准的选择,成为一个重要的研究课题。事务性能管理委员会(TPC)是目前最知名的数据管理系统评测基准标准化组织他们发布的多款基准测试案例,在业内具有很高的认可度。Apache开源社区针对大数据架构也发布了多款性能测试用例,如Test DFSIO、Tera Sort。为了提出一种准确验证大数据计算模型效率的方法,本文将在分析总结现有成果的基础上,进一步对比现有的大数据测试基准,然后重点讨论TPC-DS测试基准和Big Bench测试。本文提出的方法,能够准确的验证大数据计算模型效率。     

通用CPU性能基准测试研究综述

CPU性能基准测试旨在给出可对比、定量的指标数据，为产品选型提供依据，它已成为引领计算产业发展的风向标之一. CPU技术发展迅速，性能基准测试也在不断演进.本文对包含SPEC CPU在内的主流基准测试进行了研究，从测试目标、测试方法等角度，综述主流CPU基准测试的演进过程、最新研究成果，以及通用CPU性能指标和基准测试需求，分析了通用CPU性能基准测试所面临的挑战，并对今后可能的研究趋势进行了展望.     

我国大数据标准化发展历程与展望

随着数字经济发展战略的深入实施,我国大数据发展迎来了全新阶段。回顾过去10年,我国大数据标准化工作随着大数据技术、产业的发展迭代推进,已形成体系健全、标准丰富、应用广泛的一批标准化成果。立足过去10年我国大数据标准化建设基础,分析了我国大数据标准化的发展阶段,总结了我国大数据标准化主要成果,并结合当前新时期对大数据标准化的新需求,提出我国大数据标准化未来的展望。     

性能比拼

测试平台及程序 我们使用BAPCo公司的SysMark2001基准测试软件作为测试工具,SysMark 2001包括两个应用程序:Internet Content Creation以及OfficeProductivity,并且它在实际的工作负载下有着现实的执行速度并能够计算出一个全面的评价,测试XP需要多种不同的平台,我们在以下这些系统下进行了基准测试:Pentium 4-1.5,Athlon 1.4,Athlon 1.0,Duron 850,以及Pentium111-667。     

大数据标准化现状及展望

首先介绍大数据标准化的发展背景和面临的挑战,概述国内外大数据标准化发展现状,进一步详细介绍美国国家标准与技术研究院在大数据标准化方面的工作进展,最后对我国大数据标准化的工作方法和标准化体系提出建议。     

大数据存储技术和标准化

针对目前大数据存储技术的标准化问题和面临的挑战,详述了现有的大数据存储技术以及应用情况,参考并分析现有云存储接口标准,为大数据存储技术的未来发展提出标准化工作建议。     

测试和测量

连接式测试工具系统连接式测试工具系统Fluke Connect可将测量数据从测试工具传送到智能手机和云空间,使维护团队的沟通、安全性和工作效率得到改善。通过Fluke Connect系统,维护技术人员能够将测试工具测得的数据无线传送到智能手机上,从而安全存储在云空间,这样所有的团队成员在各自的工作现场就能访问查看到数据。超过20种     

《数据治理白皮书》国际标准研究报告要点解读

通过介绍数据治理标准化国内外的发展情况,分析了《数据治理白皮书》国际标准研究报告的主要技术内容,着重解析了数据治理三维模型,提出了大数据治理标准化需求,明确研究报告对企业应用的价值和行业发展的意义.     

《大数据标准化白皮书》将为标准化提供参考依据

正日前,中国电子技术标准化研究院在北京组织召开了《大数据标准化白皮书》(以下简称"《白皮书》")征求意见会。与会代表与专家围绕着大数据及大数据标准的需求、参考框架、行业应用等方面展开了讨论,分享了企业对大数据的应用,对《白皮书》的完善提出了积极的意见与建议。《白皮书》介绍了目前国内、国外主要国家在大数据发展战略、     

大数据技术总结和标准化工作研究进展

总结了大数据相关处理技术,介绍了国内外大数据标准化工作进展,并对大数据标准化工作提出了展望。     

StirMark基准测试程序在数字水印方案评价中的应用

给出了StirMark基准测试程序的概念和特征,介绍了如何使用StirMark基准测试程序评价水印方案,包括StirMark基准测试程序的API接口标准,如何通过配置文件来指定测试图像和测试类型以及如何通过StirMark基准测试程序的日志文件获得水印方案的评价信息,并验证了StirMark基准测试程序的效能。     

测试响应：基准测试能有效地比较能量效率吗？

用来比较两种可供选择的处理器的相对性能的基准，严格说来是提高设计生产率的工具。基准测试本身并不能使技术难题得以解决，但却能缩短开发人员为某个项目挑选处理器所花的时间。也就是说，在理想情况下，标准化的基准测试为开发人员提供一种方法，可以像挑选苹果一样快速而准确地比较可供选择的产品。     

大数据存储和分析技术应用及标准化

介绍了大数据在电信行业的主要应用方向及特点,并结合对大数据技术软件框架的分析而提出了部署思路及建议。通过对大数据存储和分析技术的应用接口标准化的探讨,对目前应用接口标准化可行性做了分析。     

基于随机森林的流处理检查点性能预测

物联网(IoT)的发展引起流数据在数据量和数据类型两方面不断增长。由于实时处理场景的不断增加和基于经验知识的配置策略存在缺陷,流处理检查点配置策略面临着巨大的挑战,如费事费力,易导致系统异常等。为解决这些挑战,该文提出基于回归算法的检查点性能预测方法。该方法首先分析了影响检查点性能的6种特征,然后将训练集的特征向量输入到随机森林回归算法中进行训练,最后,使用训练好的算法对测试数据集进行预测。实验结果表明,与其它机器学习算法相比,随机森林回归算法在CPU密集型基准测试,内存密集型基准测试和网络密集型基准测试上针对检查点性能的预测具有误差低,准确率高和运行高效的优点。     

矿山大数据标准化研究

针对矿山行业大数据缺乏整体规划和顶层设计,系统建设兼容性差、扩展性差,信息不能共享等问题,分析矿山大数据数据源分散、数据结构复杂、数据时效性强、数据特征稀疏、数据关联性强等特性及其建设目标,提出了矿山大数据标准体系框架,详细阐述了矿山大数据标准体系框架构成以及5个核心一级域标准主要内容,并提出标准化建议,为矿山大数据标准化的建设和行业应用提供参考。     

法国新建测试OSI的试验中心

OSI(开放式系统互连)标准化协议越来越得到广泛应用,因此,协议测试的重要性也日渐提到议事日程上。法国电信研究中心CNET于1985年提出研制OSI测试工具的《ARIOSTE方案》。该方案配合欧洲共同体的《CTS-WAN方案》(Conformance Testing Service-Wide Area Networks),在欧洲范围内协调OSI测试工具。从现在起至1988年底,将在下     

大数据存储技术及其标准化分析探讨

随着现代化技术的不断发展,在数据存储上也发生了极大变化,各行各业均开始运用大数据存储来保障系统运行有效性。本文基于这一背景,简单阐述了大数据以及存储技术的概念,分析了大数据存储的几项技术,并在此基础上针对其标准化展开研究,旨在优化大数据存储方式,提升数据使用有效性。     

大数据时代背景下的医学信息化发展分析

文章简要分析了大数据时代背景下的医学信息化发展面临的诸多挑战:数据共享力度欠缺、医学数据不具备标准化、医学信息化人才不足;对此提出了大数据时代背景下医学信息化的创新发展路径:实现医学数据资源的交互与共享、建设医院完善的信息化管理流程等,来促进医学信息化稳定发展。