一个基于P2P技术的分布式视频检索系统

分布式视频检索是当前网络环境下信息检索的重要技术和方式之一,能够改善传统视频检索技术的性能.本文在分析已有视频检索系统发展状况的基础之上,利用FreePastry分布式平台以及P2P网络的可扩展性、负载均衡和稳定性,研究构建基于P2P(Peer-to-Peer)的分布式视频检索系统的方法.利用倒排索引技术和模糊查询技术提高视频检索效率.实验结果表明该系统在扩展性、查全率和查询准确率等性能上取得了较好效果.     

基于STAF的故障注入自动化测试平台

为提高高端容错计算机故障注入自动化测试的执行效率,基于开源的自动化测试工具STAF,设计一个可集成多种故障注入工具的分布式自动化测试平台。论述分布式运行环境与平台软件架构,给出任务控制算法的流程,对故障注入模块进行分析。实验结果表明,该平台可提高测试任务的复用性,缩短测试时间。     

一种安全的基于Aglets的分布式数据库查询系统的设计与实现

为提高分布式信息查询的效率、实时性和安全性,有效减少网络带宽的消耗,本文在分析了Aglets的安全性的基础上提出了一种在Aglets平台上构建安全的分布式数据库查询系统的设计框架,并用Java语言进行了实现.实验分析显示该系统的安全性和完整性是可以得到保证的,利用该框架设计安全的分布式应用的设想是可行的.     

基于单神经元自适应PSD算法的分布式智能灯光控制

针对已有灯光控制算法无法应对系统模型变化的问题,提出将单神经元自适应PSD（proportion sum differential）算法应用于分布式智能灯光控制。利用单神经元自适应PSD算法的自学习能力,控制器根据系统误差实时修改参数,并与无线传感器/执行器网络中的分簇机制相结合,形成了一套完整的自适应分布式智能灯光控制算法。并以基于无线传感器/执行器网络的灯光控制实验平台为被控对象,设计控制器并进行了仿真研究。仿真实验表明,当系统模型发生改变,与已有的分布式PID灯光控制算法相比,本文的控制算法具有更好的控制效果、鲁棒性更强。     

基于Hadoop平台的分布式ETL系统设计与实现

为了解决传统的抽取、转换和加栽工具处理数据仓库中海量数据的效率问题,设计并实现了基于Hadoop平台的分布式ETL系统。详细的探讨了渐变维度、雪花维度、大维度数据和事实数据的并行处理。实验结果表明,与Hive数据仓库相比,该分布式ETL系统在并行处理数据仓库中海量数据的问题上,具有更高的效率和扩展性。     

基于Hadoop的Web日志挖掘

基于单一节点的数据挖掘系统在挖掘Web海量数据源时存在计算瓶颈,针对该问题,利用云计算的分布式处理和虚拟化技术的优势,设计一种基于云计算的Hadoop集群框架的Web日志分析平台,提出一种能够在云计算环境中进行分布式处理的混合算法。为进一步验证该平台的高效性,在该平台上利用改进后的算法挖掘Web日志中用户的偏爱访问路径。实验结果表明,在集群中运用分布式算法处理大量的Web日志文件,可以明显提高Web数据挖掘的效率。     

分布式嵌入式系统软硬件协同仿真平台

为了更好地服务于软/硬件协同开发,分析了现有的基于单机架构的全系统仿真工具的不足,考虑到嵌入式开发人员位于分布式环境的特点,设计了一种基于B/S架构的分布式嵌入式系统软硬件协同仿真平台。基于开源仿真工具SimSoC进行实现,阐释了将基于单机架构的仿真工具改成分布式的一般规律。利用该方案在实际案例中进行了应用。     

大型商业银行基于Hadoop分布式数据仓库建设初探

商业银行的数据规模随着传统业务扩展和互联网发展水平的不断提高而与日俱增,使得银行对数据的存储、管理和应用要求越来越高。通过搭建基于Hadoop技术的大数据平台,利用分布式文件系统HDFS、SQL分析引擎Inceptor、Nosql数据库工具Hyperbase、流处理工具Stream等架构,探索了大型商业银行Hadoop分布式数据仓库的构建过程,最终实现了由基于集中式存储架构的传统关系型数据仓库向分布式数据仓库的迁移工作。该分布式数据仓库实现了结构化数据和非结构化数据的存储、ETL调度管理、历史数据检索、交互式分析以及流数据处理。应用表明,相比基于集中式存储架构的传统关系型数据仓库,分布式数据仓库可大幅提高数据存储和数据服务的效率。     

多机仿真器SimDSM的设计及实现

仿真器是进行计算机体系结构研究的有力工具。本文以多机仿真器ＳｉｍＤＳＭ为实例,讨论了设计仿真器的一般原理和评价仿真器的标准,ＳｉｍＤＳＭ是为了分析研究分布式共享存储系统而设计的。它基于ＣＩＳＣ结构的Ｉｎｔｅｌ的体系结构,由于采用执行驱动和自定义的线程的实现方法,使得仿真可以高效准确进行。实验的结果表明,该仿真器具有较高的实用性和有效性。     

面向分布式处理的WebGIS平台软件开发

目前已有许多WebGIS平台软件,但在分布式数据访问处理这个问题上,尚无完全成熟的解决方案。在研究和分析国内外已有WebGIS软件技术的基础上,探索了分布式WebGIS系统的实现方案,采用Java技术从底层开发了一个WebGIS平台软件。利用该软件所建立的基于SIG的城市空间信息服务系统原型能够实现对分布式空间数据的访问操作,为进一步实现分布式异构数据的共享和互操作打下了一个基础。     

面向HPC的函数计算冷启动优化

High performance computing problems usually have the characteristics of parallelization of subtasks, and a lot of computing resources are consumed in the process of execution. It has been proved that traditional cloud computing based on virtual machine can deal with such problems, but the management of distributed environment and the distributed design of solutions make the processing more complex. Function computing is a new type of serverless cloud computing paradigm, its automatic expansion and considerable computing resources can be well combined with HPC problems. However, the cold start delay is an unavoidable problem on the public cloud function computing platform, especially in the task of HPC problems having high concurrent jobs of which delay will be further magnified. In this paper, we first analyze the completion time of a simple HPC task under cold start and hot start conditions, and analyze the causes of additional delay. According to these analyses, we combine the time series ana lysis tools and the platform's automatic expansion mechanism to propose an effective preheating method, which can effectively reduce the cold start delay of HPC tasks on the function computing platform.     

国家高能物理科学数据中心分布式数据处理平台

【目的】本文对国家高能物理科学数据中心分布式数据平台进行系统全面介绍,为高能物理及相关领域大科学实验的数据处理提供参考。【方法】文章介绍了国家高能物理科学数据中心分布式数据处理平台的总体构成、运行模式和智能运维等方面的关键技术。通过分析高能物理实验数据处理的计算特点与实际需求,介绍了数据中心“一平台多中心”的数据处理平台建设思想,阐述了平台为高能物理实验提供的跨地域资源共享、高性能海量数据访问以及用户实时交互服务等技术方案设计与实现。【结果】文章列举了数据中心分布式数据处理平台对两个高能物理实验的支持实例,助力科学研究成果获取。【结论】国家高能物理科学数据中心分布式数据处理平台已经成为高能物理学科的重要基础设施和组成,是学科融合、开展新研究方法的主要场所,满足了粒子物理、理论物理、空间天文、射线学科、加速器设计等科研领域的数据处理需求。     

并行计算在动态模式识别中的实现和应用*

研究一种针对最近提出的动态环境下的机器学习理论——确定学习理论的算法实现,提出一种采用并行计算实现确定学习理论中的动态模式识别的方法。利用并行计算中的OpenMP多核编程环境,采用曙光16核服务器为硬件平台,实现对动态模式识别算法的快速性。同时,以压气机Mansoux模型为应用背景,把确定学习理论的动态模式识别方法应用到压气机旋转失速/喘振的快速检测中,利用多核并行计算实现了从包含多种旋转失速/喘振模式的模式库中快速识别当前模式的方法,为文章中方法提供了一个有效的验证。     

基于Hadoop MapReduce模型的应用研究

MapReduce是一种简化并行计算的分布式编程模型,是Google的一项重要技术,通常被用于数据密集型的分布式并行计算.探讨了来自Apache开源的分布式计算平台Hadoop的核心设计MapReduce编程模型,并通过算法实验分析和研究了MapReduce模型的工作方式和应用方法.     

异构分布对象系统集成模型研究

分布对象计算技术为用户提供了方便的分布应用开发工具。然而,随着分布对象计算技术的应用和发展,异构分布对象系统的集成也正在成为急需解决的问题。用户对异构分布对象系统的集成有各种各样的需求,因此提供异构分布对象系统集成的工具也多种多样。文中将现有的异构分布对象系统的集成工具归纳为四种集成模型,并在对它们进行比较的基础上结合应用需求讨论了各种集成模型的适用场合。     

云计算技术在未来智能电网信息处理平台中的应用

未来的电网将会是一个高度自动化、智能化的电网,如此一个庞大、复杂的系统从发电、输电一直到变、配、用电的过程时刻都会生成海量的电能信息及设备运行状态数据,这就需要一个强有力的信息处理平台作为支撑,且这个平台应具有对海量数据的可靠存储、准确分析、实时同步更新及共享的功能,尤其是音视频等异构数据的分析与处理.云计算技术在大数据处理中具有得天独厚的优势,本文将云计算技术引入到未来智能电网的信息处理平台的建设中,针对未来智能电网信息处理平台的各项功能需求,对比目前电网信息处理平台的诸多瓶颈进行深层次的探讨,证明了将云计算技术应用到未来智能电网信息处理平台中的可行性。     

基于无感识别技术的工器具智能分类系统设计

基于无感识别技术、物联网技术和云计算平台,构建了面向电力企业的物联网系统架构,结合云计算平台,设计了一款电力企业工器具智能分类系统。该系统基于无线射频识别技术(Radio Frequency Identification technology, RFID),将电子标签作为自动识别装置的工器具分类手段。工器具的数据在经过自动识别装置进行读取之后转入云计算平台进行大数据匹配,从而实现工器具的智能分类和管理。本文所设计的工器具智能分类系统在很大程度上解决了工器具在数据读取、状态诊断和智能分类管理上的问题,杜绝了电力企业中的各种安全管理问题,在完善工器具智能分类和电力企业智能管理方面有着重要意义和参考价值。     

基于Internet的分布式网络精馏计算系统

文章简要叙述了近10年来化工领域网络计算技术的发展状况,提出了一种基于分布式计算的网络计算模型,并将这一模型应用到化工精馏模拟计算领域。文章对分布式网络计算模型的成员结构及成员间的关系和通信方式进行了仔细分析,给出了一个模型结构框图,同时,对如何选择开发平台、开发语言和开发工具提出了一些建议。并给出了一个采用分布式网络计算模型的化工精馏模拟网络计算系统的设计实例,并列举了采用这个模型进行实际模拟计算应用的两个具体例子。最后对网络计算的发展前景做了一些展望。     

Survey on the run-time systems of enterprise application integration platforms focusing on performance

Companies are taking advantage of cloud computing to upgrade their business processes. Cloud computing requires interaction with many kinds of applications, so it is necessary to improve the performance of software tools that allow keeping information on all these applications consistent and synchronised. Integration platforms are specialised software tools that provide support to design, implement, run, and monitor integration solutions, which aim to orchestrate a set of applications so as to promote compatibility among their data or to develop new functionality on top of the current ones. The run-time system is the part of the integration platform responsible for running the integration solutions, which makes its performance the uttermost important issue. The contribution of this article is two-fold: a framework and an evaluation of integration platforms. The former is a framework composed of ten properties grouped into two dimensions to evaluate the run-time systems focusing on performance. Using this framework as reference, the second contribution is an evaluation of nine open-source integration platforms, which represent the state-of-the-art, provide support to the integration patterns, and follow the pipes-and-filters architectural style. In addition, as a result of this work, we suggest open research directions that can be explored to improve the performance of the run-time systems and at the same time may be useful to adapt them to the context of cloud computing.