基于MapReduce的并行聚类算法设计与实现

针对目前聚类算法对大数据处理效率较低的问题,研究云平台上高效并行化的聚类算法十分必要。在HDFS分布式文件系统基础上,设计一种并行聚类算法P-ISODATA,利用MapReduce编程框架的执行机制将传统ISODATA聚类算法并行化,并在Map阶段之后加入Combine阶段以减少网络传输开销,进一步提高执行效率。实验从著名UCI机器学习库上选取若干数据集作为测试数据,分析了新并行算法P-ISODATA性能,结果表明基于P-ISODATA算法具有优良的加速比、数据伸缩率和扩展率,可以有效地应用于大规模数据的处理。     

基于动态重加密的云存储权限撤销优化机制——DR-PRO

针对云存储服务中用户访问权限撤销计算与带宽代价过大、复杂度过高等问题,提出一种基于动态重加密的云存储权限撤销优化机制(DR-PRO)。首先,以密文策略的属性加密体制(CP-ABE)的密文访问控制方案作为理论背景,利用(k,n)门限方案,将数据信息划分成若干块,动态地选取某一数据信息块实现重加密;然后,依次通过数据划分、重构、传输、提取以及权限撤销等子算法完成用户访问权限撤销实现过程。理论分析与测试仿真表明,在保证云存储服务用户数据高安全性的前提下:与懒惰重加密机制相比,DR-PRO的用户访问权限撤销的计算与带宽代价在数据文件变化情况下的平均下降幅度是5%;与完全重加密机制相比,DR-PRO的用户访问权限撤销的计算与带宽代价在共享数据块变化情况下的平均下降幅度是20%。实验结果表明,DR-PRO在云存储服务中能够有效提高用户访问权限撤销的性能与效率。     

自适应云资源大块数据对象并行存取方法

对自适应云资源大数据块对象进行并行存取时,由于没有利用数据挖掘理论构建大数据对象的并行存取模型,导致并行存取的时间长、内存占比高、提取正确率低等问题,由此提出自适应云资源大数据块对象的并行存取方法.利用聚类算法对大数据块对象中的数据进行缺失值填充,并将填充后的数据进行分割处理,获取新的数据集;获取大数据块对象的输入层神经元,计算数据采样梯度函数,结合数据挖掘理论构建大数据块对象的并行存取模型;将自适应云资源大数据块对象放入模型中进行自适应寻优处理,以此完成自适应云资源大数据块对象的并行存取.实验结果表明,利用上述方法对大数据块对象进行并行存取时存取时间短、内存占比低、存取的正确率高.     

机群系统中一种新的自适应结点分配算法:受限负载平衡结点分配(LLBA)

在机群系统中结点分配策略根据一定的原则为作业确定运行结点是提高系统性能的关键。通过对机群结点分配策略的研究,作者发现当前基于负载平衡自适应的结点分配策略为并行作业选择负载最轻的结点,这不利于系统性能的充分发挥。作者提出了一种新的自适应负载平衡结点分配算法：受限负载平衡结点分配。     

提高可扩展并行机群并行I/O效率的一个方法

随着ＣＰＵ性能的高速提升,系统Ｉ／Ｏ能力的不足越来明显地成为提高ＮＯＷ系统整体性能的瓶颈。在分析现有基于ＮＯＷ系统的并行Ｉ／Ｏ算法的基础上,通过理论推导,给出了一种寻求计算进程与计算结点之间最佳映射的方法。该方法可以在数据重分配时,使各计算的通信量小,从而达到提高系统并行Ｉ／Ｏ效率的目的。     

大数据交叉映射融合的逆向云算法仿真

大数据融合可以提升工作效率、保证数据安全。逆向云算法根据数据之间的关联性交叉映射,对不同类型数据执行逆向处理。而传统逆向云算法,分析大数据离散度的能力不强,致使计算结果的偏差较大,因此研究大数据交叉映射融合的逆向云算法。算法将原有算法作为基本理论,利用梯度联合函数反演,根据交叉梯度约束条件确定数据离散形式,捕捉数据交叉规则;依照已知节点数据的物理量,对未知节点数据插值,通过源数据项、目标数据项建立函数映射关系,得出隐含关联;按照关联度匹配数据特征,域隐含层特征函数对域网络参数反向微调,至此实现逆向云算法。实验结果可知:与传统的基于鲁棒性的大数据逆向云算法相比,上述算法分析大数据之间离散度的能力更强,得到的参数结果偏差极小。由此可见,所研究的逆向云算法的计算结果更加精确。     

面向容器环境的Flink的任务调度优化研究

随着互联网技术的飞速发展,人类正在走向大数据时代与云计算时代。Flink作为最新一代的大数据计算引擎,具有低延迟、高吞吐等优势,受到学术界与工业界的青睐。Flink在云环境下部署时,其默认任务调度由于无法获取容器部署分布信息,会导致负载分配不均衡。针对这一问题,提出一种面向容器环境的Flink任务调度算法FSACE,获取每个结点性能信息与容器在结点上的分布信息,优先选择 空闲资源较多的结点的容器,同时可以避免容器被频繁选中造成负载不均。使用云主机与合成数据集对算法进行评测,评测结果表明,在容器环境下部署时,所提出的算法能更均衡地分配任务,可以提高资源使用率和计算速度。     

基于客户侧大数据分析的“云服务”模式研究与应用

为了适应电力体制改革,实现电力企业转型,利用已沉淀的海量客户大数据,创新性地将电力企业现有的数据信息从管理后台推至服务前台,将大数据分析应用延伸到服务领域,构建一种基于客户侧大数据分析的“云服务”模式。通过云服务模式的“去中心化、去组织化”,组织结构从科层制转向高度扁平化;超前把握客户的服务需求,在做好传统市场服务的同时,拓展非传统市场的延伸服务,从能够提供什么产品向客户需要什么产品转型;不断提升客户服务体验,扭转电力企业“强电网”与“弱服务”的矛盾态势,提供多层次、多维度、跨区域、多品类的服务产品,构建电力“供、用、数据、服务”云服务体系。     

基于Spark平台的心电大数据分析处理

为有效解决互联网医疗时代海量心电数据的处理问题,在Spark云平台下,提出一种双层并行化的改进遗传K-means聚类算法,用于心电数据挖掘。克服传统K-means算法对初始中心点敏感以及串行聚类算法效率低下等问题,结合Mallat小波变换预处理技术,较好实现海量心电数据中R波的提取。通过对MIT-BIH数据库的读取和分析,其结果表明,该算法比传统遗传K-means算法具有更高的聚类准确度,与串行聚类算法和Map Reduce计算模型相比,运行效率也有了较大提升。     

基于MapReduce的云存储数据审计方法研究

云存储是一种新兴的网络存储技术,它是云计算提供的一个重要服务。云存储因其快速、廉价和方便而广受云用户喜爱。然而,它也给云用户的外包数据带来了许多安全问题。其中一个重要问题就是如何确保半可信云服务器上数据的完整性。因此,云用户和云服务器亟需一个稳定、安全、可信的数据审计方法。随着大数据时代的到来,传统数据审计方案批量处理云环境下海量数据的效率不高;并且,随着移动客户端的流行,传统数据审计方案带给用户的在线负担太过繁重。因此,提出一种基于MapReduce编程框架的云数据审计方案,使用代理签名技术将用户对数据签名计算代理出去,并且并行化处理数据签名和批量审计过程。实验结果表明,所提方法明显提高了批量审计的效率,增强了云存储服务的可用性,并且减轻了用户的在线负担。     

Call for Papers The 6^th International Conference on Grid and Cooperative Computing

Recent years have seen rapid advances in various grid-related technologies, middleware, and applications. The GCC conference has become one of the largest scientific events worldwide in grid and cooperative computing. The 6th international conference on grid and cooperative computing (GCC2007) Sponsored by China Computer Federation (CCF),Institute of Computing Technology, Chinese Academy of Sciences (ICT) and Xinjiang University ,and in Cooperation with IEEE Computer Soceity ,is to be held from August 16 to 18, 2007 in Urumchi, Xinjiang, China.     

煤矿井下安全监控分站的设计及其仿真实现

为了设计一种具有低成本、低功耗、易操作、功能强且可靠性高的煤矿井下安全分站,针对煤矿安全生产实际,文章提出了采用MCS-51系列单片机为核心、具有CAN总线通信接口的煤矿井下安全监控分站的设计方案;首先给出煤矿井下安全监控分站的整体构架设计,然后着重阐述模拟量输入信号处理系统的设计过程,最后说明单片机最小系统及其键盘、显示、报警、通信等各个组成部分的设计;为验证设计方案的可行性与有效性,使用Proteus软件对设计内容进行仿真验证,设计的煤矿井下安全监控分站具有瓦斯、温度等模拟量参数超标报警功能和电机开停、风门开闭等开关量指示功能;仿真结果表明:设计的煤矿井下安全监控分站具有一定的实际应用价值.     

法律信息库系统

本文分析了法律数据库的结构和特点，介绍了采用面向对象设计方法和超文本数据库技术开发和实现法律信息库系统将作为重要网络资源之一为不同用户进行法律咨询服务。     

View-based model-driven architecture for enhancing maintainability of data access services

In modern service-oriented architectures, database access is done by a special type of services, the so-called data access services (DAS). Though, particularly in data-intensive applications, using and developing DAS are very common today, the link between the DAS and their implementation, e.g. a layer of data access objects (DAOs) encapsulating the database queries, still is not sufficiently elaborated, yet. As a result, as the number of DAS grows, finding the desired DAS for reuse and/or associated documentation can become an impossible task. In this paper we focus on bridging this gap between the DAS and their implementation by presenting a view-based, model-driven data access architecture (VMDA) managing models of the DAS, DAOs and database queries in a queryable manner. Our models support tailored views of different stakeholders and are scalable with all types of DAS implementations. In this paper we show that our view-based and model driven architecture approach can enhance software development productivity and maintainability by improving DAS documentation. Moreover, our VMDA opens a wide range of applications such as evaluating DAS usage for DAS performance optimization. Furthermore, we provide tool support and illustrate the applicability of our VMDA in a large-scale case study. Finally, we quantitatively prove that our approach performs with acceptable response times.     

International Journal of Automation and Computing Table of Contents

正~~     

Information for authors

正SCIENCE CHINA Information Sciences(Sci China Inf Sci),cosponsored by the Chinese Academy of Sciences and the National Natural Science Foundation of China,and published by Science China Press,is committed to publishing highquality,original results of both basic and applied research in all areas of information sciences,including computer science and technology;systems science,control science and engineering(published in Issues with odd numbers);information and communication engineering;electronic science and technology(published in Issues with even numbers).Sci China Inf Sci is published monthly in both print and electronic forms.It is indexed by Academic OneFile,Astrophysics Data System(ADS),CSA,Cabells,Current Contents/Engineering,Computing and Technology,DBLP,Digital Mathematics Registry,Earthquake Engineering Abstracts,Engineering Index,Engineered Materials Abstracts,Gale,Google,INSPEC,Journal Citation Reports/Science Edition,Mathematical Reviews,OCLC,ProQuest,SCOPUS,Science Citation Index Expanded,Summon by Serial Solutions,VINITI,Zentralblatt MATH.     

Erratum to: Fast global kernel fuzzy c-means clustering algorithm for consonant/vowel segmentation of speech signal

正Erratum to:J Zhejiang Univ-Sci C(ComputElectron)2014 15(7):551-563doi:10.1631/jzus.C1300320The original version of this article unfortunately contained mistakes.Algorithm 6 should be as follows:Algorithm 6 FGKFCM-F clustering Input:(1)X={x_1,x_2,…,x_N},,x_iR~d,i=1,2,…,N,the dataset;(2)C,1C≤N,the number of clusters;(3)ε0,the stopping criterion;     

Journal of Zhejiang University-SCIENCE C (Computers & Electronics) Total contents

正~~     

A pragmatic multi-method investigation of discrepant technological events: Coping,attributions, and ‘accidental’ learning

Discrepant technological events or situations that entail a problem, a misunderstanding or a difficulty with the Information Technology (IT) being employed, are common in the workplace, and can lead to frustration and avoidance behaviors. Little is known, however, about how individuals cope with these events. This paper examines these events by using a multi-method pragmatic approach informed by coping theory. The results of two studies – a critical incident study and an experiment – serve to build and test, respectively, a theoretical model that posits that individuals use a variety of strategies when dealing with these events: they experience negative emotions, make external attributions, and adopt engagement coping strategies directed at solving the event, eventually switching to a disengagement coping strategy when they feel they have no control over the situation. Furthermore, users’ efforts may result in ‘accidental’ learning as they try to overcome the discrepant IT events through engagement coping. The paper ends with a discussion of the results in light of existing literature, future opportunities for research, and implications for practice.