加倍地做好自己的事情

改革开放以来,中国经济的高速发展引起全世界的高度关注,也一路伴随着西方发达国家对逆差、汇率、质量、环保、人权等方面的不断施压.而近来,随着部分别有用心之人利用火炬接力把北京奥运肆无忌惮地政治化,使双方的情绪也达到了对立新高潮.     

论网络时代医药企业的营销决策

传统的营销方式在网络时代已经不再占有优势,网络时代的营销也不仅仅是做个网站来展示自己的商品,而是通过人性化的服务来进一步推销自己的产品.传统意义上的市场营销,是指个人和群体通过创造并同他人交换产品和价值,以满足需求和欲望的一种社会和管理过程.     

三地路演,带来一路震撼——记2007年世冠AMESim车辆行业技术研讨会

在路演上海专场,笔者有幸与IMAGINE市场及销售总监Olivier DATRY、特种热动力应用事业部经理Cedric ROMAN、区域技术经理David MARAND及世冠公司总经理李京燕女士进行了深层次的交流.     

本地化,服务于中国用户——SolidWorks"老兵"写"新传"

作为SolidWorks在中国华南的增值软件经销商,智诚科技(ICT)公司一直以推动整个制造韭技术发展为己任,以先进的设诗理念引导中国的制造业紧跟世界最新潮流为目标.     

A hybrid time-delay prediction method for networked control system

This paper presents an Ethernet based hybrid method for predicting random time-delay in the networked control system.First,db3 wavelet is used to decompose and reconstruct time-delay sequence,and the approximation component and detail components of time-delay sequences are fgured out.Next,one step prediction of time-delay is obtained through echo state network(ESN)model and auto-regressive integrated moving average model(ARIMA)according to the diferent characteristics of approximate component and detail components.Then,the fnal predictive value of time-delay is obtained by summation.Meanwhile,the parameters of echo state network is optimized by genetic algorithm.The simulation results indicate that higher accuracy can be achieved through this prediction method.     

多起典型网络安全事件被成功处理——CNCERT/CC2007年网络安全事件处理部分案例介绍

恶意代码事件处理"Nimaya(熊猫烧香)"病毒事件处理"Nimaya(熊猫烧香)"病毒在2007年初出现流行趋势。该病毒具有感染、传播、网络更新、发起分布式拒绝服务攻击(DDoS)等功能。     

整合江湖谁称霸 AMD 780G对决NVIDIA MCP78

AMD 780G 作为超威派7系列整合芯片组掌门人,AMD 780G算得上乱世英雄,因为它是首款正式上市的DirectX 10整合主板,引领着整合江湖进入到另一个新"视"界.这款芯片组全面支持新一代K10处理器,支持Hyper Transport 3.0总线与PCI-E2.0显卡插槽,并且内建了性能等效于Radeon HD2400 PRO的显示核心,从而全面支持UVD高清解码引擎.另外,这款整合芯片组还特别对混合交火技术提供支持,从而让AMD 780G这位独行侠行走江湖一段时间后,便获得了众多派别的鼎立相助,江湖地位日渐攀升.     

单位局域网中ARP攻击的故障处理

1故障现象公安部上海消防研究所11台接入层交换机通过一台交换机和路由器进行级联,接入层交换机类型为ZXR102826(以下简称2826)。设备自开通两年以来一直运行正常,用户上网和下载上传均正常,但是在某个时刻该11台交换机上的40%用户无法上网,表现为打开网页出现"Internet Explorer不能链接到您请求的网页。此页可能暂时不可用。",但其余用户能正常上网,但表现为上网速度大幅度下降。     

知识资本:中国参与全球创新网络的关键

对于当前世界发达经济实体中的领袖而言,中国到底是威胁还是机遇?在全球商业、工业、政府和学术观察人士中间,这一争论仍在延续.中国在全球工业中的显著作用已经无庸讳言.今天,中国制造了世界上50%的照相机、30%的空调和电视机、25%的洗衣机及接近23%的冰箱.制造业占中国GDP的53%,出口额的90%,进口额的85%以及吸引投资额的70%.中国是世界上(继美国、日本和德国之后)的第四大生产国,并正以惊人的增长速度向前发展.     

中国Linux软件产业生机勃勃2008年Q1中国Linux软件市场销售额同比增长22.6%

根据赛迪顾问发布的<2008年第一季度中国Linux软件市场分析报告>数据显示,2008年一季度,中国Linux软件市场销售额达3800万元,较去年同期增长22.6%,在整个操作系统市场中继续保持快速增长势头.与Unix在整个非嵌入式操作系统中比重下滑相比,Linux则小幅上升0.2个百分点,显示出Linux产业的勃勃生机.这既得益于国家宏观经济的良好走势,同时也与近年来Linux市场产业链生态环境的改善密切相关.     

基于累计工作量的在线大数据分析作业调度算法

针对Hadoop和Spark等大数据分析系统中无先验知识任务的高效执行问题，设计了基于累计工作量（CRW）的任务调度器CRWScheduler。该调度器根据CRW将任务在低权重队列与高权重队列间切换；在为作业分配资源时，同时考虑到作业所在的队列和其瞬时占用资源量，无需作业先验知识即显著提升系统性能。基于Apache Hadoop YARN实现了CRWScheduler原型，在28个节点的基准测试集群上的实验表明，与YARN的公平调度机制相比，作业流时间（JFT）平均降低21%，其中95百分位的作业流时间（JFT）最多降低了35%，并且在与任务级调度程序协作时可获得进一步的性能提升。     

基于YARN资源调度器的MapReduce作业数调节方法

YARN是Hadoop的一个分布式的资源管理系统,用来提高分布式集群的内存、I/O、网络、磁盘等资源的利用率.然而,YARN的配置参数众多,要对其人工调优并获得最佳的性能费时费力.本文在现有的YARN资源调度器的基础上,结合了一种闭环反馈控制方法,可在集群运行状态下动态地对MapReduce （MR）作业数进行优化,省去了人工调整参数的过程.实验表明,在YARN的容量调度器和公平调度器的基础上使用该方法,相比于默认配置,MR作业完成时间分别减少53%和14%左右.     

基于Hadoop YARN的TensorFlow GPU集群的调度扩展

本文研究并实现了大数据平台 Hadoop YARN 与深度学习框架 TensorFlow 的结合。通过对 DRF 算法的扩展,使得 Hadoop YARN 在原先支持 CPU 和内存的基础上,可以对 GPU 资源进行管理和调度。通过 YARN 的应用接口,把 TensorFlow 封装成了 YARN 的应用程序之一,把原来的分布式程序在多节点手动分发启动改为了在单节点自动分发启动,单机版不变。本文设计了多组实验对 YARN+TensorFlow 进行了多方位的测试,实验结果表明 YARN 和 TensorFlow 相结合相比原生 TensorFlow 程序具有相似的加速比,可以满足单系统多用户对 GPU 资源的使用,有效提高 GPU 资源的使用效率和编程人员的工作效率,增加系统的复用率。     

异构Hadoop集群下的负载自适应反馈调度策略

随着基于Hadoop平台的大数据技术的不断发展和实践的深入,Hadoop YARN资源调度策略在异构集群中的不适用性越发明显。一方面,节点资源无法动态分配,导致优势节点的计算资源浪费、系统性能没有充分发挥;另一方面,现有的静态资源分配策略未考虑作业在不同执行阶段的差异,易产生大量资源碎片。基于以上问题,提出了一种负载自适应调度策略。监控集群执行节点和提交作业的性能信息,利用实时监控数据建模、量化节点的综合计算能力,结合节点和作业的性能信息在调度器上启动基于相似度评估的动态资源调度方案。优化后的系统能够有效识别集群节点的执行能力差异,并根据作业任务的实时需求进行细粒度的动态资源调度,在完善YARN现有调度语义的同时,可作为子级资源调度方案架构在上层调度器下。在Hadoop 2.0上实现并测试该策略,实验结果表明,作业的自适应资源调度策略显著提高了资源利用率,集群并发度提高了2到3倍,时间性能提升了近10%。     

一种面向效益均衡的网格资源预留机制

网格环境中的资源预留机制为跨站点的协同资源分配提供可靠的服务质量保证.针对传统预留机制存在本地任务QoS难以得到保障的缺陷,提出一种基于效益均衡的预留机制.该机制通过比较资源顸留收益与预留对本地任务执行所造成的负面影响来确定资源预留数量,以期取得网格任务QoS保障和本地任务QoS保障的效益均衡.模拟实验采用真实系统负载在较大规模的计算网格系统中检验了该机制的性能表现,实验结果显示,基于效益均衡的预留机制能有效提高资源利用率,同时能显著降低任务的资源费用情况.     

Performance evaluation of job schedulers on Hadoop YARN

To solve the limitation of Hadoop on scalability, resource sharing, and application support, the open‐source community proposes the next generation of Hadoop's compute platform called Yet Another Resource Negotiator (YARN) by separating resource management functions from the programming model. This separation enables various application types to run on YARN in parallel. To achieve fair resource sharing and high resource utilization, YARN provides the capacity scheduler and the fair scheduler. However, the performance impacts of the two schedulers are not clear when mixed applications run on a YARN cluster. Therefore, in this paper, we study four scheduling‐policy combinations (SPCs for short) derived from the two schedulers and then evaluate the four SPCs in extensive scenarios, which consider not only four application types, but also three different queue structures for organizing applications. The experimental results enable YARN managers to comprehend the influences of different SPCs and different queue structures on mixed applications. The results also help them to select a proper SPC and an appropriate queue structure to achieve better application execution performance. Copyright © 2016 John Wiley & Sons, Ltd.     

基于延迟调度策略的Reduce调度优化算法

在大规模的Hadoop集群中,良好的任务调度策略对提高数据本地性、减小网络传输开销、减少作业执行时间以及提高集群的作业吞吐量都有着重要的影响。本文针对Hadoop架构中Reduce任务的数据本地性较低问题,提出了一种基于延迟调度策略的Reduce任务调度优化算法,通过提高Reduce任务的数据本地性来减少作业执行时间以及提高作业吞吐量,该算法在Hadoop架构的Early Shuffle阶段,使用多级延迟调度策略来提高Reduce任务的数据本地性。最后重写原生公平调度器代码实现了该调度算法,并与原生公平调度器进行了对比实验分析,实验结果表明该算法明显减少了作业执行时间,提高了集群的作业吞吐量。     

SLA-aware energy-efficient scheduling scheme for Hadoop YARN

Apache Hadoop becomes ubiquitous for cloud computing which provides resources as services for multi-tenant applications. YARN (a.k.a. MapReduce 2.0) is one of the key features in the second-generation Hadoop, which provides resource management and scheduling for large-scale MapReduce environments. Two enormous challenges in the YARN scheduler are the abilities to automatically tailor and control resource allocations to different jobs for achieving their Service Level Agreements (SLAs), and minimize energy consumption of the overall cloud computing system. In this work, we propose an SLA-aware energy-efficient scheduling scheme which allocates appropriate amount of resources to MapReduce applications with YARN architecture. In our task scheduling policy, We consider the data locality information to save the MapReduce network traffic. Furthermore, the slack time between the actual execution time of completed tasks and expected completion time of the application is utilized to improve the energy-efficiency of the system. An online userspace governor-based dynamic voltage and frequency scaling (DVFS) scheme is designed in the YARN per-application ApplicationMaster to dynamically change the CPU frequency for upcoming tasks given the slack time from previous completed tasks. Experimental evaluation shows that our proposed scheme outperforms the existing MapReduce scheduling policies in terms of both resource ultization and energy-efficiency.     

Context‐aware scheduling in MapReduce: a compact review

It is a fact that the attention of research community in computer science, business executives, and decision makers is drastically drawn by big data. As the volume of data becomes bigger, it needs performance‐oriented data‐intensive processing frameworks such as MapReduce, which can scale computation on large commodity clusters. Hadoop MapReduce processes data in Hadoop Distributed File System as jobs scheduled according to YARN fair scheduler and capacity scheduler. However, with advancement and dynamic changes in hardware and operating environments, the performance of clusters is greatly affected. Various efforts in literature have been made to address the issues of heterogeneity (i.e., clusters consisting of virtual machines and machines with different hardware), network communication, data locality, better resource utilization, and run‐time scheduling. In this paper, we present a survey to discuss various research efforts made so far to improve Hadoop MapReduce scheduling. We classify scheduling algorithms and techniques proposed in the literature so far based on their addressing areas and present a taxonomy. Furthermore, we also discuss various aspects of open issues and challenges in the scheduling of MapReduce to improve its performance. Copyright © 2015 John Wiley & Sons, Ltd.     

集中式集群资源调度框架的可扩展性优化

集中式集群资源管理系统既能够确保全局资源状态的一致性亦拥有多种调度模型,因此被广泛应用于实际系统中.但是,当集中式资源管理器在接收并处理大规模的周期性心跳信息时,由于其采用单一节点来维护全局资源状态,所以资源管理器的负载压力急剧增加,导致调度能力降低,影响了集群系统的可扩展性.针对上述问题,提出一种“没有变化就不更新”的思想,取代集中资源管理的定时更新机制,改善了集中式资源管理系统的可扩展性.首先,通过计算节点引入基于差分的心跳信息处理模型,使得未发生状态变化的节点不必发送心跳消息,从而减少消息发送的规模和次数;其次,针对节点宕机监测过程,提出基于环形监视的节点监控模型,让各个计算节点之间互相监视对方的宕机状态,从而将周期性监测压力转移到计算节点;最后,给出这2种模型在集中式资源管理系统YARN上的实现,并针对改进前后的系统进行实验测试.通过实验验证,当集群达到1万个节点且心跳时间间隔3 s时,改进后YARN系统的心跳信息处理效率以及资源更新效率相比原YARN系统提高40%左右.另外,改进后YARN系统管理集群节点规模相比原YARN系统扩大1.88倍以上.