数据密集型计算的遥感图像预处理方法

针对大数据时代,数据密集型计算已经成为国内外的一个研究热点. 遥感数据具有多源化、海量化特点,是名副其实的大数据. 研究适用于遥感影像自动化、业务化处理的数据密集型计算方法,是目前遥感应用技术面临的挑战所面临的挑战,本文提出了一种基于数据密集型计算的遥感图像处理方法. 在文中,首先围绕遥感数据自动化、业务化预处理等问题,深入调查和分析了国内外研究现状,进而介绍了系统体系结构,通过工作流灵活组织多种算法模型协同工作,设计以“5并行1加速”的计算体系解决数据密集型的遥感图像预处理,并通过产品生产实例对其性能进行测试. 结果表明,该系统在保证处理精度的前提下,大大提高了遥感大数据预处理的效率.     

数据科学研究的现状与趋势

大数据时代的到来催生了一门新的学科——数据科学。首先,探讨了数据科学的内涵、发展简史、学科地位及知识体系等基本问题,并提出了专业数据科学与专业中的数据科学之间的区别与联系。其次,分析现阶段数据科学的研究特点,并分别提出了专业数据科学、专业中的数据科学及大数据生态系统中的相对热门话题。接着,探讨了数据科学研究中的10个争议及挑战:思维模式的转变(知识范式还是数据范式)、对数据的认识(主动属性还是被动属性)、对智能的认识(更好的算法还是更多的数据)、主要瓶颈(数据密集型还是计算密集型)、数据准备(数据预处理还是数据加工)、服务质量(精准度还是用户体验)、数据分析(解释性分析还是预测性分析)、算法评价(复杂度还是扩展性)、研究范式(第三范式还是第四范式)、人才培养(数据工程师还是数据科学家)。然后,提出了数据科学研究的10个发展趋势:预测模型及相关分析的重视,模型集成及元分析的兴起,数据在先、模式在后或无模式的出现,数据一致性及现实主义的回归,多副本技术及靠近数据原则的广泛应用,多样化技术及一体化应用并存,简单计算及实用主义占据主导地位,数据产品开发及数据科学的嵌入式应用,专家余及公众数据科学的兴起,数据科学家与人才培养的探讨。最后,结合文中工作,对数据科学研究者给出了几点建议和注意事项。     

人工智能赋能的数据管理、分析与系统专刊前言

大数据时代,数据规模庞大,数据管理应用场景复杂,传统数据库和数据管理技术面临很大的挑战.人工智能技术因其强大的学习、推理、规划能力,为数据库系统提供了新的发展机遇.专刊强调数据管理与人工智能的深度融合,研究人工智能赋能的数据库新技术和新型系统,包括两方面:(1)传统数据管理、数据分析技术及系统与人工智能相结合,将会焕发新的生机;(2)大数据管理与分析是新一代人工智能技术发展的基石.因此,围绕传统数据管理的不同技术层面,需要新的理论和系统经验.     

《计算机工程与科学》大数据专刊征文通知

当前,大数据技术方兴未艾,为全面把握国内目前对大数据技术的研究现状,《计算机工程与科学》计划在2013年9～11月间推出一期大数据专刊。一、征稿范围专刊的内容包括大数据技术、科学、工程和应用等方面的问题(但不限于此):1.大数据的科学与基础2.大数据基础结构3.大数据管理4.数据搜索和挖掘5.大数据的安全和隐私6.大数据应用二、投稿约定(1)原稿必须是在中外文正式刊物上未发表的论文。本刊严禁一稿多投、重复内容多次投稿、不同文种重复投稿。一     

网络大数据:现状与展望

网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace)中交互、融合所产生并在互联网上可获得的大数据.网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律,给现有的IT架构以及机器处理和计算能力带来了极大挑战.同时,也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大机遇.因此,迫切需要探讨大数据的科学问题,发现网络大数据的共性规律,研究网络大数据定性、定量分析的基础理论与基本方法.文中分析了网络大数据的复杂性、不确定性和涌现性,总结了网络空间感知与数据表示、网络大数据存储与管理体系、网络大数据挖掘和社会计算以及网络数据平台系统与应用等方面的主要问题与研究现状,并对大数据科学、数据计算需要的新模式与新范式、新型的IT基础架构和数据的安全与隐私等方面的发展趋势进行了展望.     

一种基于管算存分离的内存数据库实现技术

在多核处理器、大内存、非易失内存等新硬件技术的支持下,异构存储与计算平台成为主流的高性能计算平台.传统的数据库引擎采用一体化设计,新兴数据库则采用存算分离和算子下推技术以更好适应新型分布式存储架构.提出了一种新颖的基于管算存分离方法的内存数据库实现技术,在存算分离技术的基础上进一步根据数据库模式、数据分布与负载计算特征将数据集划分为元数据集和数值集,将统一的查询引擎分解为元数据管理引擎、计算引擎和存储引擎,将包含语义信息的元数据管理抽象为独立的管理层,将无语义的数值存储和计算抽象为计算存储层,其中计算密集型负载定义为计算层,数据密集型负载设计为存储层,并根据硬件平台的不同分离或合并计算与存储层.内存数据库的实现技术分为几个层次:1)模式优化,实现数据库存储中“数(数值)”与“据(元数据)”的分离,根据数据的内在特性选择不同的存储与计算策略;2)模型优化,采用Fusion OLAP模型,实现在关系存储模型上的高性能多维计算;3)算法优化,通过代理键索引、向量索引支持优化的向量连接、向量聚集算法,提高OLAP性能;4)系统设计优化,通过数据库引擎分层技术实现管理与计算分离、存储与计算分离以...     

大数据分析中的计算智能研究现状与展望

随着产业界和科学界数据量的爆炸式增长,大数据技术和应用吸引了众多的关注.如何分析大数据,充分挖掘大数据的潜在价值,成为需要深入探讨的科学问题.计算智能是科学研究和工程实践中解决复杂问题的有效手段,是人工智能和信息科学的重要研究方向,应用计算智能方法进行大数据分析具有巨大的潜力.对大数据分析中的计算智能方法进行综述,结合大数据的特征,讨论了大数据分析中计算智能研究存在的问题和进一步的研究方向,阐述了数据源共享问题,并建议利用以天文学为代表的数据密集型基础科研领域的数据开展大数据分析研究.     

大数据背景下海洋数据管理的挑战与对策

空天地底海洋立体观测技术的飞速发展催生了呈指数级增长的多精度、多频度、大覆盖、多模态的海洋数据。然而,目前的研究主要集中于通用大数据,针对海洋数据的专门研究仍处于起步阶段。海洋数据的时空性、多源多类性、海量性、敏感性等特性为其管理带来了新的挑战。阐述了海洋数据的特点和海洋数据管理的基本架构,探讨了海洋数据在数据存储、数据质量、数据安全等环节面临的挑战,分析了相应的对策,为海洋科学与工程技术的研究提供了重要的参考与依据。     

云计算环境下面向数据密集型应用的数据布局策略与方法

云计算环境下面向流程的数据密集型应用已被广泛应用于多个领域.面对多数据中心的云计算环境,这类应用在数据布局方面遇到了新的挑战,主要表现在如何减少跨数据中心的数据传输、如何保持数据间的依赖性以及如何在提高效率的同时兼顾全局的负载均衡等.针对这些挑战,文中提出一种三阶段数据布局策略,分别针对跨数据中心数据传输、数据依赖关系和全局负载均衡三个目标对数据布局方案进行求解和优化.实验显示,文中提出的数据布局策略具有良好的综合性能,特别是在降低流程执行过程中由跨数据中心数据传输所导致的时间开销方面,效果尤为明显.     

《计算机工程与科学》大数据专刊征文通知

当前,大数据技术方兴未艾,为全面把握国内目前对大数据技术的研究现状,《计算机工程与科学》计划在2013年9～11月间推出一期大数据专刊。一、征稿范围专刊的内容包括大数据技术、科学、工程和应用等方面的问题(但不限于此):     

Assessing Ideational and Evaluative Skills and Creative Styles and Attitudes

This article describes the rationale for the multiphase creative problem solving process, and reports the findings from an empirical investigation conducted to facilitate the problem solving of managers. The ideational skills of the managers were assessed before and after training in a complete process of creative problem solving, along with their ideational attitudes, creative problem solving style (i.e., generator, conceptualizer, optimizer, or implementor), and evaluative skill (i.e., ability to recognize original ideas). The most important findings indicated that the training had a significant impact on the evaluative accuracy of the managers. They were significantly more accurate in their judgments about original ideas after training, both in their identification of original ideas and their recognition of unoriginal ideas. After training, the managers also gave more solutions and more original solutions to problems. Finally, several variables (e.g., the “preference for active divergence” attitude, and the conceptualizer process style) seemed to moderate the impact of training. Training was therefore effective, with specific effects that can be predicted from pre-training individual differences in attitudes and process style.     

高等院校行政分析与决策系统的设计与实现

为提高高等院校的管理水平和决策水平,充分利用校园网资 源,开发了高等院校行政财政分析与决策系统。解决了诸如数据的动态查询、自动生成报表 、网络环境下数据共享等技术问题,具有网上数据共享、图形界面友好和安全的保密措施等 特点。     

Semantics and verification of monitors and systems of monitors and processes

In this paper we present a sound and complete semantics for the monitor concept of C.A.R. Hoare. First a method for specification of monitors, introduced by O.-J. Dahl, is reviewed. This method is based on the relation between the historic sequence of monitor procedure calls and the historic sequence of monitor procedure exits. Based on such specifications and our new monitor semantics we present a method by which it is possible to prove that a concrete monitor is an implementation of an abstract one. In the last part of the paper an axiomatic semantics for systems of concurrent processes and monitors is introduced. The method supports verification by separation of concerns: Properties of the communication to and from each process are proven in isolation by a usual Hoare style axiomatic semantics, while abstract monitors are also specified in isolation by the method reviewed in the first part of the paper. These properties of the components of the system are then used in a new proof rule to conclude properties of the complete system. Stein Gjessing received a Ph.D. (actually a Dr. philos.) from the University of Oslo (Norway) in 1985. Presently he is an Associate Professor at the Institute of informatics, University of Oslo, Norway. Dr. Gjessings research interests are in the area of concurrent and distributed programming, operating systems, formal specification and verification and programming languages.     

Stochastic balancing and approximation-stability and minimality

A new method of stochastic model reduction has recently been introduced by Desai et al. [1], [2]. The stability of the reduced order model has not previously, been considered. In this paper, we show that the stability of the reduced order model follows directly from the results of Pernebo and Silverman [3]. It is also shown that the reduced order model is minimal, in the controllability/observability sense. The relevance of this notion of minimality to stochastic minimality is made clear.     

Integrating and automating analysis and optimization

The development of an interface coupling program on personal computers for an analysis software system such as ANSYS, SAP, etc. and an optimization software system, MOST, is presented. By controlling and directing the communications the interface coupler integrates the two programs while retaining their versatility and interactive features. The integrated system is used to solve a numerical example of active noise control for a three-dimensional enclosure, in which an energy density level of control points is minimized by adding the sound source to cancel the unwanted noise. The interface coupling program automates with relatively low cost the iterative process for designing an engineering system, remaining flexible in acoustical modelling and efficient in equation solving. Also, the coupling interface is developed in a general-purpose way so that it can be expanded easily to integrate more analysis software packages of different kinds.