数据密集型计算的遥感图像预处理方法

针对大数据时代,数据密集型计算已经成为国内外的一个研究热点. 遥感数据具有多源化、海量化特点,是名副其实的大数据. 研究适用于遥感影像自动化、业务化处理的数据密集型计算方法,是目前遥感应用技术面临的挑战所面临的挑战,本文提出了一种基于数据密集型计算的遥感图像处理方法. 在文中,首先围绕遥感数据自动化、业务化预处理等问题,深入调查和分析了国内外研究现状,进而介绍了系统体系结构,通过工作流灵活组织多种算法模型协同工作,设计以“5并行1加速”的计算体系解决数据密集型的遥感图像预处理,并通过产品生产实例对其性能进行测试. 结果表明,该系统在保证处理精度的前提下,大大提高了遥感大数据预处理的效率.     

遥感图象处理的并行计算模式研究

在遥感图象快速并行处理系统中,传统算法的并行化模式是直接影响计算性能的关键.为此,在系统地讨论其并行化模型的基础上,先详细研究了消息传递、共享内存、并行文件系统3种主要模式,然后指出了在遥感图象处理领域中它们的优势和缺点,最后提出了多层次并行的概念,并建议采用分层次实施的并行策略来综合这些模式,以得到比较好的并行效果.     

基于Matlab的遗留系统并行化重构方法

随着CPU多核架构的普及,应用的复杂和数据集的膨胀,基于Matlab的遗留系统中的串行程序代码无法充分发挥系统潜在的性能优势,无力应对当前大型数据集的处理应用需求。Matlab的并行计算模型为数据密集型的处理任务提供了并行支持。本文首先从系统架构扩展和业务代码并行化入手,分析遗留系统并行化重构过程要点和方法,应用案例的并行化重构实验数据表明了系统重构处理大型数据集的性能提升。     

多源定量遥感产品并行处理系统设计及实现*

针对遥感数据非结构化、有格式、单景数据量大、记录总量小、大部分处理过程后数据量不显著减少的特点和大规模遥感数据处理的迫切需求,基于已有硬件资源,设计和实现了集中式集群计算的多源定量遥感产品生产系统。系统为解决遥感科学工作者设计开发的算法进行并行计算的问题以及大规模数据管理的需求,设计了基于任务并行的处理系统和面向应用的并行文件系统。系统集成了遥感科学工作者开发的30多种原始数据的预处理算法和50多种多源定量遥感产品生产算法,解决了多源定量遥感产品规模化流程化按需生产的难题,并进行了产品生产,证明了系统在管理和处理大规模遥感数据时的可靠性和有效性。     

遥感图像目标识别的并行处理方法

为提高遥感图像目标识别的速度，减少消耗的时间，提出了一种特殊的遥感图像目标识别的并行处理方法。基于这种方法，只需对串行识别算法做较少的改动即可实现遥感图像目标识别的并行化处理，无需设计专门的并行识别算法，以较低的代价解决了遥感图像目标识别耗时较多的问题。     

一种面向海量遥感数据分类应用的并行解决方案

目前,遥感数据量呈海量增长趋势。如何在大数据环境下进行快速影像分类及信息挖掘,提升处理的业务化水平,是一个重要的研究方向。鉴于此,实现了一种高效的解决方案。首先,基于"五层十五级"数据结构,对以景为单位的影像进行离散化处理,建立以切片为单元的数据组织体系。其次,借助大数据云存储技术实现切片的集群分布式存储。其次采用了基于像元和对象的高效监督分类算法,并依据计算处理需求对集群环境下的并行架构和驱动机制进行适应性设计。最终,实现了该解决方案并以高分2号多光谱切片进行实验。结果表明:该方案在保证精度的前提下提高了分类处理的效率。     

遥感图像K-Means并行算法研究

K-Means算法是对遥感图像在没有先验知识情况下进行无监督分类的重要算法之一,在遥感影像的分析中得到了广泛的应用.针对K-Means算法复杂,处理过程中计算时间长的缺点,人们试图寻求快速的并行处理方式.在这种并行化的探索过程中,由于K-Means算法独特的流程结构,使其并行化处理方式难以顺利进行.本文在分析K-Means算法特点的基础上,对其并行化方式进行了深入的研究.针对K-Means算法并行化在处理速度和分类精度方面存在的问题,提出了一种基于分块逼近的算法并行模型,可兼顾并行效率和分类精度之间的综合要求,实现某种精度可控的并行处理.最后,根据实验结果讨论并提出了迭代算法并行化的有效途径.     

交互式并行化系统ZIPS

目前全自动并行化方法在并行化能力和应用范围上存在较大限制,而交互式并行化方法能弥补全自动并行化系统的不足。基于此,提出一种交互式并行化方法及其系统ZIPS,描述系统的并行化处理机制,即采用一种计算类型驱动的并行化算法,并以其作为理论基础,针对2类不同计算,利用强大的交互功能获取相关程序信息,并结合自动并行化技术进行源到源的变换。实验表明,该交互式并行化方法能够获得较好的性能。     

数值天气预报后处理系统的作业级并行实现

对于具体问题采取何种并行方法,达到好的并行效果,是在并行化工作中需要考虑的.通过对数值天气预报模式T511后处理系统的特点分析,结合其运行的计算机环境特点,提出了一种"作业级的并行实现"方法,减少T511后处理系统所需的计算墙钟时间.该方法具有并行化工作量小、易于实现、并行效果好等特点.     

基于Message Passing的并行编程环境

在分布式并行计算机系统中，由于处理机间无共享内存，因此采用了ＭｅｓｓａｇｅＰａｓｓｉｎｇ方式实现处理间的通信。文中讨论了基于ＭｅｓｓａｇｅＰａｓｓｉｎｇ的并行编程环境所应具备的特点，然后介绍几种被人们普遍接受的并行编程环境。     

基于JSP分页技术的研究

电子商务应用中的数据量往往非常大,甚至会达到几十万到几千万条记录的规模,将如此大量的数据显示在一个页面里困难大、效率低。在这种情况下就需要采用分页显示技术将数据库中符合条件的数据逐页显示给用户。对JSP分页技术进行比较,在分析JSP分页技术特点的基础上,提出一种有效的分页解决方案,同时对分页技术的优化进行阐述。     

系统集成芯片综述

集成电路芯片工艺的发展已可使一个系统或一个子系统集成在一个芯片上 ,称为系统集成芯片。本文综述了系统集成芯片的硬件构造、超长指令 (VLIW )结构、芯片嵌入软件及软硬件协同设计方法。     

基于VRML的网上虚拟教室漫游研究

以一个虚拟教室为例进行3D虚拟漫游的初步设计．这种方式不同于目前网上的虚拟教室。介绍在WWW上采用VKML实现虚拟教室漫游系统的特点、VRML的工作模式和造型机制,采用了基于几何图形的建模方法,探讨场景中交互设计实现的方法,提出碰撞检测技术的应用．实现网上发布和优化。     

Hibernate技术在基于GIS数据库中的应用研究

空间信息的存储和处理问题是地理信息系统(GIS)的核心问题.对空间数据和属性数据的统一存储管理已成为必然趋势.本文通过对GIS中海量数据的存储方式进行研究,指出对象-关系型的数据库存储方式是空间数据库的发展方向.在此基础上讨论了Hibernate技术与GIS数据库的结合,使用Hibernate技术将关系数据库中空间数据和属性数据进行封装,屏蔽了数据库底层操作,使得程序员可以用面向对象的思想随意操纵数据库,在利用了关系数据库的快速检索、查询能力的同时也增强了数据的一致性和可移植性.     

基于移动agent的分布式视频点播系统的研究

该文通过对移动agent技术和传统的视频点播系统的研究,提出了一种基于移动agent的分布式视频点播系统的设计和构造,具体地阐述了系统的工作流程,并着重讨论了实现该系统所要考虑的关键问题。移动agent的引入有效地减少了网络传输负载,实现了高速响应点播请求、高质量的影音效果,从而更好地满足更多用户的需求。     

基于FPGA的立方星可重构星载处理系统研究

为了以最小代价提高立方星可重构星载计算机的可靠性,提出了一种基于FPGA的立方星可重构星载处理系统架构。首先,在对国内外微纳卫星星载计算机设计特点进行分析的基础上,分别采用基于SRAM架构和基于Flash架构的FPGA作为核心处理模块与外部表决接口模块,兼顾了系统的运算速度与可靠性。其次,针对可重构星载处理系统中所涉及的可重构策略、在线重构技术以及系统同步技术进行了详细设计。最终,基于所设计硬件系统上进行的测试以及在轨的实测数据验证了该架构的可靠性和有效性。     

基于服务总线（ESB）的应用集成（EAI）探索和研究

科研院所设计研究中各类异构软件应用系统并存,数据和信息在各个应用系统中同步和共享成为现代企业信息化的瓶颈。针对这种现状,文中采用Java技术,通过建立异构系统底层的消息通讯机制,构建连接异构系统的ESB,实现各个异构系统通过ESB进行通讯,最终达到EAI的目的。实际中,基于该ESB构建了船舶设计行业应用软件系统集成平台,在数据集成、应用集成和业务流程集成中取得了较好的效果,肯定了文中成果的可行性。文中重点叙述了所构建的ESB结构图、ESB内部通讯原理及实现中所使用的数据结构,并给出了以该ESB为核心纽带设计的相关EAI平台架构。     

基于SVG的WEBGIS的研究

为了更加适合网上地理信息系统的发布 ,介绍了 SVG作为发布 WEBGIS的一种方法 ,研究了如何用SVG进行地理空间数据的表示、存储和客户端的实现。研究表明 :SVG具有可扩展、可交互、基于 XML和开放标准等特点     

面向Web的文本挖掘技术研究

简要介绍了文本挖掘技术,并描绘了该技术在Web应用特别是信息检索技术中的重要性.再对整个文本知识挖掘过程所涉及的各个方面进行了进一步地研究探讨,包括了文本特征的建立、特征提取、特征匹配、特征集缩减和模型评价等几个方面.其间运用数据挖掘技术对各个过程进行处理,并引进基于评估函数的特征筛选算法、词频矩阵、余弦计算法和潜在语义标引等方法来处理文本挖掘过程所产生的问题.在此基础上得出了一个完整的Web文本挖掘过程.最后展望了文本挖掘技术在Web应用中的前景.     

基于链上数据的区块链欺诈账户检测研究

针对区块链上存在的欺诈账户给交易带来的安全问题,提出了基于机器学习的欺诈账户的检测及特征分析模型,将以太坊上真实的链上数据进行特征提取后作为模型的数据来源,通过对不同的机器学习方法进行比较得到最优模型并进行迭代训练以获得最佳的预测模型,同时引入 SHAP值对数据特征进行分析。实验结果表明,基于XGBoost的欺诈账户检测模型在RMSE、MAE和R2三组指标上达到了0.205、0.084和0.833,优于其余的对比模型,并结合SHAP值识别出预测欺诈账户的关键因素,为区块链的交易安全提供决策参考。