应用OCR技术的大数据量文档处理系统模型

OCR技术在文档数据的大数据量文档处理 (如人口普查 ,考卷处理 )领域中的应用越来越广。处理过程必须满足对大数据量的质量和速度要求。针对不同环境和性价比要求的系统模型方案给予了讨论。为发挥模型的最大功能对数据流中的流水线控制进行了介绍。     

并行编程模型的现状与未来发展方向

本文根据国际上对未来的千万亿次超级并行计算机体系的结构的研究及当前并行编程模型的使用和发展现状,概括了带来对在千万亿次机上配备的并行编程模型的需求,并对并行编程模型未来的发展方向作和分析和预测。     

面向层次化NoC的混合并行编程模型

为更好发挥多核处理器的硬件性能,针对层次化的片上网络架构,提出MPI/OpenMP混合并行编程模型。运用基于MPI的任务级并行模型实现片内簇间的高效通信,采用OpenMP模型实现簇内四核的通信、同步和数据交换。实验结果表明,与单一并行编程模型相比,混合并行编程模型加速比提高了20%~50%。     

并行编程模型的研究与发展

并行编程模型在分布式计算中发挥着很重要的作用,随着人们对高性能计算需求的不断扩大和各种新技术的出现,并行编程模型也处于不断的发展和完善之中.对两种主要的编程模型进行了详细的分析和研究,针对前两种模型的优缺点分析并研究了两级并行模型的使用范围和优势等,最后针对硬件的新发展提出了新的编程模型的发展TBB+MPI.并在基于CMP的集群系统中实现丁矩阵相乘的算法.实验结果显示TBB+MPI在多核集群编程方面有明显的优势,因此模型TBB+MPI更适合于多核集群.     

面向装配的飞行器超大模型实时可视化技术

针对飞行器大数据量CAD模型实时绘制困难的问题,提出一种LOD自动批处理生成以及实时自适应绘制方法.以零部件为处理对象以保留装配树信息,结合模型分割完成超大模型简化,并根据计算机存储能力、实时绘制能力以及CAD模型特点,实现了定量的LOD自动批处理生成;以精确遮罩查询为基础,根据计算机实时绘制负载和CAD模型面片密度,动态地调整LOD精度等级,使得各个模型的精度基本一致,避免了传统算法的弊端,实现了LOD实时自适应绘制,并进行了优化.实验结果表明:采用文中技术处理千万级三角面片的模型约1h完成LOD生成,并可在普通计算机上实现实时的自适应绘制.     

基于曙光-2000上的两种并行消息传递模型

当前最流行的网络并行计算消息传递模型是PVM和MPI，通常使用者认为PVM和MPI仅是代表了解决相同问题的不同解答方案。而该文结合曙光－2000（分布式大规模并行计算机系统）所用的消息传递型编程模型，从PVM和MPI的设计目标，起源，规范、动态进程，非阻塞操作等几个方面来说明这两种程序设计方法有许多明显区别点，通常用来解决不同的问题。     

一种改进并行遗传算法解决TSP

针对旅行商问题（Travelling Salesman Problem,TSP）的遗传算法的大规模操作,需要大量运算时间而且容易造成局部最优解,提出一种并行混合遗传算法。该方法基于MPI并行环境,利用种群中选择、交叉、变异操作的并行化,将种群中个体平均的分配到处理器中进行操作,有效地避免局部最优解的出现和减少算法的运行时间。实验证明该方法相对于简单遗传算法具有更强全局寻优能力以及耗费更少的操作时间。     

基于多核集群系统的并行编程模型的研究

并行计算技术是计算机技术发展的重要方向之一。当前并行程序模型主要有消息传递模型和共享存储模型两种。随着处理器多核技术的发展,在一枚多核处理器中集成两个或多个完整的计算引擎（内核）,并充分利用多核计算机的特性,发挥多核计算机的性能成为一个很重要的研究方向。介绍一种新的MPI实现机制,这种机制集成了共享存储模型和消息通信模型的优点,在节点内使用共享存储模型,在节点间使用消息传递模型,并且通过自动生成线程级的任务来获得更好的性能。．     

基于BEOWULF的PC集群系统设计及并行编程的研究

介绍了机群的概念,重点介绍了Beowulf集群.在此基础上,构建了Beowulf PC集群,并详细介绍其软硬件的配置.最后,通过对MPI的介绍,结合实例,对系统进行了性能评测.此系统已运用于实际工作中,取得了良好的效果.     

基于Linux的SMP机群环境中并行I/O模型研究

提出了一个基于数据通路的波浪推进式并行I/O模型框架,并在基于Linux的SMP机群系统中,根据波浪推进式并行I/O模型框架对各个数据通路进行建模,具体分析了这个波浪推进式并行I/O模型,从思路上解决了刻画并行I/O性能的并行I/O模型问题。     

基于超高速线程并行处理技术的民机试飞数据预处理系统设计

试飞数据作为民机试飞过程中最重要的产物,是表明符合性、验证设计合理性的依据。传统模式下,需要在航后卸载机载记录器中的原始数据,通过4-5小时的预处理才能完成试飞数据的工程量转换,耗时耗力,严重影响试飞效率;立足于实际试飞场景,提出了在机载环境下实时进行试飞数据预处理的理念,采用超高速线程并行处理技术,集成了IoTDB时序数据库,设计研制了机载数据在线完全预处理系统;经实验测试,系统实现了国产某大型客机200 Mbps试飞数据流的实时接收、预处理和数据库存储,将以往的预处理周期压缩至20分钟,支持了高强度、大密度试飞要求。     

大规模并行计算机作业调度评价

大规模并行计算机的作业调度直接关系到其计算能力的发挥,因而相应的研究具有十分重要的意义。论文通过对国外现有作业调度评价体系的研究,建立了更能反映并行作业特点的作业调度策略评价体系,在此基础上设计并实现了一个作业模拟调度环境。模拟调度环境采用事件驱动的工作模式,支持FCFS、大作业优先、小作业优先、长作业优先、短作业优先、GANG等调度策略。模拟测试结果表明,GANG调度策略优于所有测试的空间共享调度策略;同时在空间共享调度策略中,短作业优先策略和大作业优先策略具有较好的性能。     

并行计算模型

1.引言为提高系统性能,并行机系统设计者在体系结构上采用了多种新技术,然而目前并行软件(包括系统软件和应用软件)的研究和开发远远落后于体系结构的进步,即体系结构上的进步并未充分反映到并行软件的设计中。相比之下,串行计算和串行软件的研究是成功的,原因之一在于有一个简单而又代表了串行计算主要性能特征的计算模型(Random Ac-cess Machines,RAM)。而并行计算缺少这样一个简单、被广泛接受并在并行计算中起同等重要作用的模型。“确定少量的并行计算模型以作为程序设计语言的自然基础,并有助于高性能硬件的实现”,这一课题仍是国际公认的并行处理中具挑战性课题之一。     

海量高维向量的并行Top-k连接查询

在很多应用领域中,向量的Top-k连接查询是一种很重要的操作,给定两个向量集合R和S,Top-k连接查询要求从R和S中返回距离最小的前k个向量对.由于数据的海量性和高维特性,传统的集中式算法已经无法在可接受的时间内完成连接查询任务.MapReduce作为一个并行处理框架,能够有效地处理大规模数据.由于其高可扩展性、高可用性等特点,MapReduce已经成为海量数据处理的首选实现方案,在很多领域都得到了广泛的应用.文中基于分段累积近似法对高维向量进行降维,然后利用符号累积近似法对高维向量进行分组;在此基础上,结合MapReduce框架,提出了基于SAX的并行Top-k连接查询算法.实验表明,文中所提方案具有良好的性能和扩展性.     

飞机结构静力试验CAD系统

飞机结构静力试验设计系统(Aircraft Structure Static Test Design System-ASSTDS)是用于全尺寸飞机结构静力试验设计的、图形交互式的计算机辅助设计(CAD)软件系统.本文介绍了基于面向对象技术完成的软件系统需求分析、功能分解和对象抽象,软件开发过程中建立的系统对象体系以及主要对象和它们之间的相互关系.飞机结构静力试验设计系统采用VC++编程语言在Windows操作系统上开发完成的.     

大规模问题数据并行性能的分析

从应用的角度建立了评价大规模问题数据并行处理性能的模型,分析了区域的不同划分对解整个问题算法的收敛速度有影响时的并行性能,进而就操作重叠、数据规模以及算法选取等几个方面的问题对大规模数据并行性能所产生的影响进行了分析.最后,给出的例子证明了模型的有效性.     

基于Spark的大规模文本k-means并行聚类算法

互联网文本数据量的激增使得对其作聚类运算的处理时间显著加长,虽有研究者利用Hadoop架构进行了k-means并行化研究,但由于很难有效满足k-means需要频繁迭代的特点,因此执行效率仍然不能让人满意。该文研究提出了基于新一代并行计算系统Spark的k-means文本聚类并行化算法,利用RDD编程模型充分满足了k-means频繁迭代运算的需求。实验结果表明,针对同一聚类文本大数据集和同样的计算环境,基于Spark的k-means文本聚类并行算法在加速比、扩展性等主要性能指标上明显优于基于Hadoop的实现,因此能更好地满足大规模文本数据挖掘算法的需求。     

基于Hadoop平台的海量文本分类的并行化

文本分类是信息检索与数据挖掘的研究热点与核心技术,近年来得到了广泛的关注和快速的发展。近来年 随着文本数据呈指数增长,要有效地管理这些数据,就必须在分布式环境下用有效的算法来处理这些数据。在Ha- doop分布式平台下实现了一简单有效的文本分类算法—TFIDF分类算法,即一种基于向量空间模型的分类算法, 它用余弦相似度得到分类结果。在两个数据集上做了实验,结果表明,这一并行化算法在大数据集上很有效并可以在 实际领域中得到良好的应用。