Spark框架并行度推断算法

分布式计算集群Spark宽依赖并行度取决于用户设定参数,对于不同的作业类型或数据集,硬编码的并行度参数设定难以发挥集群的最大计算能效。针对这一问题,首先对Spark作业执行方式进行深入分析,建立作业调度模型,提出宽依赖计算代价、资源空置率和溢写概率的定义;然后分析任务并行度对作业执行时间的影响,证明并行度取值具有合理区间,提出并行度推断算法的优化目标。最后根据模型定义进行目标求解,设计批处理内存计算框架的并行度推断算法（parallelism deduction algorithm,PDA）,通过构建的数据总量、执行区预留比、操作闭包集合、资源表等多个基础数据,计算符合资源需求表且具有最大资源利用率和最小开销的任务并行度;PDA算法在作业的各个Stage中迭代执行,根据计算环境优化调度方案提高性能。实验表明,PDA算法提高了Spark框架的作业执行效率,针对不同类型作业均具有良好的普适性。     

基于灰盒模型的Hadoop MapReduce job参数性能分析与预测

针对传统使用统计机器学习对Hadoop MapReduce job参数性能预测时完全基于黑盒模型,预测精度不高且不具有扩展性等问题,提出一种结合黑盒和白盒的灰盒预测方法。定性分析了MapReduce job配置参数对job性能的影响;基于局部加权线性回归分别对job的map task和reduce task性能进行预测;实现Hadoop调度器模拟器,并利用调度器模拟器对预测的job map task和reduce task进行调度,计算job执行时间,达到预测job性能目的。实验通过对比传统基于黑盒方法的预测效果,表明灰盒模型有更好地预测精度,并且可以完成集群规模变化后的job性能预测。     

基于垃圾回收的MapReduce作业内存调优

针对合理管理MapReduce作业内存资源困难的问题,提出评估方法并给出优化配置建议。首先分析Java虚拟机的内存分配与垃圾回收的原理,给出垃圾回收重要指标;其次提出内存分配合理性评估的3种指标和评估方法;最后根据评估结果给出2种优化配置建议：一是通过使用聚类算法和统计信息来估计对象晋升的阈值,优化Java虚拟机的对象分配和垃圾回收性能;二是使用回归模型和搜索算法来预测作业合理的内存配置。实验结果表明,本文提出的方法能自动发现作业内存配置的不足并给出优化的配置建议。与采用机器学习方法相比,本文提出的方法不需要运行大量的测试,因此本文提出的方法能很好适用于MapReduce的生产集群环境。     

基于蚁群算法的虚拟企业生产任务调度优化研究

描述了虚拟企业生产任务调度的层次框架,该调度框架包括虚拟企业全局调度和合作伙伴局部调度两个层次。针对虚拟企业调度层的优化问题,综合考虑虚拟企业生产任务的时序逻辑关系、作业时间和生产任务集等影响因素,建立了以任务总作业时间最小化为目标的数学模型,并基于蚁群算法对上述优化模型进行了求解。应用实例与算法比较验证了优化模型与求解算法的有效性。     

网络流规划在水电站水库系统长期优化运行中应用

本文建立了大型水库系统长期优化运行的非线性规划模型。根据问题特点,通过线性化,将这个非线性规划模型转化成网络流模型,应用网络流规划算法求解。实例研究结果表明:本文建立的模型能处理较复杂的约束条件,提出的逐次线性化与原单纯形图算法联合求解方法计算速度快,占用内存少,从而使模型及算法的推广具有实际意义。     

一种降低OFDM误码率及立方度量值的凸优化算法

相比于功率峰均比（PAPR）,立方度量能够更加准确地预测功放的功率回退量,因此被认为是更有效的衡量正交频分复用（OFDM）信号包络变化的度量。为了提高功放效率,常用优化方法是直接最小化信号的立方度量值。然而,这样会引入严重的带内失真,造成系统误码率性能的恶化。该文提出了一种在立方度量值约束下最小化系统带内失真的凸优化模型,并设计了内点法定制方案求解此优化问题。仿真结果显示该算法相比现有优化算法能够显著提高系统误码率及立方度量性能。     

系统效率最优的功率分流式混合动力汽车非线性预测控制

针对一种基于双行星排构型的功率分流式混合动力汽车,建立系统动态模型,准确描述其转速转矩耦合关系,通过建立各部件的效率模型,分析不同模式下系统的工作效率. 设计控制器结构框架,以系统工作效率和电池充放电平衡为目标,构建基于模型预测控制的优化问题,采用一步马尔科夫链模型预测驾驶员需求转矩及车速,将有限时域内的优化问题转化为非线性规划问题,基于序列二次规划算法实现优化求解. 仿真研究表明,基于系统效率最优的预测控制器能够维持电池的充放电平衡,在美国城市驾驶循环（UDDS）下,当电池初始电池荷电状态（SOC）分别为0.50、0.55和0.60时,相较于以发动机燃油消耗最优为目标,车辆等效燃油经济性分别提高了7.17%、5.73%和10.11%,验证了控制器的有效性和优越性.     

一种基于空间燃料站的GEO航天器在轨加注任务调度算法

本文针对多GEO航天器在轨燃料加注任务,对基于燃料站的在轨加注模式进行了研究,提出了一种基于燃料站的可往返式在轨加注任务调度及优化算法。通过对双脉冲轨道转移问题的求解与分析,获得了轨道转移速度增量和转移时间之间的关系,在此基础上提炼出了基于燃料站的多GEO航天器在轨加注任务调度模型,并根据调度模型的变量和约束关系,建立了考虑在轨加注作业顺序和作业时间分配优化的多GEO航天器在轨加注任务多目标优化模型,并采用遗传算法对加注任务调度及其多目标优化问题的求解方法进行了研究。为了验证算法的有效性,以为20颗GEO圆轨道目标航天器的在轨加注任务为例,进行了数值仿真计算,结果表明算法是有效的。     

基于狮群算法的数字孪生车间调度问题优化

针对柔性作业车间调度问题,提出一种基于狮群算法的数字孪生柔性作业车间调度方法。基于实际生产过程的需求,使用狮群算法生成柔性作业车间调度初始方案,建立物理车间与虚拟车间实时交互的数字孪生柔性作业车间调度模型,在搭建的虚拟车间中对初始调度方案根据设备利用率进行方案优化。采用数字孪生模型解决设备故障等车间突发事件对生产进程的影响问题。通过使用真实车间数据对机加工车间生产调度过程试验,结果表明,采用狮群算法求解柔性作业车间调度问题,搜寻能力强,搜索速度快,可以在不同规模的问题中找到更优的解决方案;狮群算法结合数字孪生的柔性作业车间调度方案能够整体优化系统性能,有效处理扰动带来的延长生产时间问题。     

光滑点插值法应用于流固耦合的比较研究

针对传统有限元法（FEM）固体模型刚度过硬导致低阶单元求解精度较低的问题,采用光滑点插值方法（S-PIM）. S-PIM得益于梯度光滑技术能软化固体模型刚度,基于容易剖分的线性背景网格能改善固体求解精度. 采用不同的光滑域构建方式可以得到不同的固体求解器,从而在不同程度上提高计算精度. 本研究以浸没光滑点插值法（IS-PIM）为基础,在流固耦合（FSI）模型中采用较成熟的半隐式特征分离法（CBS）作为流体求解器,分别采用有限元法、边基光滑点插值方法（ES-PIM）以及点基局部光滑点插值方法（NPS-PIM）作为固体求解器,比较不同固体求解器条件下的计算精度和效率. 结果表明,与边基光滑点插值方法和有限元法相比,在流固耦合模型中采用点基局部光滑点插值法可以得到更准确的固体模型刚度,也更有利于计算精度和计算效率的提高.     

Java垃圾收集机制研究

Java语言使用最广泛地依赖于垃圾收集的编程语言,垃圾收集的实现是保证Java虚拟机(JVM)卓越性能的关键.分析了JVM所使用的垃圾收集策略、不同垃圾收集策略对性能的影响,阐述如何才能帮助垃圾收集器取得更好的性能.     

国产基础软硬件集成应用攻关关键技术研究

在国家"核高基"专项支持下,国产基础软硬件(HW&SW)(包括CPU、操作系统、数据库、中间件、办公套件)的研制取得了重要进展。但在国产安全可靠基础软硬件的推广应用中,国产基础软硬件暴露出了严重的集成适配与性能问题。重点阐述面向飞腾平台集成应用技术攻关中所采用的3项并行优化技术:JPEG解码并行优化、H.264解码并行优化和Java虚拟机的垃圾回收并行优化。通过采取这些优化技术,使得飞腾平台图像解码、H.264视频解码以及Java虚拟机的性能得到了大幅提升。     

空气质量实时监测系统的内存泄漏

空气质量实时监测系统要求每5 min从数据库中取出监测数据,并将数据动态显示在Google地图标记的信息窗口中.直接使用封装谷歌地图的控件及在脚本中定义局部谷歌地图实例对象,都会发生内存泄漏,原因是脚本语言没有提供回收对象实例的方法,所有局部对象实例的回收都由系统内置的垃圾回收机制自动完成.而垃圾回收机制何时运行,完全由操作系统决定,程序无法控制.提出将地图对象及相关的标记、信息窗体对象全局化定义,使得相关对象只定义及实例化一次,避免实例对象的重复定义,解决了系统内存的泄漏问题.     

一种基于半空间的不完全拷贝垃圾回收机制

为了满足半空间拷贝垃圾回收的实时性需求,克服在半空间拷贝回收过程中因大量的内存拷贝操作带来的时间开销方面的不足,提出了一种将对象分类并进行不完全拷贝的回收机制．针对大对象的生命周期较长及空间分布的连续性特点,在半空间拷贝回收的遍历阶段,对活动的大对象采取只标记不拷贝的策略,被标记的对象仍留在起始空间,通过增加一个整理阶...     

Quantitative analysis of Boehm'''' s GC

The term garbage collection describes the automated process of finding previously allocated memory that is no longer in use in order to make the memory available to satisfy subsequent allocation requests. We have reviewed existing papers and implementations of GC, and especially analyzed Boehm' s C codes, which is a real-time mark-sweep GC running under Linux and ANSI C standard. In this paper, we will quantitatively analyze the performance of different configurations of Boehm' s collector subjected to different workloads. Reported measurements demonstrate that a refined garbage collector is a viable alternative to traditional explicit memory management techniques, even for low-level languages. It is more a trade-off for certain system than an all-ornothing proposition.     

嵌入式GIS系统多缓存地图显示方法

嵌入式GIS系统有限硬件资源与地图数据的海量性和复杂处理过程相矛盾,采用缓存显示技术是有效提高嵌入式GIS地图显示速度的主要途径之一;围绕着嵌入式GIS平台上的实时地图显示、漫游和旋转性能,研究设计了一种多缓存地图显示方法,主要内容包括多缓存的体系结构、实现机理和虚屏缓存大小计算等。采用该方法,通过牺牲一定的内存资源换取显示速度的提高,其良好的显示性能已在某嵌入式GIS导航平台上得到验证。     

RISC嵌入式系统存储器管理的软件优化

针对目前嵌入式操作系统的使用中出现的存储器管理和使用效率严重影响嵌入式系统性能的问题,提出了四种对存储器管理进行软件优化的方法:预设存储器访问权限法;强制使用快速上下文切换FCSE法;锁定缓存法;严格遵循底层Linux管理法.仿真实验结果表明:本文提出的软件设计方法可有效优化ARM920T及嵌入式Linux的存储器管理...     

基于动态优先级的实时Java垃圾回收策略

针对通用平台下Java虚拟机垃圾回收器（GC）的不定期启动问题,提出了一个周期性提升GC优先级、提前调度GC的解决方案.该方案把优先级按任务的重要程度分两个等级：关键线程和非关键线程,通过计算垃圾回收的时机即计算出垃圾回收的周期上限T_GC,在任务运行最长不超过T_GC的时间内提升GC的优先级为非关键线程的最大值,从而使GC在不影响关键线程的情况下能提前回收内存中的垃圾,使虚拟机的内存处于非饱和状态.理论分析和实验结果表明,该方法可以提高通用环境下Java关键线程的实时性及执行的可预测性.     

混合粒子群优化算法和案例推理方法的多机器人学习

以未知环境下多机器人学习为研究平台,因案例推理方法可存储以前的问题和解信息,用该方法的长期记忆特性可帮助粒子群优化算法更好地解决新的问题。在特定的仿真环境里,粒子群优化算法可训练机器人的几个基本行为,经过学习使机器人具有更好的鲁棒性和自适应学习能力。根据机器人不同行为在复杂环境下的性能指标,CBR可从案例库中选择特定的行为,并将其参数传送到粒子群优化算法的初始解库,从而加速整体的学习过程。利用机器人仿真软件MissionLab,采用基于行为的多机器人编队任务,用来测试该算法的有效性。仿真和实验结果表明,案例推理方法和粒子群优化算法相结合,使机器人获得更优的控制参数,同时在未知环境下的多机器人编队具有更好的性能。