一种支持EB级存储的可扩展存储空间管理方法

随着海量数据应用的增多,机群文件系统需要具备对PB甚至EB级存储空间进行管理的能力.受数据位置信息维护方法的限制,在面对需要管理的百亿甚至万亿个对象时,对象存储服务器在数据定位、负载均衡和复本维护方面均存在可扩展处理的问题.为了满足日益增长的存储需求,提出了一种可扩展的存储空间管理方法.首先,该方法将存储空间中的对象位置信息通过Extendible Hashing以两级索引结构的方式进行组织,以此来支持对海量对象位置信息的扩展性管理;其次,该方法依靠对象位置信息在多服务器的分布结果来放置对象,文件系统能通过对索引结构的调整以较低开销实现负载均衡;最后,该方法以数据位置信息组织的索引结构为粒度进行复本维护以降低复本位置信息的维护开销.实验评测表明,存储空间管理方法能够支持海量数据的高效管理.在负载均衡方法的作用下,多存储服务器的I/O聚合带宽因负载均衡而能够取得10%的提升.相比Lustre和DCFS3,该系统在多客户端并发访问环境下具有更好的扩展性能.     

基于两阶分区的MapReduce实验室系统负载均衡研究

在实验室系统处理海量原始数据时,实际应用场景中存在采样率高、偏度（skewness）高的特殊情况,导致在使用两阶分区算法在平衡同构环境下的Reducer节点负载时,无法有效地处理这些问题。为此,引入MapReduce的并行化处理,可以提高实验室系统中采样数据利用率;同时,为了解决数据偏度和采样度高的问题,则采用了ICSC（Improved Cluster Split Combination）分区调度的算法。经过实验证明,基于两阶分区的MapReduce负载均衡算法能够有效减少Mapper和Reducer节点空转的时间。随着数据偏度的增加,算法的执行时长基本不产生变化,即数据偏度对该算法执行时间的影响较小。此外,数据采样度的增加,ICSC分区调度算法也保持着对比模型中最少的时间开销。因此,基于两阶分区的MapReduce负载均衡算法弱化了Reducer节点间的依赖性,并提升MapReduce任务的执行效率和容错率,从而高效地实现MapReduce框架下的实验室系统中数据处理的负载均衡。     

基于轮转周期的动态反馈负载均衡算法

网络管理系统中管理端逐步采用分布式集群构架,通过负载均衡算法调度客户端请求,并将客户端请求分配给多个事务节点进行并行处理。为进一步提高集群系统服务的性能,文中在研究以往负载均衡算法的基础上,提出了一种基于轮转周期的动态反馈负载均衡算法。该算法设计了一种基于剩余资源动态权值的节点剩余负载能力计算方法的动态反馈机制;并在动态反馈负载均衡算法的一个采样周期内引入轮转周期对客户端请求均衡分配。通过实验比较分析,该算法能获得更好的负载均衡效果。     

基于Storm的车联网数据实时分析系统

针对传统车联网平台在处理海量数据时存在吞吐量小, 实时性差的问题, 设计了一种基于大数据流处理技术的实时分析系统. 系统分为数据采集、 数据转发、实时分析、数据存储和可视化展示5层. 为了满足系统高并发接入以及实时性的需求, 引入Storm实时计算系统进行数据的实时分析. 同时, 利用Kafka消息队列的异步通信机制将各层之间解耦, 采用Hbase进行海量数据存储, 从而提高车联网非机构化数据存储效率. 另外, 针对访问数据库开销大的问题, 采用Redis缓存策略, 进一步提高查询效率. 实验证明, 较传统的多线程处理平台, 该系统具有低延迟, 高吞吐, 可拓展等特点, 能够满足车联网大数据流处理要求.     

接收与处理分离的实时大数据处理模型

在大数据处理过程中,系统必须有非常高的数据处理效率。为了满足对大数据实时、高效、稳定处理的需求,提出了一种接收与处理分离的数据处理模型。该数据处理模型由数据接收单元、内存数据库、原始数据分发单元、数据处理单元、处理数据分发单元、数据归并单元组成。接收单元负责接收、整合结构化数据与非结构化数据,把每条完整的数据放入内存数据库中;分发单元从内存数据库中检测获取数据,按照海量数据负载均衡算法把数据分发到数据处理单元;数据处理单元处理数据,处理结果放入内存数据库;处理数据分发单元继续从内存数据库中获取处理后的数据,并按照海量数据负载均衡算法把数据分发给数据归并单元。实验证明,使用该模型方法,系统保持了非常高效的处理效率。     

基于DHT的P2P系统的负载均衡算法

在基于DHT的结构化P2P系统中，DHT的使用以及节点处理能力的不同导致系统中节点的负载不均衡．现有的负载均衡算法存在两个不足：①负载的转移没有考虑节点之间的链路延迟；②算法依赖于系统中固定位置的某些节点．提出了分布式负载均衡算法：每个节点周期性的收集系统局部负载信息，然后选择链路延迟较小的节点进行负载转移．算法依赖于系统中的所有节点，解决了单点失败问题．同时，负载的转移是在链路延迟较小的节点之间进行的．仿真实验表明，①对于各种系统利用率，该算法都可以获得理想的负载均衡效果；②算法可以使负载转移开销减少45％以上．     

分布式信息网数据库管理系统的动态数据划分研究

在分布式信息网数据库管理系统中,数据是否被合理划分会影响系统的负载均衡以及节点之间的通信开销。为此,提出一种基于查询的动态数据划分算法。根据历史查询信息挖掘数据之间潜在的关联性,将关联性较大的数据动态调整到同一个处理节点上,使查询在较少的节点上处理完成,减少不必要的通信开销。实验结果表明,在保证系统负载均衡的情况下,该算法可减小通信开销,加快查询速度,优化分布式环境的整体性能。     

基于Nginx的DRC集群动态负载均衡策略

面向数据的体系架构(DOA)为海量异构数据流通共享提供了新的有效解决方案。而数据注册中心(DRC)作为DOA的核心部件,它的访问性能尤为关键。针对高并发访问带来的DRC集群服务过载问题,采用Nginx反向代理负载均衡技术处理高并发访问。对Nginx的负载策略进行分析优化,提出一种由动态配置、负载收集、算法调度组成的动态负载均衡策略,并在负载调度模块对Nginx加权最小连接调度算法(WLC)进行改进,通过自适应权值不断调度下一个周期内性能最优的节点来处理请求。通过高并发性能测试验证了所提出的负载均衡策略在DRC集群中能更有效处理大流量的访问需求,提高集群的资源利用率和缩短请求响应时间。     

一种高效的分布式反馈流量负载均衡算法

为解决多节点路由器等系统的分布式流量负载均衡问题,提出一种基于反馈的自适应算法。该算法通过会话划分进行负载任务分组,根据各节点的反馈进行接入分配和负载参数调整,实现负载均衡,给出快速端口检测和初始负载均衡等实现该算法的关键技术。性能分析与实验表明,该算法具有较高的负载均衡度和较低的系统开销。     

在线云存储服务的流量管理研究

云存储是云计算应用的一个重要分支,有效利用数据中心的带宽资源,设计高效、均衡、可扩展性良好的带宽资源管理和流量负载均衡算法十分重要。在云存储服务典型应用Dropbox的架构下,可设计最小带宽优先的贪心算法和二次随机选择算法来实现负载均衡,并将其和流量预测、带宽预留技术结合在一起,实现一套流量负载均衡和带宽预留方案。贪心算法的负载均衡技术能够取得良好的性能,但是复杂度高、系统开销较大、可扩展性较差;二次随机选择算法复杂度低并且显著减少了系统通信开销。通过Dropbox真实流量数据和大规模仿真数据的实验,表明二次随机选择算法能够实现接近于贪心算法性能的均衡流量调度。基于预测的带宽预留技术保证了服务质量,提高了网络资源利用率。     

单机网格应用系统开发实验方法

针对网格应用系统开发实验过程中的困难，提出了一种通过在单机环境中利用虚拟机技术构建网格原型实验系统，对网格应用软件进行实验的方法，已申请国家发明专利(申请号：200510018916.0)。与各种同类实验方法相比，该方法操作简单、成本低廉，所得到的实验结果真实可信，所构建的单机网格原型实验系统具有高度的灵活性和可靠性，易于维护和管理，并能迅速地迁移到真实应用环境中。     

Optimal input design for worst-case system identification in l1/l2/l∞

In this paper, we examine optimal sequences that generate worst-case parameters estimation errors in the l₁, l₂ and l_∞ norm context for algorithms identifying linear, time-invariant discrete-time, finite impulse response systems excited by bounded sequences and with l_∞ norm measurement error.     

C/S与B/S混合软件体系的构建

C/S与B/S结构是计算机网络上各种应用程序广泛采用的两种结构。深入地分析了C/S结构及B/S结构的优缺点,并对两者进行比较,将二者的优势结合起来,得出了一种有效的混合体系结构。     

基于ERP/BPM 集成的制造业质量管理系统

针对传统ERP系统在制造业质量管理中的不足,提出了基于ERP/BPM集成的质量管理系统解决方案。在对ERP质量管理模块及BPM流程管理研究的基础上,构建了ERP与BPM集成的质量管理信息系统模型。结合企业的实施项目,详细阐述了ERP和BPM集成的方法和步骤,验证了ERP/BPM集成质量管理系统的可行性及优越性。     

基于结构分解的GPS/INS组合导航粒子滤波技术

针对粒子滤波应用于GPS/INS组合导航系统时难以保证滤波实时性的问题,提出一种基于线性/非线性结构分解的改进粒子滤波算法.改进算法对状态方程进行线性/非线性结构分解,分别采用重点采样和线性卡尔曼方式进行一步预测递推,充分发挥粒子滤波和卡尔曼滤波的特点,有效降低了粒子滤波的计算量,在保证GPS/INS组合导航系统滤波精度的条件下提高了组合滤波的实时性.     

新型并行I/O服务模型：IDDIO

并行Ｉ／Ｏ服务模型是将并行Ｉ／Ｏ子系统提供的在物理Ｉ／Ｏ带宽高效地转化为用户实际Ｉ／Ｏ带宽的关键。文中针对ＤＤＩＯ服务模型对小尺寸Ｉ／Ｏ访问的服务性能改善较小和通信开销过大的局限性,提出了新的ＩＤＤＩＯ服务模型,ＩＤＤＩＯ模型针对并行科学计算应用中同有求和独立请求的特点采用了统一的集成式界面,同时对大尺寸、小尺寸Ｉ／Ｏ访问提供了较好的优化,并采用打包、流水等技术降低了通信开销,在一定程度上消除ＤＤ     

基于Pro/E的虚拟拆装系统

为实现快速、有效、低成本的部队维修训练,通过分析虚拟拆装系统的需求,构建基于Pro/E的虚拟拆装系统,其中包括I/O设备、虚拟拆装环境管理、数据库和性能测试模块,给出与I/O设备交互、虚拟拆装环境管理等系统实现的关键技术,通过Pro/E二次开发验证该系统的可行性和有效性。     

PECVD-SiOxNy films for large area self-sustained grids applications

In this work we study the structural properties and mechanical stress of silicon oxynitride (SiO_xN_y) films obtained by plasma enhanced chemical vapor deposition (PECVD) technique at low temperatures (320 °C) and report the feasibility of using this material for the fabrication of large area self-sustained grids. The films were obtained at different deposition conditions, varying the gas flow ratio between the precursor gases (N₂O and SiH₄) and maintaining all the other deposition parameters constant. The films were characterized by ellipsometry, by Fourier transform infrared (FT-IR) spectroscopy and by optically levered laser technique to measure the total mechanical stress. The results demonstrate that for appropriated deposition conditions, it is possible to obtain SiO_xN_y with very low mechanical stress, a necessary condition for the fabrication of mechanically stable thick films (up to 10 μm). Since this material (SiO_xN_y) is very resistant to KOH wet chemical etching it can be utilized to fabricate, by silicon substrate bulk micromachining, very large self-sustained grids and membranes, with areas up to 1 cm² and with thickness in the 2–6 μm range. These results allied with the compatibility of the PECVD SiO_xN_y films deposition with the standard silicon based microelectronic processing technology makes this material promising for micro electro mechanical system (MEMS) fabrication.     

氢氮比(H_2/N_2)控制中的专家系统

本文在论述以煤、水蒸气和新鲜空气为原料的固定床间歇式制气H2／N2系统特点的基础上，设计了一套完整的H2／N2控制系统，并对该系统的结构及其中的专家系统作了较详细的介绍。实际运行结果表明，控制效果良好。     

信息系统中的客户机/服务器计算策略

文章介绍了Ｃｌｉｅｎｔ／Ｓｅｒｖｅｒ计算的概念及其在信息系统中的应用，并针对现有Ｃ／Ｓ结构的不足，结合一个银行系统的实践，从应用风格，计算模型等方面探讨了新一代Ｃ／Ｓ计算的基本思想与策略。