一种自适应文件系统元数据服务负载均衡策略

随着大数据时代的到来,全球信息存储量呈现爆发式的增长,传统的存储系统在存储性能、存储容量、数据可靠性和成本等方面存在诸多不足。近年来,以云计算平台为依托的存储技术得到了飞速的发展,成为了处理海量数据的重要工具。本文针对分布式文件系统元数据管理的问题,提出了一种自适应元数据服务负载均衡策略。该策略主要包括以下三点内容：第一,介绍了一种实时的元数据服务器的性能评价模型;第二,提出了一种基于服务器负载变化的检测周期自适应调整机制;第三,提出了一种基于元数据服务器性能指标的自适应负载均衡算法。实验证明了该方法的可行性,有效性和稳定性。     

一种新型分布式元数据管理策略

高效、可扩展的元数据管理系统是提高分布式存储系统整体性能的关键. 传统的元数据分配策略会导致元数据负载不均衡,以及在多进程资源抢占的情况下,会存在响应处理用户请求效率不高,存储文件数目受限等问题. 上述问题在高并发、低延迟的数据存储需求中尤为突出. 提出了一个基于一致性Hash与目录树的元数据管理策略,并实现了相应的分布式元数据管理系统：利用负载均衡算法,对元数据进行迁移,保证了粗粒度负载信息收集,细粒度调整的均衡策略. 多项实验的结果表明,该策略能实现元数据负载均衡,降低用户请求处理延迟,提高分布式系统的可扩展性和可用性.     

基于Zigbee的无线电能表数据采集系统设计

为了解决电网营运数据的远程采集,实现电能表运行状态的远程实时监控,设计了一种基于Zigbee的无线电能表数据采集系统。详细介绍了系统终端的无线解决方案,并在CC2530模块开发平台上完成了系统终端无线电能表的设计。该无线终端主要完成电量的数据采集、显示和无线传输功能。考虑到整个系统的网络组建效率和网络的可扩展性,数据采集系统的无线方案实现主要采用Zigbee技术进行网络搭建,完成无线电能表采集数据的传输和汇总,最终通过GPRS模块将数据上传到远程上位机。试验证明,该系统能够稳定地采集多路终端数据,并上传数据,满足了电能表数据远程采集和上传的需求。     

新能源监控系统海量终端接入技术研究

针对新能源监控系统中面临的海量终端接入难题,提出了解决该问题的网络负载均衡技术及通信连接管理方法两项关键技术。在网络负载均衡技术中,通过增加前置机调度模块,配置合适的前置机集群,优化网络负载均衡实现算法,在前置服务器上搭建EPOLL模型对交互数据进行处理,以解决海量终端接入带来的一系列高并发、潮涌式堵塞问题。在通信连接管理方法中,采用一种新的Socket管理方法。通过终端的多线程分类管理,Socket连接采用循环管理方式,及时检测和剔除无效Socket,以解决大量终端接入带来的通信连接管理和前置机模块资源消耗问题。试验结果表明,该方法实用性强,达到了预期效果,可有效解决新能源监控/集控系统中海量终端接入问题,同时对配电网监控等其他类似领域应用具有参考价值。     

分布式文件系统元数据服务的负载均衡框架

请求负载均衡,是分布式文件系统元数据管理需要面对的核心问题.以最大化元数据服务器集群吞吐量为目标,在已有元数据管理层之上设计实现了一种分布式缓存框架,专门管理热点元数据,均衡不断变化的负载.与已有的元数据负载均衡架构相比,这种两层的负载均衡架构灵活度更高,对负载的感知能力更强,并且避免了热点元数据重新分布、迁移引起的元数据命名空间结构被破坏的情况.经观察分析,元数据尺寸小、数量大,预取错误元数据带来的代价远远小于预取错误数据带来的代价.针对元数据的以上鲜明特点,提出一种元数据预取策略和基于预取机制的元数据缓存替换算法,加强了上述分布式缓存层的性能,这种两层的元数据负载均衡框架同时考虑了缓存一致性的问题.最后,在一个真实的分布式文件系统中验证了框架及方法的有效性.     

面向大数据分布式存储的动态负载均衡算法

随着大数据时代的到来,分布式存储技术应运而生。目前主流大数据技术Hadoop的HDFS分布式存储系统的元数据存储架构上一直存在可扩展性差和写延迟高等问题,其在官方2.0版本中针对可扩展性的解决方案(Fe-deration)仍不完美,仅解决了原有HDFS扩展性的问题,在元数据分配的问题上没有考虑NameNode的异构性能差异,也未解决NameNode集群动态负载均衡的问题。针对该情况,提出了一种动态负载均衡的分布NameNode算法,通过元数据多副本异构节点的动态适应性备份,使元数据在考虑节点性能及负载的情况下实现了动态分布,保证了元数据服务器集群的性能;同时结合缓存策略及自动恢复机制,提高了元数据的读写性及可用性。该算法在试验验证中达到了较为理想的效果。     

一种分布式元数据的动态管理系统

为得到有效的元数据分布,获得多元数据服务器的负载均衡,提出一种分布式元数据的动态管理系统。利用负载均衡算法选择合适热度的子树,通过子树迁移策略将选定的子树迁移到合适的元数据服务器上进行管理,采用子树复制策略降低元数据服务器负载。实验结果证明,该系统能实现元数据的均匀分布。     

集群服务器在混合请求下的负载均衡优化算法

针对Web集群服务器在处理分配混合页面访问任务时开环负载均衡算法导致局部服务器负载偏高而降低系统效率的问题,建立了一类基于动态调节的闭环负载分配策略。根据服务器处理Web访问页面类型的特点,建立静态页面与动态页面混合处理的负载量模型,形成处理不同服务请求与负载均衡的内在动态映射关系,以此优化静态页面缓存与调用方式,并基于服务器负载率动态预测和均衡指标,采用负载率偏差最小的任务权重最优分配模型,确定服务器集群的最优任务权重,实现了服务器集群处理混合页面访问的负载均衡分配策略和算法。仿真结果验证了负载均衡算法的正确性和有效性,可以达到更好的负载均衡效果。     

基于纳什均衡的多用户分布式系统负载均衡的研究

本文在基于排队论M/M/1动态负载均衡模型的基础上,提出了一种基于纳什均衡的动态负载均衡和静态负载均衡相结合的负载均衡方案.将改进后的方法与原负载均衡模型作对比,结果表明,在系统高通信开销时,新方案能有较好的性能表现,当系统负载量超过45％时,可以取得较好的期望响应时间.     

基于多Agent技术的多运营终端自适应负载均衡算法

当前网络用户数量、多运营终端节点数量增长趋势明显,导致网络计算资源很难达到均衡状态。提出基于多Agent技术的多运营终端自适应负载均衡算法。定义多运营终端负载状态,采集多运营终端负载信息,并量化处理负载信息。以此为基础,搭建Agent负载均衡结构,引入多Agent技术,结合多运营终端节点工作特点,构建网络资源模型,设计多运营终端自适应负载均衡算法。实验结果证明：与对比算法相比,应用提出算法获得的多运营终端的吞吐量较大,平均响应延迟较短,负载均衡度较高,证实了提出算法具有理想的负载均衡效果。     

一种基于实现仓库的负载均衡模型

分析了已有的CORBA负载均衡模型，提出了一种基于实现仓库的新的模型，该模型不仅可以通过请求重定向实现负载均衡，而且还通过对象和服务程序迁移降低结点的负载。     

对象存储系统中自适应的元数据负载均衡机制

面向对象的存储系统在研究、工程以及服务领域均得到了广泛的应用.在面向对象的存储系统中,元数据的负载均衡对于提高整个系统的I/O性能具有重要的作用.现有的元数据负载均衡策略不能动态地平衡元数据的访问负载,而且自适应性以及容错特性有待提高.提出了一种自适应的分布式元数据负载均衡机制(adaptabledistributed load balancing of metadata,简称ADMLB),包含基本的负载均衡算法和分布式的增量负载均衡算法.采用基本的负载均衡算法按照服务器的性能公平地分布负载,使用分布式的负载均衡算法定时地调整负载的分布.ADMLB采取分布式的方法均衡地在元数据服务器之间分布负载,根据负载的变化自适应地进行调整,具有很好的容错特性,而且用户可以高效地定位元数据服务器.     

一种用于数据库搜索引擎的数据采集模型

本文在分析了现有数据采集方法基础上,提出一种用于分布式异构数据库搜索的数据采集模型。该模型采用ETL数据集成技术,并将广泛应用于企业资源管理的LDAP目录服务引入数据采集模型中,利用LDAP存储和管理描述数据源信息和采集规则的元数据,增强了数据集成的可扩展性和自动化程度。     

智能电网系统中费控服务的优化调度研究

智能电网系统中,费控指令通过应用服务器集群被下发到前置服务器集群,再通过前置服务器集群被下发到终端,终端接收到指令后将指令下发到特定的智能电表.在这个过程中,应用服务器集群和前置服务器集群的可用资源不对等,导致负载不均衡,影响费控服务执行的效率和成功率;前置服务器集群中前置机与终端的固定匹配方式,容易导致前置服务器集群负载不均衡,延长了费控指令完成时间,降低了费控服务的执行效率.为此深入研究费控指令的下发过程,分析存在的问题和瓶颈,提出了一种基于负载预测和负载均衡的费控服务优化调度模型.该模型首先提出一种基于时间序列的负载预测方法,实现服务器负载的预测;基于预测负载,提出一种费控指令的均衡下发算法,为不同负载的服务器下发合适规模的费控指令,以提高指令下发的效率和成功率;针对前置服务器集群可能出现的负载不均衡,提出一种基于图聚类的终端均衡布局算法.实验结果表明,本文提出的费控服务优化调度模型,均衡了两个集群和终端之间的负载,有效提高了费控指令下发的效率和成功率.     

应用嵌入式技术的电能质量综合监测及其评价模型

针对目前电能质量综合监测效率不足、电能质量监测力度较差等问题，构建出新型的电能质量综合监测系统。该系统包括电能信号转换单元、电能表数据采集单元、电能表数据处理单元和电能表数据存储及应用单元，实现了电能表故障数据的远程、在线监控。并融合云计算模块，实现云电能数据信息的共享。研究应用DSP+ARM双核处理器，实现多种电能表数据信息的采集、存储和计算。并构建出新型贝叶斯网络模型，将多种数据信息融合在一起，实现电能表数据信息综合监测。试验表明，研究的方法评估精度高、误差低。     

基于模型驱动元数据管理策略的研究

目前,元数据管理存在这样的问题,各开发商使用不同的元模型来设计自己的数据仓库工具,而且对元数据的描述往往不一致,这样给数据集成带来很大的问题。使用一种基于模型驱动的方式,将元数据描述规范化,并运用基于模型驱动的公共仓库模型CWM(Common Warehouse Metamodel)来实现这一过程。该模型可以充分发挥软件的复用性,使系统有良好的通用性,从而提高系统开发效率。     

基于强挂起弱预测机制的负载均衡模型研究

大数据时代的快速发展和大数据战略的明确提出,使得Web服务器集群将面临更加复杂和严峻的负载挑战。传统的负载均衡算法存在着明显的局限性。提出了一种基于强挂起弱预测机制的负载均衡模型,该模型利用强挂起机制和基于层次分析的三次指数平滑预测算法进行负载均衡动态调度。实验结果表明该模型在系统瞬时性能异常、高并发和重负载交互情况下的负载均衡效果优于传统负载均衡算法。     

网络化数据库数据采集系统设计与实现

随着网络化程度的不断加深,本地化数据库已无法满足多终端、多平台、多种设备协作的需求。传统的数据库采集系统的数据采集算法存在数据获取速度慢、后台处理运算能力匮乏等问题。针对传统数据库存在的一系列问题,本文提出网络化数据库数据采集系统设计方法。该设计采用多点多终端数据互交动态算法,在不同终端间进行数据交互,优化终端上传数据;同时采用多终端数据映像技术,实时动态映像终端数据,保证终端离线状态下数据上传调取。通过仿真实验对设计方法进行测试,测试结果表明本文设计的网络化数据库数据采集系统的数据采集与数据处理运算具有稳定性与高效性,系统的整体性能满足数据采集要求。     

基于CWM的元数据的形式化推理框架研究

在基于公共仓库元模型(CWM)建立元数据的过程中,参与建立元数据的团体的不同经验以及描述数据的不同视角不可避免地带来元数据的冲突和冗余等问题,然而CWM的图形化特点使之缺乏精确的语义,所以如何在其上进行推理以自动发现这些问题至今没有得到很好的解决.研究了利用描述逻辑--一个一阶谓词逻辑的可判定子集形式化CWM元模型和元数据并进行推理的方法,将一致性检测分为水平一致性和演化一致性分别处理,在处理演化一致性的过程中对CWM元模型进行了扩展,使之支持元数据的版本能力从而能够推理由于演化引起的不一致问题,然后利用推理引擎LOOM对两种情形进行推理检测以发现不一致信息,取得了令人满意的结果,表明提出的方法是可行的.     

基于区域—负载均衡策略的两级车辆路径优化研究

为提升由城市仓库—前置仓库—消费者组成的多阶段物流运输效益,提出基于区域—负载均衡的优化方法。首先,基于K-means聚类设计区域划分策略;其次,构建基于距离准则的聚类中心—前置仓库最佳匹配机制,从成本最小化视角给出负载均衡策略;然后,构建两级车辆路径优化模型,基于禁忌搜索算法设计多层求解策略;最后,通过数值实验与灵敏度分析验证所构模型及方法的有效性,通过对照实验分析仅考虑区域划分、同时考虑区域—负载均衡、不考虑区域—负载均衡三种情景下优化结果。研究成果揭示了区域—负载均衡与路径结果的内在关系,可为实现多阶段物流运输效率与成本的双重优化提供理论及方法支撑。