电能表数据采集终端负载自适应均衡方法研究

针对电能表数据采集终端数据量及访问量高导致的负载失衡问题,研究基于元模型的电能表数据采集终端负载自适应均衡方法。将电能表数据采集终端的电能表数据作为模型元数据,经数据提取、转化、加载处理后,将处理完成的数据存储至元数据仓库内。在元数据负载大小未知条件下,创新性地采用基本负载均衡算法分配元数据仓库中元数据的负载,以求解元数据的负载量。当负载过大时,通过迁移负载低节点的目录子树,均衡处理了元数据的负载量,实现了电能表数据采集终端访问负载均衡。实例测试结果表明,该方法应对速度快。该方法降低了电能表数据采集终端负载,解决了元数据请求激增问题,提高了集群负载的均衡程度。     

一种基于大数据云架构的视频录播系统设计

本文介绍了一种基于大数据云架构的视频录播系统,可以应用于需要不间断对分布在不同地域的视频源进行录制、直播、点播的场景,实现分布式视频采集、录制与点播服务.文章对基于Hi3531解决方案的前端采集器和hadoop平台的原理及架构进行了介绍,提出基于hadoop平台的方案,解决视频源并行压制和存储的问题,提高了系统的并发性和可靠性.     

基于聚类的动态负载均衡在数据采集上的应用

为了构建一个基于微博的社会网络,需要提供大量的微博数据源,那么如何才能实时高效的获取微博信息是构建微博社会网络面临的重大挑战。本文提出了一种基于聚类的动态负载均衡数据采集方法,将聚类算法与动态负载均衡结合是一次新的尝试,测试表明,能够满足对微博数据采集的需求。     

基于Python的新浪微博数据爬虫

目前很多的社交网络研究都是采用国外的平台数据,而国内的新浪微博没有很好的接口方便研究人员采集数据进行分析。为了快速地获取到微博中的数据,开发了一款支持并行的微博数据抓取工具。该工具可以实时抓取微博中指定用户的粉丝信息、微博正文等内容;该工具利用关键字匹配技术,匹配符合规定条件的微博,并抓取相关内容;该工具支持并行抓取,可以同时抓取多个用户的信息。最后将串行微博爬虫工具和其并行版本进行对比,并使用该工具对部分微博数据作了一个关于流感问题的分析。实验结果显示:并行爬虫拥有较好的加速比,可以快速地获取数据,并且这些数据具有实时性和准确性。     

针对微博的免登录分布式网络爬虫的研究

微博作为优质的数据源,其中的数据非常适合做舆情分析等。新浪官方提供的API限制数据采集速度,而利用模拟登录的网络爬虫采集数据又相对复杂且会降低效率。针对这些问题,设计了一个免登录的微博网络爬虫。通过实验表明,该爬虫可以更快的对微博数据进行完整稳定的采集。随着对数据需求量越来越大,单机网络爬虫已经不足以满足要求,将Hadoop分布式计算平台与免登录爬虫相结合,设计了一个基于MapReduce的分布式网络爬虫系统,利用多台计算机组成的集群,实现短时间内免登录抓取海量微博数据。通过实验证明,该爬虫系统可以每天稳定抓取近千万条微博。     

一种基于SDN控制器集群的负载均衡机制

传统SDN中交换设备和控制器之间多采用静态映射方式,面对有控制面数据负载均衡要求的特殊系统应用时,会有控制器切换不合理、交换设备数据流负载不能动态均衡的问题发生。为解决该问题,对网络内全部控制器的负载集中管理后,研究了一种基于SDN控制器集群的负载均衡机制。随网络流量的变化,按照控制器负载数据动态实现切换,可解决控制器负载超限问题并及时避免控制器过载对网络性能的影响。该机制已应用于国产化的JARIOS控制器,并在此基础上搭建环境并完成测试验证。实验证实该机制可以较好地实现控制器集群中的失效保护和负载均衡,提高控制器对入包数据的处理效率,提升整体网络的鲁棒性。     

一种基于副本的PVFS负载均衡机制

并行虚拟文件系统PVFS的数据服务器缺少负载均衡机制,因此存在热点服务器,降低了系统整体性能.提出了一种基于副本的负载均衡机制,通过文件数据备份的方式进行负载迁移,以解决这一瓶颈问题.其通过选择备份文件时权衡文件的热度与大小以降低数据备份的开销,将热点数据以较小代价转移到较空闲的服务器上,有效地提高了整个系统的数据吞吐量.其主要涉及了热点监测、数据备份源-目的节点选择以及备份文件策略3个部分的工作.实验结果表明:提出的负载均衡机制有效地提高了系统的整体性能,最高达到了24%.     

分布式企业服务总线平台数据集成研究及应用

为实现大规模的异构数据集成,解决数据源异地分布的问题,满足不同系统和应用之间的信息交互和共享,设计了一种企业服务总线(ESB)平台下的数据集成模型。该模型采用WSDL和XML描述,能够结合ESB系统的集成场景进行数据集成。提出了一种基于消息流程的负载均衡算法,该算法根据服务执行组件的负载情况和分布式节点的资源状况进行流程节点分配,并将其应用于分布式ESB系统的应用集成模型中,能够高效地处理ESB系统数据传输过程中的大量消息,有效解决应用流程执行时存在的消息处理能力低下的问题。最后,以医疗信息系统集成的仿真应用为例,在采用上述模型和算法的分布式ESB平台上,验证了其在解决大规模异构数据服务集成以及消息处理的负载均衡问题时的可行性和有效性。     

机器学习算法的网络大数据级应用实践

提出了基于hadoop平台的关于大数据级协同过滤推荐系统的一系列关键技术和实践.前期大数据处理平台hadoop的搭建,包括底层的硬件平台以及基于hadoop的数据处理工具;以基于物品的协同过滤推荐算法——slopeone算法为核心实现了协同过滤推荐并设计了整套实验流程,实验选择了一个具有代表性开放数据源作为处理对象,最后地实验结果给出了预测的均方根误差以及实验的耗时和数据量等指标.     

基于MS BizTalk服务器实现数据集成

研究MSBizTalkServer作为数据传输和系统接口中间件在现有遗留系统和新开发应用数据集成中的应用.以石化行业应用系统的数据交换平台为例,数据交换的设计基于三层体系结构,采用.NET技术实现,数据交换核心采用XML数据标准,接口标准采用Web Services,在系统安全性、负载均衡上也提出适用的方法.