基于Hopfield神经网络的云存储负载均衡策略

针对当前Hadoop存储效率不高,且副本故障后恢复成本较高的问题,提出一种基于Hopfield神经网络（HNN）的存储策略。为了实现系统整体性能的提升,首先分析影响存储效率的资源特征;然后建立资源约束模型,设计Hopfield能量函数,并化简该能量函数;最后,通过标准用例Wordcount测试,分析8个节点的平均利用率,并与三个常用算法包括基于资源的动态调用算法、基于能耗的算法和Hadoop默认存储策略进行性能和资源利用方面的比较。实验表明,与对比算法相比,基于HNN的存储策略在效率上分别平均提升15.63%、32.92%和55.92%。因此,该方法在应用中可以更好地实现资源负载平衡,将有助于改善Hadoop的存储能力,并可以加快检索。     

基于HDFS的云存储安全技术研究

针对目前云存储技术存在的数据泄露和数据篡改等安全问题,结合HDFS数据完整性校验机制的特点,设计并实现了一种基于HDFS的数据传输存储安全技术方案.对用户上传至HDFS中的数据文件实施AES加密,文件以密文形式存储,同时应用RSA算法保障AES密钥的安全,可有效防止数据在传输和存储过程中被泄露.设计了基于HDFS的文件密文和文件明文两种存储格式,用户可自主选择是否进行加密.通过安全性分析和性能测试,验证了方案的安全性和可行性.     

基于纠删码和动态副本策略的HDFS改进系统

为了让Hadoop分布式文件系统(HDFS)达到更高的存储效率以及更加优化的负载均衡能力,针对HDFS的多副本存储技术提出了改进方案——Noah。Noah引入了编码和译码模块,对HDFS中的block进行编码分解,生成更多数量的数据分片(section),并随机地分散保存到集群当中,替代原有系统的多副本容灾策略;在集群出现节点失效的情况下,通过收集与失效block相关的任意70%左右的section进行原始数据的恢复;同时根据分布式集群运行情况以及对副本数目需求的不同采用动态副本策略。通过相关的集群实验,表明Noah在容灾效率、负载均衡、存储成本以及安全性上对HDFS作了相应的优化。     

云存储中动态副本放置机制研究

数据副本管理是云计算系统管理的重要组成部分,在云计算系统的海量数据处理过程中,针对目前已知的数据存放与资源调度算法存在考虑副本动态性和可靠性的不足,提出了一种动态的副本放置机制。该机制基于区域结构,考虑数据处理时其副本的数量和放置位置,以及副本的产生对于内存和带宽等系统资源的开销:首先根据云存储中的副本信息,对被访问频率高且访问平均响应时间长的数据信息进行复制,并给出副本数量的计算方法;考虑缩小副本分布的节点选择范围,提出动态的副本放置算法——DRA,将一定范围内的节点根据提出的域的划分,进行放置筛选,以存放数据副本。实验结果表明,提出的动态放置机制不仅减少了低访问率副本对系统存储空间的浪费;同时也减少了高访问率副本所需跨节点的传输延迟,有效提高了云存储系统中的数据文件的访问效率、负载的均衡水平,以及云存储系统的可靠性和可用性。     

云存储副本优化选择策略

为了提高云计算环境中系统的整体数据调度效率,对云存储系统中的副本选择问题进行研究,提出一种基于蚁群觅食原理的云存储副本优化选择策略。该策略利用蚁群算法在解决优化问题上的优势,将自然环境中蚁群的觅食过程与云存储中的副本选择过程相结合;再充分应用信息素的动态变化规律以及高斯概率分布特性优化副本的选择方式,得出一组副本资源的最优解,从而为数据请求响应合适的副本。在OptorSim仿真平台上对该算法进行实现,实验结果表明该算法具有不错的表现,如在平均作业用时这一性能指标上相比原始蚁群算法提升了18.7%,从而在一定程度上减少了副本选择过程的时间消耗,降低了网络负载。     

存储中的副本分级存储调度策略

当集群中的部分节点是廉价主机时,采用HDFS的随机存储策略可能使访问频率高的数据存储在廉价节点上,受到廉价节点的性能影响,访问时间过长,降低了集群效率。为改善以上问题,提出一种改进的副本分级存储调度策略。为减少副本调度的次数,先根据节点的CPU、内存、网络、存储负载以及网络距离来评价节点的性能,再从中选取高性能节点进行存储。副本调度以节点中副本的访问频率为依据,结合硬件配置,把访问频率高的副本尽可能存储在高性能、高配置的节点中,以加快集群响应速度。实验结果表明,改进后的策略可以在异构集群中提高副本的访问效率,优化负载均衡。     

初始信息素筛选的蚁群优化算法在HDFS副本选择中的研究

随着社会信息化程度的不断提高,各种形式的数据急剧膨胀.HDFS成为解决海量数据存储问题的一个分布式文件系统,而副本技术是云存储系统的关键.提出了一种基于初始信息素筛选的蚁群优化算法(InitPh_ACO)的副本选择策略,通过将遗传算法(GA)与蚁群优化算法(ACO)算法相结合,将它们进行动态衔接.提出基于初始信息素筛选的ACO算法,既克服了ACO算法初始搜索速度慢,又充分利用GA的快速随机全局搜索能力.利用云计算仿真工具CloudSim来验证此策略的效果,结果表明:InitPh_ACO策略在作业执行时间、副本读取响应时间和副本负载均衡性三个方面的性能均优于基于ACO算法的副本选择策略和基于GA的副本选择策略.     

基于HDFS的动态副本策略设计与实现

针对HDFS的副本方式难以满足动态的数据变化及用户需求,在原有HDFS的管理架构之上对其进行优化,定义了一种算法模型去定量的分析系统可用性参数,提出了一种动态副本调整策略,实现了针对数据存储资源的动态调度服务。模拟实验结果表明：当文件访问量变化的时候,该策略中的副本数量能动态地增加减少,从而验证了该策略的正确性和有效性。     

基于动态副本技术的云存储负载均衡研究

以系统总响应时间最小化为目标,以文件热度为依据,提出了一种多时间窗负载均衡策略。在计算文件热度时,不仅考虑了访问的次数和大小,还将I/O访问时序引入到文件热度统计中,该方法能有效控制短时间突发性数据访问导致的不必要副本创建。在多时间窗负载均衡策略中,设置了三种不同大小的时间窗口,分别实现了存储节点负载均衡、文件副本的负载均衡以及低热度文件多余副本的删除工作。实验数据表明,多时间窗负载均衡策略能显著降低I/O访问响应时间。     

基于可审计多副本的云存储差错副本恢复机制

针对具备可审计特性的多副本云存储系统的差错副本恢复问题,在多副本云存储完整性审计方案的基础上,从总体流程、影响因素、恢复策略、故障定位和计算模型5个方面阐述差错副本恢复机制,将差错副本恢复策略归纳为全副本下载上传、全副本差值上传、故障块上传和故障段上传4种,并对影响恢复效率的因素进行了量化,提出通信开销、计算开销和总开销的计算模型。针对一个具体的多副本云存储完整性审计方案,对不同策略和参数下纠正一个数据块随机差错的开销进行量化分析。实验结果表明,当带宽分别为1 Mb/s、10 Mb/s、100 Mb/s和1 Gb/s时,实验中最优策略的耗时分别只有全副本差值上传策略的0.34%、2.44%、15.27%和46.93%。可见所提模型可用于为可审计多副本云存储系统选择合适的策略与参数,以提高差错副本恢复效率,尤其适用于网络带宽受限的情况。     

基于新维无偏灰色马尔可夫的交通事故预测

交通事故预测是交通安全评价、规划和决策的基础。在传统灰色预测模型和马尔可夫链理论的基础上,利用新信息优先的思想,建立了等维新息无偏灰色马尔可夫预测模型。该模型通过结合灰色预测与马尔可夫链理论的特点,用无偏灰色预测模型拟合系统的发展变化趋势,并以此为基础进行马尔可夫预测,在每一步预测中不断推陈出新,更新原始数据。以2001年—2010年全国道路交通事故死亡人数实测值作为原始数据,构建预测模型,预测其2011年—2015年事故死亡人数。结果表明：等维新息无偏灰色马尔可夫预测模型的误差更小,精度更高,尤其适合中长期预测。     

一种基于改进的马尔可夫链的交通状况预测模型

城市交通日益拥堵的今天,为用户推荐最快行驶路线成为一个研究热点。行驶路线推荐的核心问题是对路线将来某段时间(途径这段线路时)交通状况的预测。交通状况受到路线本身状况、行驶时间、天气状况、驾驶员习惯等多种因素影响,其变化快、变化方式复杂,难以准确预测。对多阶马尔可夫链模型进行了改进,提高了运算效率和响应速度,建立一种高效的交通状况预测模型,经北京市实际交通数据的检验,得到了比较好的预测效果。     

基于改进灰色预测模型的交通事故预测模型研究

为了提高交通事故数据预测的准确度,采取GM(1,1)和OSDGM(1,1)等单一模型,对2008-2019年我国交通事故死亡人数数据进行分析。根据GM(1,1)和OSDGM(1,1)模型建立最优加权组合模型,使用Verhulst模型对建立的加权组合模型进行残差修正,并借助灰色模型精度评价指标对预测结果进行检验。预测结果表明,GM(1,1)、OSDGM(1,1)模型和改进的灰色预测模型的预测结果的平均相对误差分别为4.35%、4.30%和1.19%,且改进的灰色模型通过精度指标检验,说明改进灰色预测模型具有较高的精度。     

基于残差思想的区间灰数预测优化模型

针对区间灰数的预测问题,通过构建区间灰数核的预测模型并结合残差修正思想对区间灰数的信息域进行扩展,运用改进的区间灰数函数处理方法强化对区间灰数上下界序列的趋势拟合,优化对未来发展状态的预测精度,建模过程体现了区间灰数预测中“信息充分利用”的原则.通过长江三角洲地区人均工业废水排放量的实例,对比所提出方法和传统灰色预测方法的结果,验证了所提出方法的有效性和实用性.所提出的方法能够为区间灰数预测提供一种有效途径,其原理清晰,可广泛应用于存在区间灰数的各领域.     

基于扩展马尔科夫链的攻击图模型

在网络风险评估中,攻击图模型用于表达网络存在的脆弱点以及脆弱点之间的关联关系,传统方法通过主观经验确定攻击图中状态转移的权重,给状态转移概率的确定带来较大不准确性。为提高其准确性,通过将脆弱点的攻击难度作为状态转移概率的确定标准,构建基于马尔科夫链的攻击图模型。搭建实验环境,将该模型应用到实际环境中,得到了准确的状态转移概率。该模型摒弃了传统概率确定方法中的主观性,有效提高了概率确定的准确性。     

基于残差改进的灰色模型网络流量预测

网络流量是衡量网络运行负荷和状态的重要参数,也是网络规划、流量管理等方面起着重要的作用的重要参数.在流量管理中,流量模型用于评价接入控制机制和预测网络性能.灰色模型在反映数据的趋势性变化上效果明显,随着灰色理论的发展及其广泛应用,越来越多的改进方法已经被提出.在对原有的模型进行研究的基础上提出进一步改进模型来对网络流量进行预测.     

基于理性指标的马尔可夫链股市态势预测方法

由于股票市场存在人为扰动性,使得基于情绪的股市预测算法效果不佳。针对股市的诱多诱空问题,提出一种基于理性指标的马尔可夫链股市态势预测算法（RI_MCA）。提取股市的主要理性特征,并对这些理性特征进行量化;通过主成分分析将这些理性特征融合成理性指标,并利用理性指标获取股市的买卖点;将买卖点所对应的股市状态引入到马尔可夫链中,实现股市态势预测。在理性指标和股市状态相背离情况下会降低买卖点的可靠性,因而通过将特征背离引入到RI_MCA算法中提出了RICD_MCA算法,RICD_MCA算法根据特征背离程度对RI_MCA算法的结果进行调整优化。在上证指数上的实验比较与分析结果表明,RICD_MCA算法具有更高的预测精度。     

基于网络访问行为的混合阶Markov预测模型

随着WWW的迅速发展和网络用户的急剧增加,准确预测Web用户的访问行为对减小用户的感知延时,实现个性化推荐等具有重要的作用.无论是Markov模型还是其任何一种变种,高阶模型具有较好的预测性能.然而,高阶模型通常有较高的状态空间复杂度.提出了一种新的混合阶Markov模型(HMPM),将前缀相同的序列共享存储,降低了状态空间复杂度.仿真实验结果表明,该模型在一定程度上提高了预测准确率,查全率也有所提升.     

基于补偿器的灰色神经网络流量预测模型

为衡量网络运行负荷和运行状态,对网络进行合理规划,在对目前网络流量预测模型进行了研究的基础上,结合灰色模型和神经网络模型在反映数据的趋势性变化上的明显效果,以及神经网络补偿器,提出了基于补偿器的灰色神经网络流量预测模型,仿真结果验证了所提方法的有效性。