基于NAS的非结构化数据分布式存储系统设计

随着气象事业发展,非结构化数据海量增长,针对传统非分布式、直联式存储方式支撑能力受限问题及对存储系统需要支持大容量、集中管理、高可扩展性、高可靠性的新需求出发,利用网络附加存储,采用分布式架构、堆叠组网冗余和纠删码冗余保护机制、运用NFS、CIFS、FTP等协议,搭建一个分布式架构集群存储系统,通过分布式文件系统对外提供统一网络存储空间,通过CIFS、NFS、FTP三种方式实现文件共享。解决旧系统存储能力不足、动态扩展性差、效率不高、可靠性和安全性低的问题,进一步提升重庆气象数据云平台基础支撑能力。     

云计算环境下的分布存储关键技术

云计算技术目前已经在科学技术和商业领域发挥了重要作用.云计算环境下的分布式存储技术是云计算的核心技术之一.本文对云计算环境下的分布式存储关键技术开展研究,首先详细介绍了分布式存储中常见的数据中心网络结构,包括以交换机为中心的结构、以服务器为中心的结构和混合结构,然后分析了数据容错技术,包括基于复制的容错技术和基于纠删码...     

改进的LPCA算法

LPCA中没有考虑到存储节点伪造份额的主动攻击,为了改进LPCA的不足,利用单向陷门函数设计了一种LPCA的改进方案。它能有效抵抗某些受到主动攻击的存储节点向用户提供篡改或者伪造的秘密份额,致使用户恢复出错误的数据或者无法恢复数据的攻击,弥补了LPCA的不足,同时又不会给存储系统带来很大的空间、计算与通信的额外开销,提高了分布式存储系统的可生存性,它也可用于所有的分布式存储中利用秘密共享方案实现数据分离的改进方案。     

基于马尔科夫链的传感器网络空间相关性数据预测算法

如何降低计算复杂度的同时提高数据预测的精度,是传感器网络数据预测研究中亟需解决的问题之一。针对目前主流的时间相关性数据预测算法在数据波动大时预测精度低的问题,本文引入Delaunay三角形邻近图来度量网络中监测数据的空间相关性,并提出基于马尔科夫链的空间相关性数据预测算法。实验表明,该算法可以在数据波动不规律的情况下提高数据预测精度,减少网络中数据传输量。     

一种基于磁盘调度的在线数据重构算法

作为一个完善的卷管理器的设计,在线数据重构机制是必不可少的。数据重构算法既可以以带区为导向,也可以以磁盘为导向。该文在分析了基于带区调度的重构算法后,给出了一种基于磁盘调度的重构算法。实验结果表明,基于磁盘调度的重构算法能更有效地利用系统资源。     

一种基于相关性的分布式异常检测算法

提出了一种传感器网络异常检测算法,与传统的基于相邻节点数据对比的检测算法不同,该算法首先在节点内分析数据的时间相关性,仅在发生异常时,上传至簇头节点,分析空间相关性;对于不确定的异常数据,在相邻分簇内,计算数据的相关性.还给出了采用直方图计算均值和分析相关性的方法.实验表明,该算法减少了通信量,提高了异常检测的准确率.     

基于数据场相关性的光线投射算法

光线投射算法是体绘制中的经典方法,这一算污具有结构清晰实现便利的特点。但简单的光线投射算法存在采样效率低和绘制精度低的缺点。本文利用数据场的相关性和不等步长的采样方法来改善泡线投射算法的品质,使它既有快速的优点又具有较高的成象精度     

基于内容的分布式Web服务器调度算法

在分布式Web服务系统的研究中,基于内容的调度策略日益受到关注.但是,基于内容的请求调度带来的额外开销使得调度节点成为系统的瓶颈,限制了系统规模.为了实现系统的容错和扩展,集中讨论了分布式调度策略的设计问题,并针对难于分布的面向缓存调度策略设计了相应的分布式调度算法DWARD(distributed workload-aware request distribution).基于LINUX IP协议栈的系统测试表明,DWARD算法可以在适当调整的情况下获得良好的性能.     

分布式实时系统的容错调度算法

提出了两种分布式实时容错调度算法：副版本后调度算法（ＢＫＣＬ）及无容错需求后调度算法（ＮＦＲＬ）,并研究了算法的时间复杂度,这两种容雕工算法能同时调度具有容错需求的实时任务和无容错需求的实时任务,ＢＫＣＬ和ＮＦＲＬ所产生的调度可保证：在分布式系统中一个节点机失效的情况下,具有容错需求的实时任务仍然可在截止时间内完成,在描述了两个实时容错调度算法之后,分别证明了这两个算法的容错调度正确性。接着,阐述     

基于PSO改进算法的气象数据网格任务调度

为提高在有限带宽下气象观测中心海量数据的任务调度和数据传输效率,提出一种基于粒子群优化(PSO)改进算法的气象数据网格任务调度算法。给出副本域的概念,将PSO算法与副本域相结合,设计任务调度模型和符合气象数据网格环境的目标函数。仿真结果表明,该算法完成调度的时间小于遗传算法和穷尽搜索算法,收敛速度快于离散型PSO算法,且更加稳定。     

基于元学习的小样本数据生成算法

小样本数据存在信息不充足、不完备等问题,缺乏对总体的代表性,导致数据驱动的相关算法精度下降.本文针对小样本问题,提出基于元学习的生成式对抗网络算法进行小样本数据的数据生成.该算法目标是在各种数据生成任务上训练,确定模型最优初始化参数,从而仅使用较少的训练样本解决新的数据生成任务.本文利用水冷磁悬浮机组数据进行数据生成,...     

基于贪心策略的多信道数据广播调度算法

为减少多信道数据广播环境中的多信道平均延迟时间,提出一种基于贪心策略的多信道数据广播调度算法,将数据项合理地分配到各信道,最小化多信道数据项平均访问时间,在每个信道内采用近似最优的Log-time算法。实验结果表明,在不同的系统环境下,该算法都能够达到近似最优的性能。     

基于IEEE 802.16e的VoIP公平调度算法

针对IEEE802.16e未规定具体的服务质量调度算法的问题,提出一种适用于IP电话（VoIP）业务的算法,该算法包括额外带宽再分配策略和补偿机制,根据业务流的优先级分配额外带宽,滞后的流根据它所丢失的服务被补偿。仿真结果表明,经过一段时间,业务流实际接收的服务与它在理想无差错系统中所得到的服务的差近似为0。     

基于PDNS的BitTorrent算法仿真研究

采用数据包级并行分布式仿真工具对典型BitTorrent算法进行大规模仿真,研究大规模P2P下载算法性能,并介绍其建模方法,模拟并行分布式网络仿真器平台下具有可扩展性框架的BitTorrent算法。实验结果表明,该方案能够有效测试多机仿真分层拓扑中典型用户行为的算法性能,且是有效的。     

基于卷积神经网络的结构化非平衡数据分类算法

卷积神经网络具有高效的特征提取能力和较少的参数量,被广泛应用于图像处理、目标跟踪、自然语言等领域。针对传统分类模型对于结构化非平衡数据分类效果较差的问题,提出一种基于卷积神经网络的二分类结构化非平衡数据分类算法。设计结构化数据处理算法Data-Shuffle,将原始非平衡一维结构化数据转换为三维数组形式的多通道非平衡数据,为卷积神经网络提供更多的特征值,通过改进的VGG网络构建适合非平衡数据的网络结构卷积组,以提取不同的特征。在此基础上,提出更新权重加权采样算法UWSCNN,在每个迭代次数之后,根据模型的训练结果对易错样本进行重新加权,以优化训练结果。在adult、shoppers和diabetes数据集上的实验结果表明,相比逻辑回归、随机森林等传统机器学习模型,所提的Data-Shuffle算法的F1值提升了1%~19%,G-mean提升了2%~24%,相比SMOTECNN、BSMOTECNN、SMOTECNN+CS等采样算法,所提的UWSCNN算法对非平衡数据的分类效果提升了1%~13%,有效提高模型对非平衡数据的分类性能。     

一种基于概念关联式的词义消岐方法

词义排岐是自然语言处理中最关键也是最困难的问题之一,至今仍没有得到完全有效的解决。在研究HNC表达汉语知识的基础上,提出了一种基于概念关联式的汉语词义消歧方法,用于处理汉语的歧义字段。该方法综合了词语概念的层次性、网络性、结构性特征,用一种统一的表示式来规范这类特征,解决了多个不同概念之间的知识关联表示问题。实验对20个汉语高频多义词进行了测试,平均正确率为94%,验证了该方法的有效性。     

基于用户行为特征的SVC分片调度算法

针对异构环境中网络和终端的复杂性,以及用户随机搜索行为造成的视频点播服务中播放进度的突变性,提出一种异构环境中基于用户行为特征的可扩展视频编码分片调度算法。设计2类调度窗口,即根据当前播放时刻保证顺序播放数据持续功能的播放窗口和依据服从Weibull分布的用户随机搜索行为设计的加入数据预取机制的锚点窗口。对播放窗口和第一个锚点窗口采用逐层调度策略,以保证数据的及时性,其余锚点窗口使用rarest-first策略,以平衡整个系统的分片分布。在OverSim平台上的仿真结果表明,与现有的逐层调度算法和权值调度算法相比,该算法在发生用户随机搜索行为的应用场景中能提高节点分片调度性能,缩短响应时延,降低服务器负载,提高用户观看视频的质量和流畅度。     

智能大厦的数据存储解决方案的设计

智能大厦的5A系统需要大容量、高速传输的数据存储解决方案,针对传统依赖于服务器的存储模式的缺点和网络存储技术的优点进行了比较和分析,设计了基于附网存储和存储局域网的数据存储方案。     

基于协调器与遗传算法的云存储数据复制策略

针对云存储数据过程,结合协调器与遗传算法提出一种新的数据复制策略.在Hadoop分布式文件系统体系结构基础上构建一个用于复制管理的协调器,采用接收查询算法和遗传算法接收查询,并将其发送给合适的节点以满足用户期望的服务质量功能需求,同时考虑一个查询中数据块的物理位置以获得更好的复制参数.仿真结果表明,与目前典型的数据中心...