基于数据相关性的调度算法

从数据份额属性间相关性的角度定量分析分布式存储网络中数据之间的关联。在此基础上提出一种分布式存储网络中数据更新的加权平均聚类算法,将相关的数据份额分布在不同网络节点上,使各节点上相关的数据保持相对分散。模拟实验结果表明,考虑数据相关性可以有效降低系统的失效概率。     

无线传感器网络中一种分布式安全存储方案

对无线传感器网络的数据存储进行分析和研究,提出了一种以数据为中心的无线传感器网络中的分布式数据存储方案.该方案可有效解决集中式数据存储方案造成的中心节点的高负荷瓶颈问题,同时也避免了由于中心节点失效导致的数据丢失或泄漏问题.相对于现有的分布式数据存储方案,该方案运用Reed Solomon Code对数据进行加密,并且...     

面向异构DHT存储的数据与位置解耦算法

分布式哈希表(distributed hash table, DHT)由于其高效的数据寻址方式而被广泛应用于分布式存储.传统DHT必须将数据存放在指定节点中才能实现高效的数据分布式寻址,极大地限制了DHT技术的应用范围.例如,在异构存储网络中,节点的存储空间、带宽、稳定性等均有较大差异,结合数据特征和节点性能差异选择合适的数据存放节点可以很大程度上提高数据的访问效率,而传统DHT数据和存储位置紧耦合的特征导致其难以应用于异构的存储网络中.针对此问题,提出了vRoute算法以实现DHT中数据标识与其存储位置的解耦.通过构建基于Bloom Filter的分布式数据索引, vRoute算法可以在不降低数据寻址效率的基础上允许数据存储在网络中的任意节点.通过扩展Kademlia算法实现了vRoute,并从理论上证明了vRoute算法的有有效性.最后,模拟实验表明vRoute以较低的存储、网络开销实现了和传统的DHT算法接近的数据寻址效率.     

无线传感器网络中基于聚类的自适应数据存储

数据存储是无线传感器网络的研究重点.本文分析无线传感器网络中数据存储和访问的相关代价,研究了网状拓扑结构网络中数据存放位置的选择问题.将数据存储问题抽象为传感器节点聚类问题,实现了三种基于聚类的分布式数据存储方法CBDS.为了能够降低能量消耗,CBDS依据生产者和消费者的位置信息、网络拓扑信息及数据速率计算数据存放位置,并且依据这些参数的变化自适应地调整数据存放位置.实验结果表明:CBDS较传统的数据存储方法不仅减少了能量消耗,延长了网络的生命周期,并且降低了访问延迟.     

基于NoSQL的海量航空物流小文件分布式多级存储方法

为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出一种基于Nosql的海量小文件分布式多级存储方法,充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性,先根据相关性将文件合并,然后采用分布式多级存储,使用内存式Redis数据库做缓存,HDFS做数据的持久化存储,其过程采用预取机制。实验结果表明,该方法有效提高了小文件的存取效率和磁盘的利用率,显著地降低了网络的带宽占用和集群NameNode的内存消耗,适合解决航空领域海量小文件存储问题。     

概率图模型在社交网络用户相似性发现中的应用

社交网络中的用户相似性发现作为社交媒体数据分析中的基础研究,可以应用于基于用户的商品推荐以及社交网络中推导用户关系演化过程等。为了有效地描述社交网络用户间复杂的相关性及不确定性,并从理论上提高海量社交网络用户相似性发现的准确度,研究了基于贝叶斯网这一重要的概率图模型,结合网络拓扑结构和用户之间的依赖程度,发现社交网络用户相似性的方法。为了提高算法的可扩展性,解决海量数据带来的存储和计算问题,提出了基于Hadoop平台的贝叶斯网分布式存储以及并行推理方法。最后通过实验结果验证了算法的高效性和正确性。     

封闭式P2P网络中的离线数据存储

随着计算机与网络技术的快速发展,网络分布式存储逐渐成为存储技术研究的重点,但对离线数据存储的研究仍是个空缺.提出一种基于封闭式P2P网络的离线数据存储系统.客户端将离线数据发送至P2P网络,网络中节点利用chord路由算法存储数据;目标用户上线后,提出查询下载请求,从系统中获取与自身相关的离线数据.为了提高离线数据存取效率,每个节点保存一张包含网络中所有节点信息的路由表,离线数据的定位通过本地查找实现;另外,对传统Chord路由算法进行改进,使其更好地适应封闭式P2P网络的离线数据存储.实验表明,在封闭式网络中进行离线数据存取可以获得高的效率.     

无线传感器网络基于虚拟节点的小波压缩方法

除了能量受限以外,有限的存储容量也是无线传感器网络的基本特征.研究传感器网络中节省存储的数据传输问题,提出了一种基于虚拟节点的渐进数据传输方法.首先定义虚拟节点并建立各级虚拟节点之间的对应关系,充分利用传感数据的相关性;然后,设计基于此映射关系的传感数据调度算法,单轮传送数据的节点总数由相应簇头的实际存储容量决定,虚拟节点对每轮收集到的数据进行联合编码,形成节省存储的渐进数据传输.模拟实验表明,所提出的算法比DIMENSIONS有更小的网络耗能和延时,而且具有存储有效性.     

有限存储分布式社交网络中数据的动态划分和复制

社交网络的庞大数据需求分布式存储,多个用户的数据分散存储在各个存储和计算节点上可以保持并行性和冗余性。如何在有限的分布式存储空间内高性能存储和访问用户数据具有现实意义。在当前的社交网络系统中,用户数据之间的读写操作会导致大量跨存储节点的远程访问。减少节点间的远程访问可以降低网络负载和访问延迟,提高用户体验。提出一种基于用户交互行为的动态划分复制算法,利用用户之间的朋友关系和评论行为描述社交网络的结构,周期性划分复制用户数据,从而提高本地访问率,降低网络负载。通过真实数据集验证,该算法相比随机划分和复制算法能够大大提升本地访问率,降低访问延迟。     

基于Android的分布式数据采集系统设计

随着无线传感网络技术的大量涌现,各种分布式测控系统得到了广泛的应用和研究.针对目前各种测控方法的不同,设计一种基于Android的分布式测控系统.主要论述了基于ZigBee的无线传感器网络,蓝牙通信帧格式,Android分中心数据接收和存储,远程数据上报.通过验证,基于Android的分布式测控系统操作简单,适用性强,能实现对环境信息的实时采集与远程上报,适用于多种特殊环境应用.     

基于人工蜂群算法的计算机网络DDoS攻击检测方法

计算机网络在DDoS入侵下容易出现停止服务、网络崩溃,为了提高网络安全性,提出基于人工蜂群算法的计算机网络DDoS攻击检测方法。根据特征样本之间的相关性构建计算机网络DDoS攻击的自适应的入侵检测信息分析模型,根据网络数据流与潜在空间之间的映射关系,结合测试样本和学习样本之间特征差异性进行DDoS攻击数据特征提取,在基站上设置入侵检测数据处理终端,采用人工蜂群算法实现对计算机网络攻击检测的个体最优值和全局最优值寻优,根据人工蜂群的动态寻优和组合优化结果,实现对组合网络流量数据间的攻击信息特征提取和聚类分析,解决计算机网络DDoS攻击检测过程中的连续多变量优化问题。仿真测试结果表明,采用该方法进行计算机网络DDoS攻击检测的寻优能力较好,精度和效率高于传统方法。     

基于粗糙集的进化神经网络入侵检测系统研究

针对目前实时入侵检测系统所处理的网络数据具有的非线性和高维的特点,提出基于粗糙集理论的进化神经网络入侵检测方法。对网络中截获的数据,利用粗糙集属性约简方法对其属性集进行约简,得到影响分类精度的重要属性。把约简后形成的训练样本进行数值化和归一化处理,作为神经网络的输入数据,再利用遗传算法较强的宏观搜索能力和全局寻优的特点,优化神经网络权值,并在此基础上进行神经网络学习,从而建立入侵检测系统的优化分析模型。实验结果表明,该算法学习速度快,有效提高了入侵检测系统的检测效率。     

基于数据流的异常入侵检测

目前,基于机器学习的异常入侵检测算法通常建立在对整个历史数据集进行等同的学习基础之上,学习到的网络行为轮廓过于依赖历史数据,难以准确反映当前网络通信量的行为特征。同时,算法的时间和空间复杂度较高,难以对网络中持续快速到达的大规模数据报文进行存储与维护。本文提出,一种基于数据流聚类的两阶段异常入侵检测方法,首先在线生成网络数据的统计信息,并利用最能反映当前网络行为的统计信息检测入侵行为。实验结果表明,其检测性能优于基于所有历史数据进行入侵检测的结果,并克服了内存等系统资源不足的问题,增加了系统的灵活性与并行性。     

基于机器学习的移动自组织网络入侵检测方法

移动自组织网络是由无线移动节点组成的复杂分布式通信系统。研究了移动自组织网络的入侵检测问题,采用了一种新型的基于机器学习算法的异常入侵检测方法。该方法获取正常事件的内部特征的相互关系模式,并将该模式作为轮廓检测异常事件。在Ad hoc 按需距离向量协议上实现了该方法,并在网络仿真软件QualNet中对其进行了评估。     

基于深度迁移学习的网络入侵检测

为解决网络入侵检测问题,提高检测准确率和降低误报率,提出一种基于深度迁移学习的网络入侵检测方法,该方法使用非监督学习的深度自编码器来进行迁移学习,实现网络的入侵检测。首先对深度迁移学习问题进行建模,然后对深度模型进行迁移学习。迁移学习框架由嵌入层和标签层实现编/解码,编码和解码权重由源域和目标域共享,用于知识的迁移。嵌入层中,通过最小化域之间的嵌入实例的KL散度来强制源域和目标域数据的分布相似;在标签编码层中,使用softmax回归模型对源域的标签信息进行编码分类。实验结果表明,该方法能够实现网络入侵检测,且性能优于其他入侵检测方法。     

基于主成分分析和循环神经网络的入侵检测模型

针对网络数据特征维度高、现有的入侵检测方法准确率低的问题,该文提出了一种基于主成分分析(PCA)和循环神经网络(RNN)的入侵检测方法PCA-RNN。该方法先对网络数据进行预处理,通过主成分分析法对数据进行特征降维和降噪,找出含有最大信息的主成分特征子集,然后对处理后的数据使用循环神经网络进行分类训练。实验使用基于Python的TensorFlow平台,并采用NSL-KDD作为实验数据集。实验结果表明,与常用的基于机器学习和深度学习方法的入侵检测技术相比较,该文提出的入侵检测方法可有效地提高检测的准确性。     

用于入侵检测的贝叶斯网络

大型网络的入侵检测主要采用多个分布式代理(Agent)．这些代理具有一定的智能以便处理各种入侵．文章提出用贝叶斯网络构造各Agent，这样的Agent具有学习、快速识别和对不完备数据集的处理能力，从而使系统具有更好的适应性．最后用一实例来说明贝叶斯网络在入侵检测领域内的应用．     

Automated discovery of concise predictive rules for intrusion detection

This paper details an essential component of a multi-agent distributed knowledge network system for intrusion detection. We describe a distributed intrusion detection architecture, complete with a data warehouse and mobile and stationary agents for distributed problem-solving to facilitate building, monitoring, and analyzing global, spatio-temporal views of intrusions on large distributed systems. An agent for the intrusion detection system, which uses a machine learning approach to automated discovery of concise rules from system call traces, is described.

We use a feature vector representation to describe the system calls executed by privileged processes. The feature vectors are labeled as good or bad depending on whether or not they were executed during an observed attack. A rule learning algorithm is then used to induce rules that can be used to monitor the system and detect potential intrusions. We study the performance of the rule learning algorithm on this task with and without feature subset selection using a genetic algorithm. Feature subset selection is shown to significantly reduce the number of features used while improving the accuracy of predictions.     

基于多层交叉熵的网络入侵数据自主防御系统设计

为了提高无线动态压缩感知网络的入侵检测能力,提出一种基于多层交叉熵的网络入侵数据自主防御系统设计方法,构建网络入侵数据检测方法,采用大数据挖掘技术进行无线动态压缩感知网络的入侵大数据挖掘,对挖掘的入侵数据采用频谱超分辨识别方法进行特征提取,构建无线动态压缩感知网络入侵检测的动态多层数据分布结构模型,采用关联映射方法进行网络入侵数据的信号结构重组,结合模糊自适应调度方法进行入侵数据的多层交叉熵调度,根据入侵数据的异常性特征分布实现自主检测和入侵特征定位。采用嵌入式的Linux开发工具进行网络入侵数据自主防御系统设计,结合程序加载和交叉编译实现入侵检测算法的自动读写和检测输出。测试结果表明,采用该方法进行网络入侵数据自主防御系统设计,提高了对入侵数据的检测主动性和准确性,从而提高了网络安全性。     

基于深度学习的分布式安全日志分析方法

为了提高日志分析是当前进行入侵检测和安全防御的重要手段。针对传统基于规则的分析方法中误报、漏报较高,应对海量日志分析效率过低的问题,该文章提出了一种基于深度学习的分布式安全日志分析方法,通过将深度学习算法与现有黑白名单、规则匹配以及统计策略等技术结合,进行日志分析,检测网络中的安全威胁。系统采用分布式的存储和计算平台,能够进行离线和实时两种日志分析模式,可以满足大多数场景下海量的日志数据分析需求。