Web日志挖掘中的数据预处理技术研究

在网络技术高速发展的今天,Web技术得到普及,通过对Web的数据挖掘,用户能够获取到所需要的数据信息、知识,同时能够对用户的访问行为、内容进行深入分析.Web日志挖掘是数据挖掘中的重点内容,借助日志挖掘的数据预处理技术,获取到用户特征,将自身的Web的服务设计进行优化,开展针对性的网络活动.基于此,在本文中对Web日志挖掘中的数据预处理技术进行研究,提出预处理算法.     

基于FreeNAS的NFS存储和ISCSI存储优化的探究

为解决虚拟化条件下重要数据及服务器相关日志数据优化的问题,文章提出了FreeNAS的NFS和ISCSI优化存储结构,结构基于IP网络的网络存储备份系统。测试结果表明,网络存储设备本地化使用优化了存储结构,提高了数据安全性。     

基于大数据技术的网络日志分析系统研究

传统的日志分析技术在处理海量数据时存在计算瓶颈。针对该问题,研究了基于大数据技术的日志分析方案,即由多台计算机完成日志文件的存储、分析和挖掘工作;建立了一个分层的网络日志分析系统:Syslog完成日志采集,Hadoop负责分布式存储和并行计算,在MapReduce框架下重新实现了IP统计算法。实验结果表明,在数据密集型计算中使用大数据技术可以明显提高算法的执行效率和系统的可扩展性。     

广电有线网络质量评价体系探析

广电有线网络结构形态多样，随着用户网络需求日益增长，网络故障问题突出，在定位故障、优化网络结构方面存在不足，导致无法真正解决用户用网的痛点，致使用户体验感不佳。通过采集在网络重要节点设备上数据，结合网络拨测数据、网络重要节点设备的流量以及用户的上网日志等数据，经数据清洗转换、数据加工处理，采用多种机器学习算法构建用户、小区、网格、区域等多层级的网络质量评价模型，为网络故障的定位、网络升级改造、决策分析提供高效、灵活的数据支撑。     

基于Web日志挖掘的门户流量分析系统规划与设计

有效的web日志数据挖掘,可为网站经营决策提供客观可信的数据支撑。为实现门户网站的精准运营、业务优化和流量提升,建立基于Web日志的门户流量分析系统。该系统包含基础流量分析、用户访问行为分析、辅助运营分析、多维流量分析等模块,具有数据采集、数据建模、数据查询、数据报表、数据备份等功能,可以从多个纬度掌握门户网站的数据流量。经黑龙江信息港的运行实践表明,该门户流量分析系统为网站运营管理者掌握用户属性、了解用户需求导向,提供了可信、有力的数据支撑,具有应用价值。     

基于IPFIX的DNS异常行为检测方法

提出了一种基于IPFIX（IP数据流信息输出）网络流量数据准确检测可疑和异常DNS、识别DNS流量放大攻击行为的算法。该算法已在清华大学校园网实际部署运行,能够有效检测到校园网内部DNS的异常行为并发送告警信息,从而及时控制攻击行为,实现异常流量的及时监测和预警。     

一种基于spark的边缘云大数据分析算法研究

算力和时延等要求不断提高,加速了边缘计算(MEC)的规模应用,边缘计算将计算和存储功能下沉至网络边缘的数据生产侧,将传统云计算的部分处理任务迁移至边缘计算节点,提升了用户体验,但同时,分布式计算产生海量日志数据,对运维管理提出了更高要求。文章以云宽带边缘大数据为例,探索并提出了一种基于spark的日志数据的分析算法实现,并对比了Hadoop MapReduce在分析过程中的效率,该实现能够有效解决边缘计算中普遍存在的度量分析效率的问题。     

高速网络中基于特定业务流的流量测量方法研究

介绍了目前国内外对高速网络进行流量测量采用的几种主要方法一标识大流法、修改网络协议栈法、抽样法和高性能硬件法，同时讨论了它们各自的不足，并分析了RPC2722测量方法在高速网络中存在的主要问题。针对这些问题，提出了一种基于特定业务流的流量测量方法．这种方法的关键在于设计一个高速流匹配算法和设计测量数据在内存的存储方法。论文提出的多阶段无冲突散列归并(MIPNCHM)流匹配算法，匹配速度可达2Mpps，内存消耗低。论文还提出了测量数据在内存记录和卸出的方法，可实现测量数据按分钟卸出，而时间粒度保持在秒。     

高可用SDN控制器主从分布式系统设计

软件定义网络(SDN)控制器系统是整个网络的大脑,为了降低控制器单点故障造成的影响,设计了一种简单可靠且可用性更强的主从分布式系统和基于优先级及非抢占的主从选举算法,选举过程不再受限于健康节点数量;简化了Raft算法日志复制系统,设计了一套简单高效的主从增量/全量数据复制流程;结合数据持久化存储及恢复功能,实现系统重启...     

移动互联网时代的用户上网行为分析浅谈

移动互联网技术的高速发展带来了数据流量的爆炸式增长,如何利用自身系统存储的用户上网行为数据来摆脱目前流量增速远大于其对应的收入增速的困境,成为运营商在移动互联网时代面临的一大难题。文章从数据挖掘的角度出发,分析数据中隐藏的用户行为,并细化分类,构建流量差异化计费体系,从而全面提升流量价值,增强运营商的核心竞争力。     

基于混沌理论与改进回声状态网络的网络流量多步预测

网络流量预测是网络管理及网络拥塞控制的重要问题,针对该问题提出一种基于混沌理论与改进回声状态网络的网络流量预测方法。首先利用0-1混沌测试法与最大Lyapunov指数法对不同时间尺度下的网络流量样本数据进行分析,确定网络流量在不同时间尺度下都具有混沌特性。将相空间重构技术引入网络流量预测,通过C-C方法确定延迟时间,G-P算法确定嵌入维数。对网络流量时间序列进行相空间重构之后,利用一种改进的回声状态网络进行网络流量的多步预测。提出一种改进的和声搜索优化算法对回声状态网络的相关参数进行优化以提高预测精度。利用网络流量的公共数据集以及实际数据进行了仿真,结果表明,提出的预测方法具有更高的预测精度以及更小的预测误差。     

基于改进卷积神经网络的交通标志识别方法

针对智能交通系统中小尺度交通标志识别率低的问题,文中提出一种改进卷积神经网络的交通标志识别方法。该方法通过在Faster R-CNN算法的低层特征图上增加优化的RPN网络,提升了小尺度交通标志的检测率。该方法还利用Max Pooling方法实了现图像的局部细节特征与全局语义特征充分融合。在TT-100K数据集上稍微实验结果表明新方法可以明显提高小尺度交通标志的识别率。     

HTTP malicious traffic detection method based on hybrid structure deep neural network

In response to the HTTP malicious traffic detection problem,a preprocessing method based on cutting mechanism and statistical association was proposed to perform statistical information correlation as well as normalization processing of traffic.Then,a hybrid neural network was proposed based on the combination of raw data and empirical feature engineering.It combined convolutional neural network (CNN) and multilayer perceptron (MLP) to process text and statistical information.The effect of the model was significantly improved compared with traditional machine learning algorithms (e.g.,SVM).The F₁value reached 99.38% and had a lower time complexity.At the same time,a data set consisting of more than 450 000 malicious traffic and more than 20 million non-malicious traffic was created.In addition,prototype system based on model was designed with detection precision of 98.1%~99.99% and recall rate of 97.2%~99.5%.The application is excellent in real network environment.     

Network traffic classification method basing on CNN

Since the feature selection process will directly affect the accuracy of the traffic classification based on the traditional machine learning method,a traffic classification algorithm based on convolution neural network was tailored.First,the min-max normalization method was utilized to process the traffic data and map them into gray images,which would be used as the input data of convolution neural network to realize the independent feature learning.Then,an improved structure of the classical convolution neural network was proposed,and the parameters of the feature map and the full connection layer were designed to select the optimal classification model to realize the traffic classification.The tailored method can improve the classification accuracy without the complex operation of the network traffic.A series of simulation test results with the public data sets and real data sets show that compared with the traditional classification methods,the tailored convolution neural network traffic classification method can improve the accuracy and reduce the time of classification.     

Multi-service differentiated traffic management optimization strategy in cloud data center

In order to cope with the traffic management for multi-service differentiated in cloud data centers,improving network performance and service experience,the multi-service differentiated (MSD) traffic management model was designed that can suit operational requirements in cloud data center.Fibonacci tree optimization (FTO) algorithm was improved according to the MSD model.MSD-FTO traffic management strategy was proposed in SDN cloud data center.Simulation results show that the strategy takes advantage of FTO global optimization ability and multi-modal adaptive performance.Through the global local alternating optimization of the algorithm,differentiation traffic management schemes are obtained as needed,the problem of multi-services differentiated traffic management is solved in operator cloud data center that improve network performance and service experience in cloud data center effectively.     

LTE网络中业务识别方案的研究与实现*1

为了实现对长期演进(Long Term Evolution,LTE)网络的业务识别,分析了S1接口用户面协议栈,利用模块化设计思想实现了对S1接口流量的业务识别.针对传统业务识别系统识别度低、统计能力不强的缺陷,在传统的业务识别系统基础上,提出了一个多识别的业务识别方案,实现了对业务类型的精确识别.经过现网数据测试验证,所设计的多识别的业务识别方案达到了预期的效果,在LTE移动通信网络业务识别领域具有推广意义.     

一种基于区域缓存的BitTorrent流量控制机制

以BitTorrent为代表的P2P应用流量已占据电信运营商网络流量的60%以上,由于BitTorrent客户端主要依据上传速度来选择传输节点,并不能检测到同一区域网络中存在具有相同数据的客户端,导致经常出现通过网间路由器的重复流量,降低了带宽的使用效率。提出通过设置透明的代理tracker服务器和设立分布式的peer缓存管理系统,使得将BitTorrent流量尽量控制在区域网络范围内,减少通过骨干路由的流量,同时使得BitTorrent客户端也能得到更快速的下载。     

Internet中的相变现象及一种新的相变业务流模型

本文从宏观的角度阐述了Internet的网络行为和业务流相变现象的特性,讨论了相变现象的存在对于网络系统的行为和控制带来的影响,并提出了一种改进的能够真实地反映出汇聚业务流的基本统计物理特征的网络业务流模型,仿真结果验证了本文提出的改进模型的有效性.     

入侵检测中基于检测点覆盖度的包流量模型

无线传感器网络入侵检测系统无论采用哪种框架模型和算法,对其性能评估都需借助于模拟的实验平台。在这个模拟的实验平台中,数据流量模型成为评估入侵检测系统性能客观而全面的重要因素。根据监测区域内目标检测点的覆盖度,提出了一种适用于无线传感器网络入侵检测应用的包流量模型,并通过仿真对理论分析进行了验证。仿真和实际应用表明,该流量模型为无线传感器网络的流量构建了一种数据源模型,根据实际流量负载对无线传感器网络的入侵检测系统的性能进行评估,不仅精确度较高,且易于分析。     

大型IP网络时延的主成分分析

网络时延是评估网络性能的关键指标之一。主成分分析(PCA)是数据挖掘领域常用的一种多变量分析和降维算法。通过对大型IP网络时延进行PCA分析,旨在挖掘网络时延的深层原因及网络各节点间的相互依赖关系,并搭建一个科学合理的网络时延评价体系,最终得到IP网络建设、优化改造的有效建议。对历史网络时延进行离线分析只是主成分分析方法的一种初步应用,今后可结合网络拓扑结构、现网流量流向、路由、距离等相关因素,将主成分分析方法应用到针对网络流量、网络时延、网络丢包等网络性能的实时在线监测分析中,进一步提升网络运营的效率和质量。