非页面日志信息在改进会话识别中的应用研究

会话识别是web日志挖掘数据预处理的关键步骤,其质量对日志挖掘结果有重要影响。文章介绍了现有的会话识别方法,提出了利用数据清洗中废弃的图片等日志数据和web图结构,改进会话识别中的页面分组规则和路径补全算法,并通过实验证实方法对改善会话识别质量是有效的。     

网络舆情危机评价指标的一种约简方法

针对连续属性的网络舆情数据存在冗余和不确定的问题,提出了一种改进的粗糙集方法来对网络舆情危机指标进行定量筛选.首先根据现有指标体系建立评价指标初始信息表,对连续属性采用布尔推理离散化的高效实现算法进行数据预处理,降低复杂度;然后基于粗糙集可识别矩阵计算属性重要度,从而删除冗余指标.实证分析结果表明,采用此方法可保证候选...     

光纤陀螺组合的多尺度多传感器数据融合

针对四个光纤陀螺的冗余组合,提出一种多尺度多传感器数据融合算法。该算法对4个光纤陀螺的冗余组合数据进行预处理,并对各个尺度上小波变换的系数采用自适应权值的方法进行数据融合,最后采用合适阈值和阈值函数对融合后的小波系数进行重构。仿真结果表明,该算法可以有效提高光纤陀螺组合系统的可靠性和精度,融合后的光纤陀螺组合精度可以提高一个数量级。     

基于投影阈值分割和数字序列校正的高噪声数字仪表图像识别方法

针对数字仪表图像噪声大、图像特征信息不足导致图像识别准确率低的问题,提出了一种基于卷积递归神经网络结合投影阈值分割和数字序列校正的高噪数字仪表图像识别方法。首先,用投影阈值分割二值化算法对图像进行预处理：使用垂直投影法将图像划分为不同区域,根据不同区域的噪声强度自适应设定二值化阈值,对图像进行二值化处理,降低噪声;其次,根据图像之间数字规律变化特点,利用数字序列校正算法将单个数字识别转换为数字序列识别,通过对比不同数字序列的识别概率得出识别结果,解决单张图像特征信息不足导致识别准确率低等问题。实验结果表明,在高噪声数据集上,相较于卷积递归神经网络模型,提出的高噪声数字仪表识别模型在准确率方面提高了约61.95%,达到93.58%。     

适用于空间网络的并行冗余算法

为满足空间网络高可靠性和容错性的要求,在IEC-62439协议标准基础上,提出了一种基于循环丢弃栅格的冗余算法,该算法支持并行冗余网络结构,通过更细颗粒度地识别冗余控制位(RCT)中的序号信息和调整丢弃范围,实现冗余数据丢弃;通过数值仿真和逻辑验证方法对算法进行了正确性和有效性验证,结果表明,该算法可在丢帧、乱序等复杂环境下正确接收冗余数据。     

手背静脉图像的降噪和分割研究

手背静脉识别是一种新兴的生物特征识别技术。根据手背静脉图像的特点,对静脉图像预处理进行了研究。静脉图像预处理分为图像的降噪和静脉图像的分割两部分。提出了一种混合噪声滤除算法,在判断出的脉冲噪声基础上,根据连通性去掉被误判成脉冲噪声的边缘,有效地滤除了静脉图像中的脉冲噪声和高斯噪声,且较好地保护了静脉图像的细节特征;采用了局部动态阈值算法NIBlack算法对图像进行分割。很好的提取出了手背静脉。     

工程网络可靠性分析的网络简化方法

针对含关节点的工程网络可靠性分析,提出了1种冗余子网消除技术。这种简化技术利用关节点进行冗余子网识别和删除,因此网络可靠性可以在精简网络上快速计算。选取USAir97数据集的部分网络进行试验。试验结果表明,利用冗余子网消除技术,可大量降低网络可靠性的计算时间,从而提高网络可靠性分析算法的性能。     

冗余信息对话轮发展的影响研究

冗余信息广泛存在于日常会话中,适度的冗余在言语交际过程中能够帮助交际者达到交际目的并促进交际的成功。从会话分析的角度,探讨日常会话中冗余信息对话轮发展的影响,以提高交际者运用冗余信息的能力,使冗余信息能更好的为日常口语交际服务。     

面向振动信号的滚动轴承故障诊断算法综述

针对机械设备在运行中滚动轴承是极易发生故障的关键部件.文中从数据预处理、故障特征提取与特征识别三方面对滚动轴承故障诊断经典算法进行梳理,论述了各种算法的主要原理、特征和应用场合.对比了基于小波阈值降噪-CEEMDAN能量熵-PSO-LSSVM和基于小波阈值降噪-GA-VMD-VNWOA-LSSVM两种故障诊断方法与经典...     

基于PCA和半监督聚类的入侵检测算法研究

针对网络入侵检测数据存在大量冗余信息和传统聚类算法对离群点检测不足的问题,提出一种基于主成分分析(principal component analysis, PCA)和半监督聚类的入侵检测算法。首先使用PCA对数据进行特征提取,消除数据间的冗余属性;然后利用少量已标记样本和成对约束信息,通过引入竞争凝聚让系统主动学习,以实现对大量未知样本的检测。在入侵检测数据集和UCI基准数据集上的实验结果表明,该算法能有效提高系统的性能。     

Web日志数据预处理

Web日志信息的预处理是Web日志挖掘任务中的重要阶段,是整个Web日志挖掘过程的基础,在Web日志挖掘中起着重要的作用,数据预处理关系到Web日志挖掘的质量.对数据预处理的基本知识及Web日志数据预处理的四个阶段进行了综述和研究,并给出了一些算法的伪码以及经过预处理的事务在实际事务数据库中的存储形式.     

一种无线传感器网络分层拓扑推断算法

无线传感器网络中网络拓扑对配置网络资源、优化网络性能具有十分重要的作用.根据在汇聚节点收集到的网络节点报文接收/丢失的信息,提出了一种基于数据聚合的分层拓扑发现算法,该算法同时可以实现对传感器网络节点的分层.针对目前的拓扑发现算法在网络链路丢包率较低的情况下无法快速推断出网络拓扑的问题,提出了一种使部分节点进入睡眠状态的方法推断低丢包率条件下的网络拓扑.仿真结果表明,提出的算法可以利用较少的观测数据准确快速地推断传感器网络的拓扑.     

一种基于Bayesian网络的网页推荐算法

为改善用户的Web页面访问行为、提高访问效率, 设计了一种基于贝叶斯网络的网页推荐模型及推荐算法。通过收集和分析服务器中的描述文件和日志文件,利用Bayesian网络分析页面间的依赖关系,构建了基于贝叶斯网络的网页推荐模型并产生推荐集。通过在Microsoft公司提供的网络日志数据集上做的实验,可以获得超过80％的准确率和覆盖率。理论分析和实验结果表明,算法能够在线实时向用户做出个性化的推荐,与已有的推荐算法相比,算法能较快地给出推荐集,并且可以获得更高的准确率和覆盖率。     

大数据下监控网络混合入侵信息检索仿真

针对传统的监控入侵信息检索方法存在检索精度低、召回率高、检索耗时长等问题,提出一种大数据下监控网络混合入侵信息检索方法.采用遗传算法对特征集进行优化选择,引入偏F检验对选择最优子集,组成优化特征集,并构建冗余信息消除模型,消除混合入侵信息中的冗余信息.以信息检索理论为依据,引用LDA模型对文档的话题进行建模,构建入侵信息检索模型,完成大数据下监控网络混合入侵信息检索.结果表明,所提方法的检索精度较高,能够有效提高入侵信息检索效率,降低检索耗时,且召回率平均值约为24%,优于其他方法,具有一定可行性.     

一种适于高维时间序列的特征提取方法

为了获得更多的信息，越来越多的数据利用多路传感器进行采集，由此产生了大量的超高维时间序列。特征的提取在处理和传输这些数据中起到至关重要的作用。为此，提出一种最优鉴别平面（ODP）技术以消除数据冗余。该平面由两个在Fisher准则基础上建立起来的相互垂直的矢量组成，将模式样本投影到ODP上可得到二维特征矢量。为了衡量特征的有效性，分别用二次判别函数分类器和阈值矢量分类器对特征进行分类测试。同时，以心电信号为例对ODP方法进行测试，结果表明，该方法应用于超高维数据的特征提取是行之有效的。     

基于用户浏览兴趣模糊聚类研究

聚类分析在面向电子商务的数据挖掘中具有重要的意义,网络信息提供服务亟待从用户被动接受访问到电子商务站点对用户进行主动信息推送服务。本文主要研究运用模糊聚类技术针对用户浏览兴趣度量实现用户群组划分,并进行有针对性地网页推荐、商品推荐和服务推荐。     

NIA2： A fast indirect association mining algorithm

Indirect association is a high level relationship between items and frequent item sets in data. There are many potential applications for indirect associations, such as database marketing, intelligent data analysis, web -log analysis, recommended system, etc. Existing indirect association mining algorithms are mostly based on the notion of post - processing of discovery of frequent item sets. In the mining process, all frequent item sets need to be generated first, and then they are fihered and joined to form indirect associations. We have presented an indirect association mining algorithm （NIA） based on anti -monotonicity of indirect associations whereas k candidate indirect associations can be generated directly from k - 1 candidate indirect associations, without all frequent item sets generated. We also use the frequent itempair support matrix to reduce the time and memory space needed by the algorithm. In this paper, a novel algorithm （NIA2） is introduced based on the generation of indirect association patterns between itempairs through one item mediator sets from frequent itempair support matrix. A notion of mediator set support threshold is also presented. NIA2 mines indirect association patterns directly from the dataset, without generating all frequent item sets. The frequent itempair support matrix and the notion of using tm as the support threshold for mediator sets can significantly reduce the cost of joint operations and the search process compared with existing algorithms. Results of experiments on a real - word web log dataset have proved NIA2 one order of magnitude faster than existing algorithms.     

海面声探测多目标数据预处理算法

该文针对复杂电磁环境下的海面声探测系统,造成传感器接收到多目标原始数据中,含强杂波、强噪声密集,提出了一种基于海面声探测多目标数据预处理算法.在最近邻数据关联基础上,利用方位角信息变化率、方位角相关性,采用拟合的方式及最近邻原则来解决目标关联及去噪问题.并由实验数据验证了算法的有效性,实现了强杂波、强噪声干扰下多目标数...     

Web日志挖掘数据预处理方法研究

Web日志挖掘通过分析Web服务器的日志文件发现用户访问站点的浏览模式,预处理是保证高效、快速地挖掘到正确、有用的模式最为关键的环节.笔者分析了数据预处理的具体过程,并对数据预处理方法进行了深入的研究.     

双层聚类模型在日志数据分析中的应用

提出了一种基于自组织特征映射( SOM)神经网络和模糊c-均值( FCM)的双层聚类方法,对Web日志中的日志数据集进行聚类。第一层是无监督SOM神经网络聚类方法,它所产生的类的个数大大减少了原始数据集的个数,降低了FCM对类初始中心点的依赖;然后利用FCM聚类算法的优势对第一层中产生的类的中心点进行聚类,从而大大减少了聚类的时间复杂度;最后通过平行坐标技术可视化展示聚类前后的日志数据集,方便对日志数据进行分析。