基于本体的Deep Web查询结果自动标注

为了获得完整统一的标注结果,将领域本体引入到查询结果语义标注过程中,给出基于本体的Deep Web查询结果自动标注框架,以解决接口数据类型的异构问题.该方法根据接口特征设计接口分析器,采用查询条件重置策略确定查询结果数据的语义标记.通过对多个不同领域Web数据库的测试,验证了该方法的有效性.     

基于图模型的Web数据库取样方法的解析

由于在Web数据库中存在着海量的信息,而这些信息隐藏在具有特定查询能力的查询接口后,从而为了解Web数据库的分布、更新等内容特征带来的困难,最终阻碍了Deep Web数据集成。文章基于这一问题提出了一种新的数据采样方法,这种方法可以以增量的方式通过查询接口从Web数据库中获取近似随机样本,同时利用已经保存在本地的样本记录生成下次查询。     

网络家用纺织品资源抽取方法

针对目前网络家纺资源采集方式在处理海量网络资源尤其是深网资源时效率低下的问题,提出了一种自动化的网络家纺资源抽取方法。该方法首先根据查询接口属性有限性和收敛性的特征,构建领域模型对深网查询接口进行识别,然后利用家纺领域关键词自动填写查询接口,抽取深网家纺资源;对于返回的查询页面,为过滤与抽取与主题无关的噪声信息,对页面进行视觉分块,利用标记的分块样本数据训练分块重要度模型,并利用该模型过滤与主题无关的噪声信息。实验结果表明,领域模型识别深网查询接口的阳性预测值和准确率比基于规则的方法分别提高了8%和6%,分块重要度模型过滤噪声的准确率和召回率的调和平均数值在3 个等级上比基于规则方法的正确率平均提高了12.90%。     

基于Web数据挖掘的资源服务系统

根据Web数据流的特点,采用Web数据挖掘技术设计了一个资源服务系统:利用关联、聚类、分类等算法对离线数据进行挖掘,利用概要数据库、滑动窗口、近似因子等技术对动态数据进行处理.该系统由用户层、挖掘层及数据层组成,可实现用户交互、数据流挖掘及数据处理、提供数据资源等功能.该系统还可进行各种类型网站的Web数据挖掘,作为推广开发服务平台,实现网站资源服务系统的功能,应用于校园网挖掘的效果较好.     

基于逻辑实现的模糊匹配算法在Web信息过滤中的应用

为改善Web信息过滤中模式匹配过程消耗大量系统资源的状况,将基于逻辑实现的模糊匹配算法应用到信息过滤的数据预处理模块,通过硬件电路先过滤掉大量不可能匹配的数据包,再对小量可疑数据包进行第二次匹配.实验表明,该算法大大减轻了系统的负担并得到了较高的匹配速率.     

多支持度关联规则的研究

关联规则是当前数据挖掘研究最重要的分支之一,目前的关联规则挖掘多采用单一的最小支持度。多支持度的关联规则挖掘算法根据事务项本身的特点分别规定其各自的最小支持度,对原有的Apriori算法进行了改进。     

基于改进的模式匹配算法的SQL注入攻击防范技术

SQL注入是一种Web应用程序安全漏洞,攻击者能够提交由Web应用程序执行的数据库SQL命令,从而暴露后端数据库。在网络安全中模式匹配被用于检测恶意数据包,大多数模式匹配采用静态分析技术,而在现有系统中使用的算法内存占用率较高。文章提出了使用改进的Aho-Corasick模式匹配算法的SQL注入攻击的检测和防范技术,使用SQLMAP工具和AIIDA-SQL技术检查用户生成的SQL查询是否存在SQL注入。然后通过采用静态模式匹配算法检查用户生成的SQL查询,如果出现任何形式的新异常,则会将新的异常模式更新为现有的静态模式列表,重复的关键字只存储一次,整体内存消耗降低。     

一种挖掘关联规则的改进算法

为了解决关联规则挖掘过程中会生成大量关联规则的问题,提出了一种基于集合枚举树的挖掘关联规则的改进算法.此算法在不丢失任何信息的情况下只生成关联规则的某些前件集,大大减少了关联规则的生成数量,提高了用户分析关联规则结果的效率.     

关联规则挖掘Apriori算法的改进

在分析研究关联规则挖掘Apriori算法及其若干改进算法基础上,对Apriori算法做了进一步地改进,提出一种基于条件判断的新思路。改进后的算法根据条件采用了事物压缩与候选项压缩的相结合方式,减少了不必要的开开销,从而提高了挖掘速度。     

基于正负关联规则的告警根因计算方法

在大型IT系统中偶尔会出现故障状况或异常,为及时抢通业务,需要采用快速定位告警根因的方法。常用的告警根因分析方法主要是关联规则分析,而普通的关联规则面对大量数据存在一定缺陷,可能会挖掘到统计学上相关但是逻辑上不相关的无效告警关联规则。文章提出一种基于正负关联规则的告警根因计算方法,采用错误日志、告警的聚类压缩处理方法,结合机器设备之间的拓扑关联关系,对异常事件进行正负关联度分析挖掘,找到两两异常事件之间的关联关系,作为故障根因的判断依据。在实验数据部分,得到较为准确的根因分析结果,证明该算法能减少冗余无效规则,提高挖掘效率。