一种改进URL保护算法研究

针对传统URL保护算法存在暴露实现细节的问题,提出一种采用MD5和AES保护URL的改进算法。首先将原始URL和密钥key1按规定顺序装配,计算MD5检验和,并将检验和嵌入原始URL得到防篡改URL;其次使用密钥key2对防篡改URL执行AES加密得到加密URL;最后对加密URL进行编码,得到受保护URL。解析过程逆向操作,期间验证检验和,丢弃无效请求。在PHP中测试两种保护算法的性能,结果表明改进算法与传统算法相比,生成速度变为原来的2倍,解析速度变为原来的0.8倍。而相比传统算法,改进算法具有保密性特点,能够提高Web应用的安全性。     

基于短链接的URL保护模型研究

针对基于加密保护统一资源定位符(Uniform Resoure Locator,URL)的算法模型存在安全和性能问题,提出一种基于短链接保护URL的映射模型。映射模型将要访问的URL映射为一个短链接,将映射关系存入KK高速缓存,返回短链接给用户。然后用户访问短链接,系统截获该请求,查询高速缓存将短链接解析为URL,再将URL替换为真实的请求,完成后续的处理流程。整个映射模型中,用户只能看到短链接,无法获取进一步的信息,也不能修改GET参数,从而达到保护系统的目的。在PHP中测试发现,映射模型比算法模型快几十倍。映射模型具有处理速度快和不存在密钥泄漏威胁等优点,能够提高Web应用的安全性。     

基于Java语言提取网站内部URL的算法

对于一个网站的信息检索或者是拓扑结构研究,首要的问题就是提取整个网站内部的URL。本文给出了一种实用有效的提取网站内部URL的方法。     

基于Java7语言提取网站内部URL的算法

对于一个网站的信息检索或者是拓扑结构研究,首要的问题就是提取整个网站内部的URL.本文给出了一种实用有效的提取网站内部URL的方法.     

基于CPat-Tree的URL索引模型裁剪方法

海量URL会造成网络内容过滤系统索引效率低下。该文提出一种基于CPat-Tree改进的URL分级信息存储模型的裁剪算法,通过键值相似度实现键聚类,直接对存储数组遍历以合并相似的叶子节点,减少索引占用空间,提高查询效率。该方法裁剪前后的存储空间变化效果取决于键相似度,因此其具有良好的扩展性。     

基于Rabin指纹方法的URL去重算法

针对现有URL检索算法占用存储空间较大,对重复率高的URL集合检索速度较慢,使Web Spider的效率降低的问题,提出了一种改进的URL去重算法.此算法基于Rabin指纹方法,以URL的指纹为地址,仅用一位数据标识一条URL,每次检索仅需对相应的一位数据的值做一次判断.实验表明,该算法能有效去除URL集合中重复的URL.提高检索速度.     

基于URL过滤与内容过滤的网络净化模型

在信息时代里,信息爆炸似地增长着,而为数众多的不良信息充斥其中。针对这种现状,许多的公司与研究机构都提出了自己的过滤模型。文中在研究过去模型的基础上,提出了一种高效可靠的网络净化模型。该模型在运用WCCP协议的前提下,结合了URL过滤和内容过滤这两种过滤方法对网络信息进行过滤,改进了传统的URL过滤算法。     

基于URL过滤与内容过滤的网络净化模型

在信息时代里，信息爆炸似地增长着，而为数众多的不良信息充斥其中。针对这种现状，许多的公司与研究机构都提出了自己的过滤模型。文中在研究过去模型的基础上，提出了一种高效可靠的网络净化模型。该模型在运用WCCP协议的前提下，结合了URL过滤和内容过滤这两种过滤方法对网络信息进行过滤，改进了传统的URL过滤算法。     

基于CATBL算法的恶意URL检测

为提高对恶意U RL检测的准确率,提出一种结合注意力机制的卷积神经网络和双向长短时记忆网络并联联合算法模型(CATBL).提取用于表达恶意URL二进制文件内容相似性的纹理图像特征,提取URL信息特征及主机信息特征,将这几种特征进行融合,利用CNN(convolutional neural network)挖掘深层次局部特征,采用Attention机制调整权重和双向LSTM(bidirectional long short-term memory)提取全局特征,用于对网络中的恶意URL进行检测.实验结果表明,使用该算法检测恶意U RL的准确率达到98.8％,与传统检测方式相比,具有明显的提升.     

基于URL模式集的主题爬虫

为提高主题爬虫的性能,依据站点信息组织的特点和URL的特征,提出一种基于URL模式集的主题爬虫。爬虫分两阶段,在实验爬虫阶段,采集站点样本数据,采用基于URL前缀树的模式构建算法构建URL模式,形成模式关系图,并利用HITS算法分析该模式关系图,计算出各模式的重要度;在聚焦爬虫阶段,无需预先下载页面,即可利用生成的URL模式判断页面是否主题相关和能否指导爬虫深入抓取,并根据URL模式的重要度预测待抓取链接优先级。实验表明,该爬虫相比现有的主题爬虫能快速引导爬虫抓取主题相关页面,保证爬虫的查准率和查全率,有效提高爬虫抓取效率。     

基于Agent和XML的Web页面信息抽取研究与设计

在以前相关研究的基础上,提出了一个建立在Agent和XML基础上的Web页面信息抽取的原型系统。在这个原型系统里,利用Agent的自治能力和合作能力来协助用户对抽取请求进行公式化表述和结合知识库学习抽取规则等。另外,系统还用XML语言描述抽取请求和抽取规则,在其中加入一些语义信息,这些语义信息可被有效利用,从而提高抽取的精确性。     

一个基于数据库的Web Cache的设计与实现

介绍了一个基于数据库的Web Cache的设计与实现，构架于Jigsaw Web服务器运行环境，缓存的数据用数据库系统管理，使用UML描述了分析和设计过程。对方案的性能进行了分析，并与文件系统管理缓存数据的实现方案进行了比较，最后介绍了该方案的一个扩展应用。     

移动数据库缓存模型研究

针对移动数据库系统性能有待提高的问题,提出了一种移动数据库缓存模型。采用基于消息摘要的同步算法,通过比较移动客户端与服务器消息摘要表中的消息摘要值,完成缓存同步,维护移动客户端缓存与服务器数据的一致性;该模型还考虑了数据的时效性与事务的优先级,设计了一种基于价值函数的缓存替换算法。实验结果表明,随着缓存数据个数的增加,所提算法的缓存命中率高于最近最少使用(LRU)和LA2U算法,同时随着访问频率的增加,事务的重启率低于LRU和LA2U,有效提高了移动数据库缓存的性能。     

移动计算环境中基于广播的数据缓存策略

在研究了数据广播频率的变化对缓存策略的影响之后,提出以移动客户机（Mobile Client,MC）从广播中读取数据的平均响应时间为标准,来决定是否缓存该数据项。其优点是可以避免每次访问这些数据项等待较长时间,同时也可降低移动客户机缓存管理的代价,提高其工作性能。     

一种数字校园日志获取模型及实现方法

获得校园网访问日志的传统方法是利用镜像端口捕获数据包后根据协议解析获得,其特征是大量的数据包被集中处理,对硬件的要求较高,串接于主干的日志硬件系统可能引起潜在的网络运行故障。提出具有典型的C／S结构的呈分布处理特征的设计方法。该方法首先基于数字签名技术配合校园网登录系统在客户端下载安装具有能获得访问日志的软件,之后,基于非混杂模式捕获数据包直接提取目志经简单清洗后基于UDP协议发往日志服务器并进行处理。最后给出了系统实现方法。     

自适应的数据库查询缓存

传统的缓存采取较为机械的管理方法,不能随数据库运行的动态信息调整自身参数以得到更优的性能。数据库语义缓存能够让数据库“理解”查询语义,可以为数据库的动态调节提供信息。而查询缓存是语义缓存的一种,在 SQL解析与查询执行之间,通过研究查询缓存的自主管理来提高数据库的查询性能。首先介绍了数据库常用的语义缓存与自主计算,然后对查询缓存进行了形式化定义,并提出了自适应的查询缓存模型。最后在MySQL的查询缓存上进行了实验,得到了较好的效果。     

Aligned prefix caching based on singleton information

In recent years, the lookup speed of Content Address Memory (CAM), a hardware solution for IP caching, is greatly improved. CAM is a good candidate for lightweight routing-lookup modules on input line-cards in parallelism router architecture. In this paper, we propose aligned-ancestor poisoning (AAP) and aligned-prefix caching (APC) to enhance IP caching. In particular, AAP is a marking scheme for tree-based routing tables. Routing-lookup results thus carry additional singleton information, which indicates whether predefined aligned prefixes are cacheable or not. APC is a caching scheme to utilize such routing-lookup results. To properly configure AAP and APC, we further investigate the properties of referred singleton prefixes. Our trace-driven simulations show that the required cache size can be significantly reduced, compared with the conventional destination caching scheme.     

纯XML数据库语义缓存综述

介绍了语义缓存、XML查询语言等概念,对现有的多种纯XML数据库语义缓存技术及其实现、技术特点等进行了详细的阐述。在讨论了当前语义缓存的研究中遇到的新问题与挑战之后,介绍了一种语义缓存匹配视图的快速查找算法U ViewMatch,并总结了语义缓存的技术路线。