基于字符串随机率特征和随机森林算法的改进钓鱼网站检测系统

本文结合URL字符串随机率和URL字符特征，通过Wrapper方法筛选出一组新特征。通过对比不同机器学习算法的准确率，回归率等四个不同的指标，确定以随机森林算法构建了基于URL随机率和随机森林的钓鱼网站检测系统。本系统在实验测试集上表现出的准确率为96.49%，在全体实验数据集上表现的准确率为99.19%。实验相关结果表明，方案改进了钓鱼网站检测的准确率。     

基于URL特征检测的违法网站识别方法

为高效识别违法网站,提出一种基于URL特征检测的识别方法。基于报文请求行信息中用户访问路径的分级特点,构建基于路径相似度的网站相似度计算模型,并使用Python编程语言实现模型的分布式计算。采用Fast Unfolding算法进行网站聚类并抽取违法网站的URL特征,从中筛选出准确率高、具有特定含义的特征作为有效的违法网站特征,并通过检测未知网站是否具有违法网站的URL特征识别出违法网站。实验结果证明,该方法能有效度量同类网站间的关联程度,结合Fast Unfolding算法能有效区分不同类型的网站。与基于URL词法特征、HTM L、语义特征的违法网站识别方法相比,其F-M easure值最高。     

一种不良图片快速过滤方法

本文提出了一种不良图片快速过滤的方法,该方法通过建立不同颜色空间上的混合肤色模型,用Adaboost算法进行人脸的准确定位,分析典型的肤色区域的几何特征等技术,能实现对包含不良信息图片的快速而准确的检测.实验结果显示,该方法对不良图片的检测平均可以达到80%以上的准确率,对于能够检测出人脸区域的图片,准确率可以达到98%.     

基于异常特征的钓鱼网站URL检测技术

典型的网络钓鱼是采用群发垃圾邮件,欺骗用户点击钓鱼网站URL地址,登录并输入个人机密信息的一种攻击手段。文章通过分析钓鱼网站URL地址的结构和词汇特征,提出一种基于异常特征的钓鱼网站URL检测方法。抽取钓鱼网站URL地址中4个结构特征、8个词汇特征,组成12个特征的特征向量,用SVM进行训练和分类。对PhishTank上7291条钓鱼网站URL分类实验,检测出7134条钓鱼网站URL,准确率达到97.85%。     

基于Windows终端信息过滤的网络访问控制研究

为防范终端从网络中获取不良信息,分析了常见的网络访问控制和信息过滤方法,建立了基于终端信息过滤的网络访问控制模型。该模型通过综合分析URL地址/关键字I、P地址和协议等信息来识别不良网站,通过分析网页文本关键词识别不良网页。基于Windows网络过滤驱动技术,开发了一款Windows终端网络信息过滤和访问控制软件。该软件拦截Win-dows终端的网络访问数据流,应用建立的网络访问控制模型,实现了对不良网站和网页的访问控制。     

融合多种特征的恶意URL检测方法

随着Web应用的日益广泛,Web浏览过程中,恶意网页对用户造成的危害日趋严重.恶意URL是指其所对应的网页中含有对用户造成危害的恶意代码,会利用浏览器或插件存在的漏洞攻击用户,导致浏览器自动下载恶意软件.基于对大量存活恶意URL特征的统计分析,并重点结合了恶意URL的重定向跳转、客户端环境探测等逃避检测特征,从页面内容、JavaScript函数参数和Web会话流程这3个方面设计了25个特征,提出了基于多特征融合和机器学习的恶意URL检测方法——HADMW.测试结果表明：该方法取得了96.2%的精确率和94.6%的召回率,能够有效地检测恶意URL.与开源项目以及安全软件的检测结果相比,HADMW取得了更好的效果.     

基于AdaCostBoost算法的网络钓鱼检测

针对日益严重的网络钓鱼攻击, 提出机器学习的方法进行钓鱼网站的检测和判断. 首先, 根据URL提取敏感特征, 然后, 采用AdaBoost算法进行训练出分类器, 再用训练好的分类器对未知URL检测识别. 最后, 针对非平衡代价问题, 采用了改进后的AdaBoost算法--AdaCostBoost, 加入代价因子的计算. 实验结果表明, 文中提出的网络钓鱼检测方法, 具有较优的检测性能.     

分析多类特征和欺诈技术检测JavaScript恶意代码

JavaScript作为一种编程/脚本语言,已经广泛应用于Web开发,以增加更多的动态功能和效果,最终改善用户体验。然而它的动态特征在提升用户与网站的交互能力的同时也带来了安全问题。通过注入恶意JavaScript代码,攻击者可在网页中加入恶意内容,传播病毒、木马,实现网络钓鱼攻击。通过对大量网页恶意代码的研究,对网页JavaScript恶意代码特征进行分类,构建了基于JavaScript代码基本统计信息,基于混淆技术、基于URL重定向技术,基于恶意攻击过程四类特征的分类模型。采用多种基于机器学习的分类方法对恶意代码样本进行检测,完成对该分类模型的验证。实验表明,基于上述特征形成的分类模型对恶意代码具有较好的识别能力。     

融合域名注册信息的恶意网站检测方法研究

恶意网站已经严重危害到人民生活、生产的安全。然而,目前基于机器学习算法的恶意网站检测方法所使用的特征提取方法却比较单一,没有充分利用域名注册信息等网站本身之外的数据。本文在WOE算法的基础上,有效的对域名注册信息进行了融合,丰富了恶意网站的特征,提出了一种融合域名注册信息的恶意网站检查方法。实验表明本方法在恶意网站的检查结果上有了一定提高。     

大数据环境下基于决策树的恶意URL检测模型

恶意网址URL检测一直是信息安全防御技术领域的研究热点之一。针对传统恶意URL检测技术无法自主探测未知URL,并且缺乏适应大数据时代发展的能力等问题,设计并实现了一种基于大数据技术,结合决策树算法与黑白名单技术的恶意URL检测模型。该模型基于Spark分布式计算框架,利用已知URL训练集提取特征、训练决策树分类模型,然后用已有分类模型对黑白名单无法检测出的URL进行分类预测,达到检测目的。实验证明,构建的检测模型具有很好的检测效果和稳定性。     

基于J2EE的综合管理信息系统

随着网络信息技术的发展,为提高我局政务办公的水平,实现电子政务办公与政务管理提供了技术支撑,本文介绍了一个基于J2EE的福建省综合管理信息系统的结构、功能及实现原理,并对系统中的关键技术进行了详细说明．实践证明,基于该J2EE的综合管理系统,可靠性高,稳定性强,极大地提高了我省气象部门综合政务管理能力与信息共享程度．     

Web信息抽取及知识表示系统的研究与实现

研究了从数据密集型Web页面中自动提取结构化数据并形成知识表示系统的问题。基于知识数据库实现动态页面获取,进行预处理后转换为XML文档,采用基于PAT-array的模式发现算法自动发现重复模式,结合基于本体的关键词库自动识别页面数据显示结构模型,利用XML的对象-关系映射技术将数据存入知识数据库,由此实现Web数据自动抽取。同时,利用知识数据库已有知识从互联网抽取新知识,达到知识数据库的自扩展。以交通信息自动抽取及混合交通出行方案生成与表示系统进行的实验表明该系统具有高抽取准确率和良好的适应性。     

基于单片机的电梯控制仿真系统

提出了一种以单片机系统负责模拟用梯指令信号的采集,以PC上位机软件对指令信号进行处理结果反馈控制的电梯控制仿真系统框架.在电梯控制仿真系统软件设计的基础上,采用模块化设计的方法,研究了基于单片机的电梯控制仿真系统的控制策略和硬件设计.该系统使用和扩展方便,为各种新型电梯控制技术的进一步研究提供平台.     

网页数据自动抽取系统

在Internet中存在着大量的半结构化的HTML网页。为了使用这些丰富的网页数据,需要将这些数据从网页中重新抽取出来。该文介绍了一种新的基于树状结构的信息提取方法和一个自动产生包装器的系统DAE(DOMbasedAutomaticExtraction),将HTML网页数据转换为XML数据,在提取的过程中基本上不需要人工干预,因而实现了抽取过程的自动化。该方法可以应用于信息搜索agent中,或者应用于数据集成系统中等。     

基于多知识的Web网页信息抽取方法

从Web网页中自动抽取所需要的信息内容,是互联网信息智能搜取的一个重要研究课题,为有效解决网页信息抽取所需的信息描述知识获取问题,这里提出了一个种基于多知识的Web网页信息抽取方法（简称MKIE方法）。该方法将网页信息抽取所需的知识分为二类,一类是描绘网页内容本身表示特点,以及识别各网信息对象的确定模式知识,另一类则描述网页信息记录块,以及各网页信息对象的非确定模式知识,MKIE方法根据前一类知识,动态分析获得后一类知识;并利用这两类知识,最终完全从信息内容类似担其表现形式各异的网页中,抽取出所需要的信息,美大学教员论文网页信息抽取实验结果表明,MKIE方法具有较强的网而信息自动识别与抽取能力。     

An XML-enabled data extraction toolkit for web sources

The amount of useful semi-structured data on the web continues to grow at a stunning pace. Often interesting web data are not in database systems but in HTML pages, XML pages, or text files. Data in these formats are not directly usable by standard SQL-like query processing engines that support sophisticated querying and reporting beyond keyword-based retrieval. Hence, the web users or applications need a smart way of extracting data from these web sources. One of the popular approaches is to write wrappers around the sources, either manually or with software assistance, to bring the web data within the reach of more sophisticated query tools and general mediator-based information integration systems. In this paper, we describe the methodology and the software development of an XML-enabled wrapper construction system—XWRAP for semi-automatic generation of wrapper programs. By XML-enabled we mean that the metadata about information content that are implicit in the original web pages will be extracted and encoded explicitly as XML tags in the wrapped documents. In addition, the query-based content filtering process is performed against the XML documents. The XWRAP wrapper generation framework has three distinct features. First, it explicitly separates tasks of building wrappers that are specific to a web source from the tasks that are repetitive for any source, and uses a component library to provide basic building blocks for wrapper programs. Second, it provides inductive learning algorithms that derive or discover wrapper patterns by reasoning about sample pages or sample specifications. Third and most importantly, we introduce and develop a two-phase code generation framework. The first phase utilizes an interactive interface facility to encode the source-specific metadata knowledge identified by individual wrapper developers as declarative information extraction rules. The second phase combines the information extraction rules generated at the first phase with the XWRAP component library to construct an executable wrapper program for the given web source.     

VN-KIM IE: Automatic Extraction of Vietnamese Named-Entities on the Web

The most fascinating advantage of the semantic web would be its capability of understanding and processing the contents of web pages automatically. Basically, the semantic web realization involves two main tasks: (1) Representation and management of a large amount of data and metadata for web contents; (2) Information extraction and annotation on web pages. On the one hand, recognition of named-entities is regarded as a basic and important problem to be solved, before deeper semantics of a web page could be extracted. On the other hand, semantic web information extraction is a language-dependent problem, which requires particular natural language processing techniques. This paper introduces VN-KIM IE, the information extraction module of the semantic web system VN-KIM that we have developed. The function of VN-KIM IE is to automatically recognize named-entities in Vietnamese web pages, by identifying their classes, and addresses if existing, in the knowledge base of discourse. That information is then annotated to those web pages, providing a basis for NE-based searching on them, as compared to the current keyword-based one. The design, implementation, and performance of VN-KIM IE are presented and discussed.     

用于构建个性化门户的页面分解算法研究

为了帮助用户在低带宽、高延迟的情况下快速切入自己需要的页面,并自动得到页面中自己感兴趣的部分,该文提出了一个基于Web Component的页面分解算法。算法首先将HTML页面格式化为XHTML形式,然后根据XHTML页面生成XMLDOMTree,从中分析、抽取Web Component作为独立实体,并给这些Web Component分配标识,最后在数据库中存储页面结构、Web Component及相关信息,用于构建个性化门户。     

利用JTidy和XML实现Web数据信息的批量提取

为了有效地在Web上进行数据信息的提取,实现Web数据的清理与集成,针对发布批量格式化数据的网页类型,提出了利用XML和JTidy自动从Web页面批量提取数据信息的方法.根据该类网页的特点,基于开发一种通用程序的思想,对页面标签结构进行分析与分类,讨论了识别数据元素和对数据元素进行分组等提取过程中的难点,在此基础上建立了总体扫描与提取的算法.实验结果表明了批量提取信息方法的可行性与有效性.     

Self-maintaining web pages

Data-intensive web-based information systems usually employ database systems to store the contents forming the basis for web page construction. Generating web pages on the fly, especially in peak times, can lead to severe performance problems. Thus, pre-generation of web pages has been suggested to be ready for prime time, allowing to reliably deliver several hundred pre-generated pages per second. Maintaining the consistency of these web pages with respect to changes within the database in an efficient way, however, represents a major challenge. This paper presents a novel approach for “self-maintaining” web pages that is, different to previous approaches, characterized by a simple (and thus, easy to maintain) database-to-web page mapping and very low page re-generation costs. This is achieved by utilizing fragmentation techniques from distributed databases, by allocating parameterized fragment classes to web page classes (rather than individual fragments to single web pages), and using the Extensible Markup Language (XML) as an intermediate layer between the database and the final web pages.