基于Web数据挖掘的探索

随着互联网的快速发展,Web数据挖掘已经成为当今热门的研究主题。本文介绍了Web数据挖掘的基本概念、Web数据的特点及其Web数据挖掘分类,并对Web数据挖掘技术的研究进行讨论。利用Apriori算法发现频繁集,找到页面间的关联规则。针对网页超链接结构的特点:一条超链接只能建立在两个网页上,发现频繁集只要找出所有2-项集即可,从而提出网页超链接挖掘的NApriori算法。NApriori算法显著提高了Apriori算法的效率。     

浅谈基于Hadoop平台的大规模数据排序

据IDC统计,2011年全球处理的数据量达到1.8 ZB,预计到2020年达到40 ZB.如何对海量数据进行高效分析和有效管理已成为大数据时代亟需解决的问题之一.商业数据、科学数据和网页数据这3类海量数据的异构性(充满着非结构化、半结构化和结构化数据)进一步增加了海量数据的处理难度.海量数据排序是海量数据处理的基本内容之一.Hadoop曾利用3 658个节点的集群在16.25小时内完成1PB数据的排序,获得Daytona类GraySort和MinuteSort级别的冠军.本文在设计层面上对Hadoop平台上海量数据排序策略进行分析.     

基于子主题选择与三级分层结构的Web文本挖掘方法

针对用户和查询之间的意图差距导致的查询模糊宽泛和数据稀疏问题,根据流行性和多样性返回可能子主题的排名列表,利用子主题选择与排序的分层结构进行Web 文本挖掘。首先,在名词性短语和可替代部分查询的基础上,使用简单模式提取各种相关的短语作为候选子主题;然后,使用网页文档集合中的相关文档构建候选子主题的三级层次结构;最后,综合考虑流行性和多样性,利用该结构和估计的流行度进行排序。实验使用了NTCIR-9库的100个日文查询和来自TREC 2009库的100个英文查询以及网络跟踪多样性任务,实验结果验证了本文方法可有效应用于各种搜索,对于高排名的子主题挖掘优于外部资源。     

面向网页分类的网页摘要方法

网页分类是网络挖掘的重要研究内容之一.与文本分类相比,网页分类面临的困难更多.去除网页中的噪声信息可以提高网页分类的精度,基于摘要的网页分类方法利用了这一思想.本文对三种传统的网页摘要方法进行了分析和改进,提出了Content Body摘要方法以及基于四种摘要方法的混合摘要方法;在此基础上,进行了大量基于摘要的网页分类实验.实验结果表明,所有的摘要方法都可以提高分类效果,其中混和摘要方法效果最好,可以使分类的F1值得到12.9%的改进.     

站内搜索的研究与实现

目前,站内搜索已经成为网站建设必不可少的模块。概述了站内搜索的意义,并对常用站内搜索技术进行了比较,分析了各种常用站内搜索技术的优缺点,提出新的站内搜索系统解决方案,即基于Hibernate Search的站内搜索系统。     

基于网页日志的频繁模式挖掘

频繁模式挖掘应用广泛,是数据挖掘中的一个重点研究领域,频繁模式挖掘应用的其中一个领域就是基于网页日志的数据挖掘。在网页日志中发现频繁模式的目的是获得用户的网络浏览行为模式,这些信息可以为广告设计以及创建动态用户日志提供参考。从网页数据挖掘的角度研究了三种频繁模式挖掘方式,这三种方式分别是：网页设置、网页序列以及网页图片挖掘。     

一种基于XML的Web信息数据库的构建方法

随着Web网页信息容量的不断增大,在Web网页搜索信息的时间越来越长,为了加快用户提取数据信息的快速性和有效性,在Web信息数据库中融入XML数据技术,并采用JTidy和Dom4j等开源工具对XML数据进行解析,加快各节点之间的信息查询。本文针对Web信息数据库的构建问题,在数据库的建立过程中融入XML数据,并介绍Web数据的挖掘方法、挖掘思路与挖掘框架,促进XML在Web信息数据库中的应用。     

动态采集与关联规则在个性化推荐中的应用

一个网站有多个网页组成,网站上的信息分布在这些网页上,不同的用户对不同的网页上的信息感兴趣,如何满足用户对敏感网页的高效访问,我们提出一个基于使用挖掘的Web站点个性化信息服务系统来解决问题.利用Web使用挖掘技术来分析用户的浏览模式,根据用户的当前访问需要,自动实时地为用户提供推荐页面,实现个性化服务.     

从基于超链接结构到面向语义网的网页排序研究

本文首先介绍了基于超链接结构的网页排序的思想和算法,重点介绍了PageRank算法和HITS算法,比较分析了二者的不同,进而指出了链接分析排序的优缺点.随后,笔者引入了语义网检索排序的原理及模型,认为提出建立面向语义网的搜索引擎技术,可以更好地改进网页排序.     

高维数据集中局部离散文本数据挖掘方法研究

提出利用基于多目标优化软子空间聚类理论的关联规则数据挖掘方法对高维数据集中局部离散文本数据实现数据特征有效挖掘。首先,利用多目标优化软子空间聚类思想结合非支配排序遗传理论优化加权类内紧致及加权类间分离函数,获取优化后的目标函数及非占优Pareto最优解集,运用加权子空间划分方法对最优解集完成特征聚类;其次,基于关联规则思想运用一种特征提取和关联文本的识别方法,对聚类后的文本特征进行文本间及文本内部的特征识别和分类,即实现了文本信息数据的有效挖掘。实验证明,利用多目标优化软子空间聚类数据挖掘方法可以有效实现高维集中局部离散文本数据的挖掘。     

基于CMMI的PDM设计

为了提供目前产品数据管理(Product Dato Management,PDM)系统对产品开发过程管理的控制能力,实现产品开发过程中的实时测量与监控,提高管理质量,结合能力成熟度模型(Capability Maturity Model Integration,CMMI)在软件领域的成功经验,适应硬件产品开发领域的需要,在介绍了CMMI的主要思想之后,重点论述了以CMMI为基础定制企业PDM系统的可能性。对产品开发框架进行了分析,提出了基于CMMI的PDM系统概要设计模型。     

服务器分区技术浅述

简要介绍了分区技术的定义，分区的组成、最低配置和用途，最后阐述了分区技术在工程中的应用。     

基于OC_SVM的Steghide检测算法

通过对使用隐写软件Steghide隐藏信息前后图像T、A、P点数目变化规律的分析,对每幅图像构造一个特征 向量,并且结合支持向量机提出一种基于OC_SVM的Stegthide检测算法,同时,实验结果给出了该算法在不同信息嵌 入量情况下的检测性能。     

通信与计算机领域伪代码一致性审查研究

通信、计算机领域的发明专利审查过程中,针对权利要求书中涉及伪代码的情形存在不同的审查观点.在对伪代码与自然语言、标记性程序语言进行辨析,以及对现行发明专利审查规范进行分析溯源的基础上,提出应站在技术人员的角度,按专利审查的一般标准,判断其是否符合专利申请的撰写规定和授权条件,权利要求是否清晰,再进行一致性审查的建议,对其他领域类似情形的发明专利审查具有借鉴意义.     

基于CAS的单点登录系统应用研究

随着信息系统的迅速发展,各类信息化应用系统逐步建立,但是各应用系统之间自成体系,从而导致了每使用一个系统就要重新登录一次,给用户的使用和管理员的管理带来了很多不便.本文研究基于CAS的单点登录系统应用,很好地解决了使用和管理困难问题,介绍了基于CAS的单点登录系统应用设计研究,系统采用用户管理LDAP轻量级目录服务、CAS中央认证服务,设计了一个统一管理界面,通过Web服务传递用户参数,实现了多应用系统的整合.     

基于片上可编程系统的视频车辆跟踪技术研究

针对目前具体产品中算法实现复杂且基于计算机(PC)平台的纯软件环境等问题.提出了一种视频车辆跟踪的嵌入式实现方法.利用可编程片上技术,使得视频检测摆脱PC平台的依赖.以Nios Ⅱ软核处理器和外设知识产权(IP)核为硬件平台,结合模拟/数字信号转换(A/D)和数字/模拟信号转换(D/A)的视频接口,以μC/OS为操作系...     

基于IMS的固定移动融合的探讨

分析了国内运营商当前所面临的困境与挑战,阐述了通过引入IMS进行固定移动融合解决当前面临的问题,重点对基于IMS的固定移动融合网络构架和实现固定移动融合的网络演进策略进行了相关的研究和探讨。     

基于混沌的保密通信研究

由于混沌系统对初始条件和混沌参数非常敏感以及生成的混沌系统具有非周期性和伪随机性的特性,近年来混沌系统在密码学领域中得到了较多的研究。提出了有关混沌系统在保密通信系统的实现方法。研究表明,该方法明显加强了混沌保密通信系统的安全特性。研究证明了它的有效性,正确性,可行性。     

基于MDA的电子商务平台的研究

平台迁移和软件适应需求变化能力的提高一直是电子商务应用中的难点,而MDA是解决该问题的一个有效的途径.该文主要对MDA的核心技术及框架模型作了剖析,最后以企业中的订购系统为例对此方法进行了阐述.