大规模语料的频繁模式快速发现算法

提出了一种大规模语料频繁模式快速发现算法，通过采用合适的策略将语料划分为若干子语料，对每个子语料单独进行处理，即可获得原始语料的频繁模式；同时该算法能够避免处理频次在设定阈值以下的模式，进一步减少了内存占用，提高了处理速度。实验表明，对3．6G互联网新闻语料发现频次大于100的所有频繁模式中最高消耗内存为1．6GB，单机平均每秒处理文本语料3．28M。     

一个P2P分布式数字签名系统

提出了一个基于P2P网络的分布式数字签名系统（PDDSS），利用 peer节点进行CA的数字签名运算，取代了传统CA的集中式服务器。系统具有低成本，高可扩展性，高可用性和容侵性，同时采用可验证门限技术和主动密码技术确保CA私钥的安全。     

一种高效的面向轻量级入侵检测系统的特征选择算法

特征选择是网络安全、模式识别、数据挖掘等领域的重要问题之一.针对高维数据对象,特征选择一方面可以提高分类精度和效率,另一方面可以找出富含信息的特征子集.文中提出一种wrapper型的特征选择算法来构建轻量级入侵检测系统.该算法采用遗传算法和禁忌搜索相混合的搜索策略对特征子集空间进行随机搜索,然后利用提供的数据在无约束优化线性支持向量机上的平均分类正确率作为特征子集的评价标准来获取最优特征子集.文中按照DOS,PROBE,R2L,U2R 4个类别对KDD1999数据集进行分类,并且在每一类上进行了大量的实验.实验结果表明,对每一类攻击文中提出的特征选择算法不仅可以加快特征选择的速度,而且基于该算法构建的入侵检测系统在建模时间、检测时间、检测已知攻击、检测未知攻击上,与没有运用特征选择的入侵检测系统相比具有更好的性能.     

基于对等网络的全文信息检索

基于P2P方式的信息检索系统相对集中式信息检索系统具有成本低、可扩展性好、容错性强等优点，可充分挖掘网络边缘资源，并可提供个性化的信息服务．然而如何在纯P2P环境下实现全文检索并定位目标资源是困难的．当前，采用广播查询的非结构化P2P(如Gnutella)和采用分布式Hash表方式的结构化P2P(如CAN)都不能直接实现全文检索．针对这个问题，提出了基于质心法的结构化P2P全文检索方法，并建立模拟程序，对检索的性能与效果做了初步的验证．实验结果表明了该方法的有效性．     

基于层叠隐马模型的汉语词法分析

提出了一种基于层叠隐马模型的汉语词法分析方法，旨在将汉语分词、词性标注、切分排歧和未登录词识别集成到一个完整的理论框架中．在分词方面，采取的是基于类的隐马模型，在这层隐马模型中，未登录词和词典中收录的普通词一样处理．未登录词识别引入了角色HMM：Viterbi算法标注出全局最优的角色序列，然后在角色序列的基础上，识别出未登录词，并计算出真实的可信度．在切分排歧方面，提出了一种基于N-最短路径的策略，即：在早期阶段召回N个最佳结果作为候选集，目的是覆盖尽可能多的歧义字段，最终的结果会在未登录词识别和词性标注之后，从N个最有潜力的候选结果中选优得到．不同层面的实验表明，层叠隐马模型的各个层面对汉语词法分析都发挥了积极的作用．实现了基于层叠隐马模型的汉语词法分析系统ICTCLAS．该系统在2002年的“九七三”专家组评测中获得第1名，在2003年汉语特别兴趣研究组(ACL Special Interest Groupon Chinese Language Processing，SIGHAN)组织的第1届国际汉语分词大赛中综合得分获得两项第1名、一项第2名．这表明：ICTCLAS是目前最好的汉语词法分析系统之一，层叠隐马模型能够解决好汉语词法问题．     

理想的Web IR服务模式的研究

1 引言信息检索(information retrieval,IR)指的是从一个文档集合中查找出包含有与用户的信息需求相关的信息内容的文档或文本。Web IR(Web information retrieval)指的是在Web环境下的IR问题。Web的出现,将含量、异构、动态数据的处理这样一个新的课题摆在了人们的面前。本文在分析了WebIR的特点,特别是Web用户信息检索的特点之后,从用户需求的角度,对架构Web IR的理想的服务模型提出了我们的一个构想,并分析了理想Web IR模式实现所需要的主要技术支持。     

文本的图表示初探

文本表示是文本信息处理中的基础问题,以向量空间模型(VSM) 为代表的多数文本表示模型没有考虑文本中特征项之间的序关系,这样的表示造成文本语义信息的损失。我们尝试在文本表示中引入序关系,用图结构来表示文本,提出了一种新的文本表示模型—图表示模型,并对该模型的表示效果进行了验证。实验结果表明目前我们的表示模型仍达不到VSM模型所取得的表示效果。本文总结了文本表示过程,提出了一种新颖的用于度量文本表示模型表示能力的方法,同时也提出了一系列与文本图表示相关的值得探讨的问题。     

元搜索引擎及其实现

单个搜索引擎的索引和处理能力的提高赶不上Web数据的快速增长,结果是任何单个搜索引擎只能索引Web的一部分文档,用户需要的文档分布在许多搜索引擎的文档数据库中,元搜索引擎是架构在许多搜索引擎之上的搜索引擎,它利用各个成员搜索引擎提供的服务,能够高效方便地找到这些文档,然后合并成员搜索引擎返回的结果呈现给用户,实现了一个元搜索引擎系统,并给出建立一个高效的元搜索引擎的关键技术和经验。     

基于特征选择的轻量级入侵检测系统

基于特征选择的入侵检测系统处理的数据含有大量的冗余与噪音特征,使得系统耗用的计算资源很大,导致系统训练时间长、实时性差,检测效果不好.特征选择算法能够很好地消除冗余和噪音特征,为了提高入侵检测系统的检测速度和效果,对基于特征选择的入侵检测系统进行研究是必要的.综述了这一领域的研究进展,从过滤器、封装器、混合器3种模式对基于特征选择的轻量级入侵检测系统进行分类比较,分析和总结各种系统的优缺点以及它们各自适用的条件,最后指出入侵检测领域特征选择的发展趋势.特征选择不仅可以提升入侵检测系统的性能,而且使得对入侵检测的研究向特征提取算法的方向转移.     

网络大数据:现状与展望

网络大数据是指“人、机、物”三元世界在网络空间(Cyberspace)中交互、融合所产生并在互联网上可获得的大数据.网络大数据的规模和复杂度的增长超出了硬件能力增长的摩尔定律,给现有的IT架构以及机器处理和计算能力带来了极大挑战.同时,也为人们深度挖掘和充分利用网络大数据的大价值带来了巨大机遇.因此,迫切需要探讨大数据的科学问题,发现网络大数据的共性规律,研究网络大数据定性、定量分析的基础理论与基本方法.文中分析了网络大数据的复杂性、不确定性和涌现性,总结了网络空间感知与数据表示、网络大数据存储与管理体系、网络大数据挖掘和社会计算以及网络数据平台系统与应用等方面的主要问题与研究现状,并对大数据科学、数据计算需要的新模式与新范式、新型的IT基础架构和数据的安全与隐私等方面的发展趋势进行了展望.