基于优先级队列的分布式多主题爬虫

在分布式环境中,为提高资源利用率和网页抓取效率,提出一种基于优先级队列的分布式多主题爬虫调度算法PQ‐MCSA。利用基于缓存的扩展式哈希算法对整体任务集进行切割,按照URL逻辑二级节点哈希映射法,将分割后的子任务集均匀地分配到各处理节点中;利用单处理节点的计算能力结合构建的任务优先级队列进行不同主题任务的调度。该算法改善了传统分布式爬虫对单节点的处理资源调度不充分、多主题任务爬取不均匀等缺点。实际项目的应用结果表明,使用该方法能够有效地提高各主题爬取结果的均衡度,具有较强的实用性。     

无线传感器网络分簇路由节能研究

在大规模传感和环境监测中,节约能源延长传感器节点生命已成为无线传感器网络最重要的研究课题之一。提供合理的能源消耗和改善无线网络生命周期的传感器网络系统,必须设计一种新的有效的节能方案和节能路由体系。方案采用一种聚类算法减少无线传感器网络的能量消耗,创建一种cluster-tree分簇路由结构的传感器网络。该方案主要目标是做一个理想的分簇分配,减少传感器节点之间的数据传输距离,降低传感器节点能源消耗,延长寿命。实验结果表明,该方案有效地降低了能源消耗从而延长无线传感器网络生命。     

基于层次树模型的Deep Web数据提取方法

网络在成为信息查询和发布平台的同时,海量的信息隐藏在查询受限的Web数据库中,使得人们无法有效地获取这些高质量的数据记录.传统的Deep Web搜索研究主要集中在通过关键字接口获取Web数据库内容.但是,由于Deep Web具有多属性和top-k的特点,基于关键字的方法具有固有的缺点,这就为Deep Web查询和检索带来了挑战.为了解决这个问题,提出了一种基于层次树的Deep Web数据获取方法,该方法可以无重复和完整地提取Web数据库中的数据记录.该方法首先把Web数据库模型化为一棵层次树,Deep Web数据获取问题就转化为树的遍历问题.其次,对树中的属性排序,缩小遍历空间;同时,利用基于属性值相关度的启发规则指导遍历过程提高遍历效率.最后,在本地模拟数据库和真实Web数据库上的大量实验证明,这种方法可以达到很好的覆盖度和较高的提取效率.     

基于URL过滤与内容过滤的网络净化模型

在信息时代里,信息爆炸似地增长着,而为数众多的不良信息充斥其中。针对这种现状,许多的公司与研究机构都提出了自己的过滤模型。文中在研究过去模型的基础上,提出了一种高效可靠的网络净化模型。该模型在运用WCCP协议的前提下,结合了URL过滤和内容过滤这两种过滤方法对网络信息进行过滤,改进了传统的URL过滤算法。     

多Agent的自动协商

协商是多Agent系统实现协调、协作和冲突消解的关键环节。如何构造有效的协商模型来提高Agent的协商能力，是多Agent系统研究中待解决的问题之一。文章主要讨论了双边多项目协商问题，提出了相应的协商模型、协议和协商算法，具有一定的通用性。     

模糊聚合算子在医疗诊断中的应用

模糊性是客观世界的固有属性。该文用Dubois的平均聚合算子M和Yager的有序权平均算子OWA来改进Sanchez和Umeyama的诊断模型,使结果更稳定。     

基于Iceberg概念格叠置半集成的全局闭频繁项集挖掘算法

研究专有的分布式数据挖掘算法是提高分布式数据库下数据分析和挖掘的有效方法.结合Iceberg概念格对于频繁项集精简表达的特性和其集成构造过程可并行化的特点,进而实现分布式全局闭频繁项集的挖掘.面对目前仍然缺乏有关Iceberg概念格分布式集成构造研究的文献,本文从理论上分析Iceberg概念格叠置集成构造全局Iceberg概念格的局限性,然后论证了基于Iceberg概念格叠置半集成构造全局Iceberg概念格的可行性,进而提出一个基于Iceberg概念格叠置半集成的频繁概念生长分布算法(Frecogd),并且把它应用于同构分布式环境下的全局闭频繁项集挖掘过程中.实验验证了该算法理论的可行性,同时也揭示了该算法的挖掘效能有待进一步的改进与提高.     

大数据环境下的多源数据演化更新研究

大数据环境下的多源数据呈现出数据量大、数据种类多、数据变化快的特点,这些特点对数据更新提出了新的挑战。通过分析大数据下多源数据的特点,定义了演化数据的概念,基于此建立了大数据的动态变频遍历更新模型。首先通过抽象数据的演化方式,建立了演化数据的势与稳定性概念,从而推导出更一般的代数意义上的演化运算工具;其次通过将运算工具导入大数据数据更新的实际应用中,推导出基于概率的变频遍历与动态权值模型;最后通过实验验证了在大数据环境下动态变频遍历模型(Dynamic Frequency Conversion Traversal,DFCT) 对多源数据具有较高的更新效率。     

基于时空感知的用户角色推理

随着大数据和信息技术的发展,更好地理解用户的行为轨迹在个性化推荐、广告推荐等方面越来越重要。该文依据大数据环境下的城市计算理论,提出一种基于情境感知的用户角色推理模型。通过用户的行为轨迹分析其行为的时空特性;结合时间、语义分析等构造识别用户角色概率推理模型;通过算法克服识别用户角色的主观性、动态适应性差等问题。实验结果证明了该文所提模型的可行性、精确性和预测准确性。     

D\\+3MOPSO：一种基于用户偏好的元搜索排序聚合演化方法

随着网络数据的爆发式增长和用户需求的多元化发展,现有元搜索排序聚合方法在精度和性能上面临着巨大挑战.以满足用户的多重需求和个性化偏好为目标,提出了一种新的元搜索排序聚合算法.通过重新定义多目标粒子群优化算法(multi-objective particle swarm optimization, MOPSO)中粒子的属性,调整速度变化因子,改进种群初始化和演化机制,设计新的存档与更新策略以及引导微粒选择策略,提出了一个基于支配分解的离散多目标优化(D\\+3MOPSO)算法,使其能根据用户的质量需求偏好在大规模离散解空间中快速准确地找出最优解集.在多个数据集上的实验结果表明：当数据规模较小时,D\\+3MOPSO算法的精度和性能接近机器学习排序聚合方法;在大规模数据环境下,其精度和性能优于机器学习方法以及同类多目标优化方法.