基于Heritrix的增量式爬虫设计与实现

Heritrix是一个开源的、可扩展的Web爬虫,页面下载功能强大,但Heritrix被定义为一个通用网络爬虫,其在增量爬取方面功能有限。针对目前使用较为广泛的两个Heritrix版本,首先讨论Heritrix 1.14.4增量功能模块的不足之处,然后基于Heritrix 3.x,详细阐述一套新的增量功能框架的设计方案,这个框架既能有效利用Heritrix 3.x的页面下载功能,又能高效地对数据进行增量抓取。     

多线程Web应用中Web Worker池的管理方案与性能研究

提出一种Web Worker池动态管理方案,本方案使开发者无需在程序运行之前确定最优的Web Worker运行数量,而是使程序在运行时自动调整Web Worker数量,从而保证程序的最优性能.该方案解决了运行多线程Web应用时需要提前获知运行环境信息的缺点,同时也解决运行时环境不确定性带来的问题.     

Protocol Buffer在Android企业云通讯录中的应用

本文介绍了在Android企业云通讯录中,应用Protocol Buffer进行数据更新的使用方法,并通过实验测试数据,对XML(extensible markup language)、JSON(JavaScript object notation)、Protocol Buffer进行时间和空间性能比较.     

IaaS云资源池中VLAN划分及IP池管理

VLAN划分和IP池管理是IaaS云资源池对网络资源进行分配的重要环节,合理规划管理VLAN和IP地址对于提高网络安全性、稳定性、高效性有非常重要的意义。本文从工程实践角度,将传统的VLAN及IP地址分配方式与云计算资源池网络自动化的特点相结合,进行实际应用方面的设计,有着重要的实践意义。     

基于USSD协议的移动智能网业务管理平台

本文首先介绍了GSM(Global System for Mobile Communications)非结构化补充数据业务USSD(Unstructured Supplementary Service Data)的工作机制,然后介绍了USSD的业务模式及特点,最后提出了一种可以方便用户使用的基于USSD协议的移动智能网业务管理平台的实现方案.     

彩铃业务与呼叫转移补充业务间的冲突解决

本文首先介绍了基于智能网方案下彩铃业务的信令流程和特征,然后按照呼叫转移补充业务的分类,结合彩铃业务的特点和性质,讨论了各类呼叫转移业务和彩铃业务之间存在的业务冲突,并给出了解决业务冲突的3种方案,最后再对3种方案进行了综合的比较和评价.     

自适应聚类片选内容分发模型

设计了一种内容分发网络中基于聚类算法和片选策略的内容分发模型,以达到适应不同内容类型和提高分发效率的目的,这种模型克服了传统内容分发模型在内容支持上的局限性,可根据模型内参数的自动调整适应不同类型(块式或者流式)内容的分发,并且提高分发的效率;详细描述了这种模型的工作流程、内容传送方式、网络拓扑结构、聚类算法和片选策略等,阐述了其优越性。     

基于Hadoop的Web日志预处理的设计与实现

Web日志预处理是Web日志挖掘的重要步骤,是通过Web日志获得准确信息的前提,直接影响后续的挖掘算法精确性.本文针对海量Web日志,提出并基于分布式计算平台Hadoop实现了一种改进的Web日志预处理方法.通过Hadoop平台与单机的性能对比,证明了Hadoop进行Web日志预处理的高效性.     

服务型O2O订单处理方案设计

互联网对传统行业的渗透,使得O2O应用层出不穷.服务行业中,作为O2O应用的核心部分,订单管理连接了用户、商家、资金流、信息流.结合O2O服务常见的用户需求,本文设计了一种较为普适的订单处理协作方案,包括订单流的状态流转,订单自动分配以及订单管理系统分层技术架构.该设计针对服务型O2O应用可拓展性较强,实际应用表明,该设计行之有效.     

基于智能网的彩铃业务方案设计

彩铃业务的解决方案主要分为两类,一类是基于交换机,另一类是基于智能网。智能网方案是在原有呼叫流程中通过智能网控制方式修改了原有MT流程的放音过程从而实现彩铃业务,对于一个非关键过程的修改不应该危害原有的MT流程,否则势必导致基本通话业务的业务质量的下降。因此,笔者提出的方案以健壮性作为设计的关键,通过以下方式保证原有业务质量不会因为引入新业务恶化,同时充分利用资源设备。*引入的智能网设备都依据电信设备的可靠性要求设计,最大限度地保证其有效性和稳定性;*业务触发时,SCP根据IDP中所携带的用户状态,采用不同的策略;…