海量数据采集技术在IDC不良信息监测系统中的应用研究

本论文阐述了某电信企业在建设IDC不良信息监测系统过程中,为高效处理每天数十T的海量数据,选取了多种数据提取技术,进行反复方案论证和实验对比,最终选择了HADOOP脚本+FTP方式,极大提高了数据提取效率,实现了海量数据高效采集和处理,保证IDC不良信息监测系统能够及时发现、处理IDC中包含的不良信息,助力IDC业务健康发展,避免给国家、社会带来负面影响。     

基于分布式网络爬虫的移动互联网用户行为分析系统研发

随着3G时代的到来,传统的移动运营分析模式存在的弊端日益明显：一方面由于用户手机终端对网络的方问日渐增多,传统的分析模式已经不足以完全反映用户行为画像的实际情况,无法准确定位用户行为喜好,从而无法做出精准营销;另外一方面,目前WAP网关中存在大量用户网络访问日志,此类数据没有被很好地加以挖掘,无法形成有效的用户知识,不管在用户分析还是客户营销支撑工作,都没有发挥其应有的效能.因此,建设移动互联网用户行为分析系统,通过网络爬虫及云计算平台的支撑手段挖掘WAP网络日志的用户知识,完善对用户的认知,在此基础上支撑精准营销工作.