浅析互联网视听节目监测系统的数据采集过程

内蒙古互联网视听节目监测系统的数据采集利用几台搜索机共同运行,并行合作来抓取信息.数据采集范围包括内蒙古自治区整个监管范围内全部含有音视频节目的网站.数据采集过程中,需要对网站进行搜索,并对重点网站的视音频节目进行增量抓取,同时将节目中所包含文本信息也一并抓取出来.本文以内蒙古互联网视听节目监测系统为平台,分析研究了互...