基于Scrapy和Hadoop平台的房屋价格数据爬取和存储系统

本文提出基于Scrapy和Hadoop的房屋价格爬取及存储系统,利用Scrapy框架通过多线程爬取,爬取结束后执行完整性检查,过滤出信息不完整的网页,进行再次爬取直到信息完整,以文本文件的形式存入HDFS(Hadoop Distributed File System),然后对爬取到的网页进行数据分析,提取出有价值的数据。     

附着式半钢制集成爬架在高层建筑施工中的应用

目前高层建筑物外防护多采用爬架,爬架施工属于一级危险施工。半钢爬架在传统爬架的基础上采用特制链接件,将钢网片连接于外侧竖向或者横向的大横杆上,替换原来安全网。本文以西山海伦堡A4A5项目采用的半钢制集成爬架为例,阐述半钢制集成爬架在工程施工中的应用及特殊部位处理。     

大数据数字媒体时代网络爬虫技术下的精准招商

大数据时代如何有效的获取网络中的数据,并有效的应用数据成为人们关注的重点,在精准招商的过程中,利用网络爬取技术获取企业的有效信息,能够提高招商的效率,通过对网络爬虫技术在精准招商中的应用情况进行分析,探讨了基于Python语言的网络爬虫技术,为获取精准招商数据提供了新的方法与途径。     

基于主题网络爬虫的程序设计资源库建设研究

目前,在国内高校中程序设计课程的资源库建设工作尚未普及,大多数教学资源存在较为严重的老旧、重复等问题,难以满足师生日益增长的对大量新颖教学资源的需求。针对现在流行的网络爬虫框架进行分析和选择,在现有框架的基础上设计了一种适合资源库建设的爬虫系统,利用爬虫的自动化特性完成教学资源库的内容获取及入库工作。同时,选用Scrapyredis对爬虫进行拓展,利用Redis实现对目标网站资源的分布式爬取,提高获取资源的速度。选用SimHash算法对爬取到的资源内容进行相似度判别,过滤掉相似度过高的资源,完成对资源库的增量更新,提高获取到的资源的质量。经测试,研究的系统初步满足资源库建设的自动化需求,能够获取有效的教学资源。     

基于用户画像的哈尔滨融创室内滑雪场使用后评价（POE）与提升策略

通过爬取用户网络在线评论文本,建立以用户需求为核心的室内滑雪场使用后评价模型,以此为基础建立哈尔滨融创雪世界室用户画像,进而分析不同用户体验要素的差异化需求并提出优化提升策略。     

探析数据爬取中的相关知识产权问题

在大数据时代,随着搜索引擎利用的日益常态化,数据爬取也随之迅猛发展,势必由此产生许多法律层面问题。本文将从知识产权保护的角度,对数据爬取衍生出的知识产权问题以及法律适用进行分析。     

外附式塔吊在超高斜交网格混合结构塔台中的研究与应用

结合青岛胶州国际机场塔台工程,介绍了外附式塔吊在超高斜交网格混合结构塔台中的关键施工技术。对塔吊的选型要点、链接附件优化与创新、与爬架的协作优化等关键技术进行了总结,结果表明,该施工工艺成功解决了外附式塔吊与长细比较大的钢外网-钢筋混凝土剪力墙内筒结构的连接附着难、外附式塔吊与外爬架相互影响等难题,可供类似项目借鉴。     

燃气输配突发事件应急处置的知识图谱构建

摘 要：基于知识图谱（Knowledge Graph）技术对燃气突发事件及其应急处置信息进行知识抽取、知识表示,提出了燃气突发事件应急处置的知识图谱构建方法,为后期进行完整的应急处置管理提供技术支撑。为解决燃气突发事件应急处置案例样本少的问题,采取网络爬虫技术爬取网络燃气突发事件应急处置案例,并以爬取的燃气突发事件应急处置案例及某燃气公司提供的燃气突发事件应急处置案例为研究对象,自顶向下建立燃气突发事件应急处置层次结构模型。利用BiLSTM-CRF模型和拓扑网络图进行案例中的实体抽取,通过实验验证实体抽取的有效性;定义实体间的关系并采用半监督协同训练的方法进行分类;利用Neo4j图数据库将燃气突发事件及应急处置方法知识图谱可视化。通过3个实际案例进行验证分析,证明上述方法的可靠性。     

城市综合体休闲体育空间的满意度评价及影响因子分析

使用者满意度反映了空间品质的高低,度量使用者满意度对于提高综合体休闲体育空间品质具有重要的意义。本文以上海3处城市综合体为例,通过网络数据爬取、多元回归分析等方法构建体育空间评价指标体系,对使用者满意度进行评价,确定影响满意度的因子。对影响因子进行图示化归纳,并形成满意度提升的空间设计策略。     

浅析深度链接的侵权行为的特殊性

针对现在社会公民更多使用网络的现状,为了保护被深度链接的侵权所损害的合法权益,我们有必要研究深度链接侵权行为。通过理解深度链接的定义,来探讨深度链接侵权行为的特殊性,从而提出对立法上的建议,更好的规范深度链接行为。