面向用户的本体爬虫研究与设计

针对传统搜索引擎不能满足用户个性化、专业化需求的缺点,提出了一种面向用户和领域本体的搜索策略,设计了一个面向用户的本体爬虫系统.该系统采用改进的获取领域相关信息的检索策略来获取信息,并且在爬虫内部设计了用户定义的优先队列.实验证明,该系统提高了页面查询的精确率和召回率.     

基于Scrapy爬取电商药品数据及数据可视化分析处理

随着互联网的普及,网上药店也应运而生,在网上购买药品也成为一种大众化的需求。为了能够了解药品在电商平台中的销售情况,本文利用Scrapy爬虫框架高效地从网络上爬取药品数据,通过对爬取的药品数据进行可视化处理,为用户在网上买药提供参考。     

网络爬虫探讨及应用

随着互联网信息技术的快速发展和大数据时代的到来,越来越多用户借助于网络搜索、在线浏览等平台,进行所需要数据信息的获取,而最常用的信息获取方式为网络爬虫。文章从爬虫概念、工作原理、爬虫分类和合法性进行了探讨,并通过实例展现了Python爬虫的简洁性,望对学习者有所帮助。     

针织原料价格的主题网络爬虫设计与实现

网络数据形式的多样性以及复杂程度对数据获取造成影响,为了能在互联网中获取自身需要的个性化数据,实现数据自动收集整理,利用数据库技术和主题网络爬虫技术,并将Python作为主要开发语言,设计基于Python的主题网络爬虫系统,实现针织原料成本的数据提取及关键字自动获取,并在互联网中对相关信息进行自动解析及检索。详细介绍系统的工作原理、体系结构、设计开发过程及实现过程。实践证明,所设计的主题网络爬虫系统能够快速获取原料价格信息,为后续数据的挖掘研究提供了支持。     

对土地流转信息进行网络爬虫的实现与优化

大数据与数字化时代下,对各类数字信息的收集、整理与分析成为人文社科研究方法之一,然而目前大部分信息往往作为深层网络数据,分散于信息发布平台中,在无法从后台数据库取得相关信息的条件下,网络爬虫是获取这些信息的快捷手段。以"土流网"为例,使用"后羿采集器"作为实现网络爬虫的主要工具,设计网络爬虫的流程图与具体参数,实现了对土地流转报价数据的爬取,为后续的研究工作提供了思路和方向。     

大数据环境下的网络数据获取和分类

网络技术发展和广泛应用导致Web数据量与日俱增,形成海量网络数据,如何从中获取有益信息,并对其进行分类管理是发掘海量网络数据隐藏价值的关键所在。本文基于PYTHON语言探讨如何从网络中抓取与研究目标相关数据,利用机器学习技术选择分类特征并对数据进行分类管理。对当下考研信息的获取和分类处理实例表明本文提出用网络爬虫、特征词选择和贝叶斯分类器相结合的方法是一种有效的海量网络信息获取和分类管理方法。     

网络爬虫反爬策略研究

网络爬虫在工作时会对目标站点发送大量的请求,这样的爬虫工作方式决定了其会消耗不少目标站点的服务器资源,这对于一个服务器不大的中小型站点来说负载是巨大的,甚至会导致该站点直接崩溃。另外某些网站也不希望自己的内容被轻易的获取,如电商网站的交易额,这些数据是一个互联网产品的核心,因此采取一定的手段保护敏感的数据。因此很多网站都在站点中加入了反爬机制。例如User-Agent+Referer检测、账号登陆及Cookie验证等。文章讨论了几种主流的方法来避免爬虫被目标站点服务器封禁,从而保证爬虫的正常运行。     

基于爬虫技术的医疗行业舆情监控系统的设计与实现

步入21世纪信息化时代,微博作为时下中国最流行的社交软件之一,已然成为海量舆情信息最为重要的源头。而2020年的一场新冠肺炎席卷全球,把医疗行业推向舆论的顶峰。本研究课题以Python作为开发语言,尝试设计出一套基于爬虫技术的医疗行业网络舆情监控系统。具体工作如下,通过通用爬虫对微博上海量医疗卫生行业的舆情信息进行抓取,主要使用自然语言处理、LDA聚类和关键词提取等技术对数据源进行处理并进行情感倾向分析,后将分析结果和数据信息以可视化图像的形式展现出来,为有关部门引导舆论走向提供力所能及的帮助。该系统包括舆情获取、数据源处理、舆情应用和系统管理4大模块,主要实现用户注册和登录、数据信息可视化展示、负面舆情预警和关键词搜索等功能。     

基于Scrapy框架影视信息爬取的设计与实现

为了充分利用网上大数据资源,让用户能够方便利用影视信息,采用基于Scrapy框架的爬虫技术,开发了检索电影信息的搜索引擎。对豆瓣网站的影视信息进行爬取,以方便用户准确获取最新的电影信息。     

区块链技术提升食品电商品牌信任度的关键要素研究

随着社会的发展,人们的食品消费需求持续升级,其中电商化和品牌化是食品消费升级的重要特征。然而,在现有中心化的电商管理模式下,因技术局限和利益驱动,消费者在电商消费获得的信息数目有限且不能确保真实,消费者对于电商的品牌信任度存在问题。食品的安全和品质事关人民群众的健康和幸福,因此,食品类相关的电商品牌信任度更为重要。目前国内外对食品电商的品牌信任度的研究也尚显不足。本研究以解决食品电商平台品牌信任问题为导向,研究了当前食品电商品牌信任度存在的问题,分析了区块链技术与品牌信任度直接相关的信息要素,提出了联动机制,以求提升食品品牌信任度,进一步完善食品电商研究体系,并为相关政策制定提供借鉴。     

图博会上的按需印刷——按需出版及印刷精品专区侧记

2009年9月3日．第十六届北京国际图书博览会在北京国际展览中心盛大开幕。这可谓是图书出版界的一大盛事,展商众多．形式多样．亮点频频。其中由中国图书进出口（集团）总公司和中国印刷科学技术研究所共同承办的“按需出版及印刷精品专区“是首次亮相图博会．同样也是本届图博会最大看点之一。图博会上首设的“按需出版及印刷精品展区”进一步向世人展示了印刷的魅力与对出版业发展的推动力,赢得了满堂喝彩!     

基于IPsec的虚拟专用网的研究

针对数据通讯传输中的安全及加密问题,分析了IP协议的安全体系结构和虚拟专用网的原理,论述了基于IPsec的虚拟专用网实现原理及相关技术,认为IPsec是目前唯一一种能为任何形式的Internet通信提供安全保护的协议,具有良好的发展前景。     

葡萄果实套袋试验

我国鲜食葡萄市场竞争越来越激烈,对果品外观和内在品质的要求越来越高.鲜食葡萄果实套袋是生产无公害果品,提高果实外观品质和保证果实穗形美观的重要措施.为了给当地葡萄种植户提供适用葡萄果实套袋技术,特进行如下试验.     

谷氨酸发酵液对谷氨酸提取工艺影响研究

主要研究了谷氨酸发酵液对谷氨酸提取工艺的影响,得出如下结论:用膜过滤除菌方法对染菌发酵液有较好的提取效果;发酵周期控制在30～34h;发酵液放罐残糖控制在0.6%以下;发酵结束后要及时升温处理,升温至65℃.     

智能手机数字图片比色分析法概述

为保护环境与食品安全, 有毒有害物质的现场快速检测以及分析数据即时反馈显得越发重要。随着智能手机的广泛普及与其应用程序的不断完善, 智能手机数字图片比色分析法得到了快速发展。本文简述了智能手机数字图片比色法的基本原理、图片采集设备及其传感器类型、图片颜色模型、图片数字化软件、分析数据处理与网络共享, 以及该方法在食品安全、医疗诊断、生物检测等领域的研究与应用, 对数字图片比色分析法未来的发展也做出了展望。得益于智能手机软硬件的不断完善, 数字图片比色分析法将得到广泛应用。     

壳聚糖固定化木瓜蛋白酶的研究

以壳聚糖为载体,戊二醛作为交联剂,采用载体交联法制备固定化木瓜蛋白酶,并研究了固定化木瓜蛋白酶的最佳固定化条件。结果表明:木瓜蛋白酶的最佳固定化条件为给酶量为40～50mg/g,于pH7.5,25～30℃下,0.4%～0.5%的戊二醛溶液交联12h,所得的固定化木瓜蛋白酶的活力回收率平均达61.6%。     

基于TAG的服装品牌在线分类查询系统研究

服装品牌资讯是设计师获取服装流行趋势的重要渠道.服装种类和艺术风格的多样化为服装品牌的分类整理提供了多种思路.在建立服装品牌数据库的过程中,针对现有服装品牌在线分类查询系统的单一性缺点,总结出了一套用于描述服装品牌的关键性词组,并借用TAG这一关键性技术,将其应用到服装品牌在线查询系统中.     

基于SAML的多应用系统单点登录机制的研究

针对以往单点登录模型受平台限制的问题,在分析了单点登录SSO概念和安全断言标记语言SAML工作原理的基础上,根据SAML通用的、于具体实现无关的、平台独立的认证与授权标准架构规范,提出了综合采用SAML的Pull模型和Push模型实现多应用系统单点登录集成认证机制,很好地解决了传统认证机制存在的问题,保证了系统的安全性和易用性.     

质检专家谈玩具质量抽检

每年“六一”前夕,国家质检总局都会对儿童玩具产品质量进行国家监督抽查,今年的玩具抽查主要发现什么问题？质检部门对玩具生产企业有何建议？就此,《中外玩具制造》记者日前采访了曾多次参与国家玩具产品质量监督抽检的福建质检院机械与玩具产品检验研究所所长陈伟。请他介绍相关情况。