基于51job网站招聘信息的爬取与分析——以Python技术岗位为例

本文采取Python语言编写爬虫源码的方式,对51Job招聘网站上所招聘与Python技术相关的职业进行爬取,同时利用Python语言编写语句处理本地爬取信息做可视化分析,结果可为相关专业方向人才的职业决策提供判断信息.     

基于Python的电商评论数据采集与分析

在电商竞争日益激烈的情况下,商家既要提高产品质量,又要洞悉客户的想法和需求,关注客户购买商品后的评论,而第三方商家获取商品评价主要依赖于人工收集,不但效率低,而且准确度得不到保障。通过使用Python网络爬虫技术采集近期店铺商品评论信息,进行数据清洗、分词、去除停用词、词频统计等数据预处理,最终绘制词云图实现数据可视化,并对数据结果进行分析,为商家提高选品质量、制定个性化的营销策略提供依据。     

基于Python的美食数据爬取及可视化研究

本文主要研究中国菜谱里面的美食词汇资源的爬取、构建、数据处理并对词汇资源进行数据可视化分析.本文首先采用Python语言使用Scrapy框架进行数据爬取并对目标网站的网页进行页面分析,采集的是豆果美食网里最新发布的中国菜系菜谱,然后用Pandas、Numpy等库进行清洗数据并做可视化分析.除此之外,用Pyecharts...     

基于Flask框架的社交网站数据爬取及分析

以一个社交问答平台为研究对象,分析该平台数据获取的难点和解决方案,设计并实现一个数据爬取系统,该系统能够在多平台下抓取和存储数据.在此基础上,还设计并实现一个热度分析模块.该模块可以显示历史热度和趋势热度.实验结果表明,该系统完全达到了设计目标.     

融合评论分析和隐语义模型的视频推荐算法

针对网络视频元数据信息缺失严重和多媒体数据本身特征难以提取等问题,提出了融合评论分析和隐语义模型的网络视频推荐算法.从视频评论入手,通过分析用户对不同视频的评论内容以判断其情感倾向并加以量化,继而构建用户对项目的虚拟评分矩阵,弥补了显式评分数据稀疏性问题.考虑到网络视频的多元性和高维度特性,为了深度挖掘用户对网络视频的潜在兴趣,针对虚拟评分矩阵采用隐语义模型(LFM)对网络视频分类,在传统的用户—项目二元推荐系统基础之上添加虚拟类目信息以进一步发掘用户—类目—项目关联关系.实验在多重标准下进行,对YouTube评论集的实验表明,所提推荐方法获得了较高的推荐精度.     

网络评论倾向性分析

Web2.0的兴起使得包括新闻评论、产品评论在内的各种网络评论大量涌现,针对评论信息的监管和利用中的问题多种多样,重点研究其中的网络评论倾向性分析。以知网为基本的语义字典,提出一种改进的词汇相似度计算方法,在此基础上融合同义词词林对词汇的倾向性计算做出改进,进而利用相关语言学知识实现了从细粒度的词汇到粗粒度的评论的倾向性判断。实验表明,该方法对于真实网络环境下的网络评论倾向性分析具有较高的准确率。     

基于在线评论的芜湖旅游情况分析

以安徽省芜湖市的旅游评论分析为例,利用大数据研究方法对旅游评论进行分析,从多个维度探究游客的情感倾向、空间分布、时间分布,为旅游规划提供数据支持,为旅游管理部门提高服务质量提供理论依据.     

基于多层注意力机制的服装电商评论情感分析

互联网购物逐渐走进人们生活,人们在购物的同时也会留下海量评论文本,这些文本蕴含着巨大的价值和情感倾向,通过分析这些服装电商评论文本情感倾向,为推荐系统提供了参考.传统的算法难以提取到文本更深层次的情感特征,难以达到很好的效果.因此,该文提出了一种基于多层注意力机制BiGRU-SD-Attention的算法模型.首先,通...     

弹幕视频网站发展问题分析——以bilibili为例

"弹幕"现在已较普及,但最初诞生"弹幕"的弹幕视频网站却遭遇一些发展中的问题,如版权、盈利模式等,本文力图探讨这些问题. 2006年,第一条弹幕在日本的NICONICO动画网站发出,之后中国也紧跟步伐,国内第一家弹幕视频网站 AcFun(简称 A 站)于2007年建立,第二家弹幕视频网站bilibili(简称B站)于2009年创建.     

百度百科景点信息爬取及组织研究

百度百科是百度公司推出的一部内容开放、免费的网络百科全书平台,百度公司已在它的基础上开发了百度搜索引擎和百度知道等功能十分强大的应用.为满足“景点达人”移动应用开发的需要,研究了从百度百科爬取景点信息网页、解析网页以及组织全国范围内将近6000个景点信息的技术和方法.收集的数据使景点达人APP顺利上线,对开发旅游相关的其他大数据应用具有十分重要的价值.     

大数据与可视化在电力设备管理中的创新应用——以设置财务分析指标体系为例

本文针对当下智能电网技术蓬勃发展和电力设备管理不尽人意的矛盾而展开研究,目的是找出一条可以快速实现电力设备的安全和高效运行的道路。本文所使用的理论和对象,均已获得业内普遍认可,包括以往电力设备的管理和检修策略、智能电网时代的电力设备检测技术方法以及大数据和可视化技术的发展现状和趋势等,因而具有坚实的理论和实践基础。通过定性与定量研究、经验比较与描述性研究、跨学科与探索性研究等方法,得出结论,随着信息技术的迅速发展和大数据时代的到来,电力设备管理一直无法实现突破的障碍已经被打破。进而提出,只有结合电力行业大数据特征设置关键性指标,并以此为核心打造内在数据逻辑体系和外在可视化体系,才能实现电力设备管理的迭代。文章最后对新时代电力设备管理进行了展望,并以设置财务分析指标体系为例,对电力设备管理智能系统进行了框架性构建。     

基于云计算的大数据自动分类处理系统设计

随着现代网络技术不断进步,系统数据量也在逐渐增多;传统的大数据自动分类处理系统已经无法满足现阶段用户需求,其软件与硬件的设计都比较单一,存在能源消耗大、分类速度慢、处理时间长、内存占用率高等问题,为此,提出基于云计算的大数据自动分类处理系统的设计;首先设计系统硬件结构,主要包括数据采集器、数据处理器以及数据自动存储模块,并详细的介绍了各硬件结构;然后利用时域特征提取数据的算法对频域特征数据进行提取,从而实现数据自动分类处理系统的软件设计;最后对两种系统性能进行对比实验;实验结果证明,基于云计算的大数据自动分类处理系统的资源不仅占用率低,内存消耗小,而且数据库内存较大;该系统不但可以提高数据自动分类精准度,还能加快数据分类速度,从而使系统拥有更好的分类性能。     

大数据概念辨析及应对措施

首先介绍大数据的概念及其意义,指出大数据会给未来的社会生活带来深远影响。接着对大数据涉及的相关技术进行详细分析,指出需要解决的问题。然后对大数据与云计算进行比较分析,指出两者的异同,同时对如何应对大数据进行探讨,提出相关建议。     

医院信息化的经验与思考

当前,IT技术及应用正处于向云计算、虚拟化和大数据转型的重要时期,恰当地运用这些新技术,将使我们的工作如同快马加鞭。因此,我们愿意积极探索应用各种IT新技术。     

贵州非物质文化遗产的数据挖掘与分析

贵州省非物质文化遗产极为丰富,蕴涵着贵州各民族特有的精神价值、思维方式、想象力和文化意识,体现着贵州各民族的生命力和创造力。为了更好地发掘和保护贵州非物质文化遗产,通过对贵州省非物质文化遗产保护中心网的数据挖掘,采用词云分析、聚类分析和可视化技术等,对贵州非物质文化遗产的文本数据进行处理,并提取有价值的关键文本信息,为贵州非物质文化遗产的传承和发展提供依据。     

Revisiting the two-stage choice model: an empirical study of consumer choice on brand website visits

In consumer choice behaviour literature, a two-stage choice model serves as a base theory where choice behaviour is decomposed into a consideration stage plus a choice stage. Yet, this default model has been increasingly challenged by the ‘limited consumer search’ school of thought because consumers do not necessarily review all products in a choice set before making decisions, but frequently draw on external information as mental short cuts. Methodologically, the choice behaviour in stage 1 has traditionally been latent because data that directly observe how consumers form their consideration sets by eliminating alternatives are lacking. This study continues the ‘limited consumer search’ line of reasoning and proposes an aided non-compensatory process in choice stage 1, where consumers reduce brand website alternatives by using online ratings to arrive at a consideration set. We use observed Web analytics data to unveil the stage 1 choice process and also the transition from stage 1 to stage 2, which is in need of further research based on extant literature. Lastly, we cross-validate our model with two types of websites (i.e. search vs. experience/credence) and find our model is contingent on the type of website content, where consumers’ inclination to use online ratings for decision-making varies.     

基于Python语言编程特点及应用之探讨

从Python语言的产生发展开始,通过与其他编程语言对比分析,表达该语言编程特色及优势,论述了Python语言基于网络设计应用中的主要技术和框架,以及当前在最新技术领域的应用。     

云数据管理系统能耗基准测试与分析

云数据管理系统是一种新兴的数据管理系统.为了研究云数据管理系统的能耗优化,实现"绿色计算",首先要定义能耗的度量模型和基准测试方法,分析系统的能耗特点.目前云数据管理系统的基准测试主要集中在性能方面,对能耗方面的评估和优化工作很少;对测量仪器、测试手段、测试用例以及能耗基本规律的研究存在空白.文中提出了一种能耗的度量模型和数学表达;定义了一组数据装载、查询和分析用例来测试云数据管理系统的能耗;设计了系统能耗的测量方法;分析了若干云数据管理系统在执行数据装载、读取、查询、聚集和连接等操作时的能耗特征,提出了通过降低"等待能耗"而进行云数据管理系统的能耗优化.大量实验数据证明,尽管云计算被认为是一种绿色计算,但文中测试的云数据管理系统在能耗方面差异较大,需要对部分系统进行进一步的优化.     

新时期对计算机大数据与云计算网络技术的思考

科学技术快速发展,我国的计算机技术、网络技术水平逐渐提高,被广泛应用到了社会生产、生活不同行业中,计算机大数据和云计算网络技术的应用,对数据的分析、运算能力起到了改进作用,有效提高了数据处理和应用水平,这二者之间有着密切的关系。本文对计算机大数据的特点进行了探讨,结合云计算网络技术应用优势,提出了新时期计算机大数据分析与云计算网络技术应用的必要性,探讨了新时期计算机大数据分析与云计算网络技术的具体应用。     

基于Hadoop社交网络分析平台的设计与实现

随着社交网络的快速发展,海量社交网络的数据挖掘成为一个重要课题;针对海量数据的社交网络分析方法进行研究,以Hadoop的分布式文件系统和Map/Reduce并行方法设计基于Hadoop的分布式数据挖掘框架,在此基础上,通过Map/Reduce的并行方法,将传统数据挖掘算法并行化,以谱聚类的并行为例,阐述转化的过程并对在大数据条件下所面临的内存不足的问题给出相应的算法优化;最后对3个不同量级的数据集进行实验,验证基于Hadoop的社交网络分析平台的框架的合理性和算法并行化的有效性。