基于Scrapy的GitHub数据爬虫

作为最大的社交编程及代码托管网站,GitHub提供了丰富的数据来源。基于Python开源框架Scrapy设计实现了一个Web爬虫,能对GitHub的资源抓取和分析,并进行了结构化处理和存储,可为后续数据分析提供基础。介绍了GitHub爬虫的设计原理、算法的实现方式,对实验结果进行了分析。     

GitHub中基于CNN-LSTM的开发者项目推荐模型

作为一个开源项目托管平台,GitHub以多开发者协同参与进行开源项目的开发,开发者作为GitHub的核心元素,保证了整个系统的活跃性,然而,很多新项目在短时间内无法找到合适的协同开发者而被拖延开发周期.针对这个问题,本文提出了一种基于Word2Vec的CNN-LSTM开发者项目推荐模型,该模型以Word2Vec训练开发者访问项目的序列,并将项目进行向量化表示,结合CNN-LSTM模型计算项目相似度并为开发者推荐合适的项目序列.通过提取GitHub中62,031个开发者在2015全年的项目访问数据进行项目预测和相似项目发现实验,实验结果表明,该模型推荐效果较佳,并且可以帮助开发者发现感兴趣的相似项目.     

基于Echarts技术的企业数据可视化的设计与开发

可视化是数据展示的一种形式。文章对在B/S软件架构下实现企业数据可视化进行了研究,介绍了数据可视化的概念及其优势,分析了软件开发所使用的前端技术以及企业数据可视化的数据展示形式,主要阐述了如何使用Echarts作为前端开发的数据可视化图表库,设计并实现了企业的营业数据、合作客户画像、企业能力画像和合作伙伴分布的可视化展示。     

绿色上网及相关技术发展趋势

利用互联网内容管理技术,有效防范互联网上不良信息对青少年的危害,保护青少年的健康上网是当今社会义不容辞的责任.本文从互联网不良信息日益泛滥的严峻形势出发,指出了网络色情的危害性和绿色上网的必要性,介绍了国内外绿色上网相关管理、业务和产品现状,提出了绿色上网产品实现的参考模型,并分析了数据获取、内容识别以及内容过滤3类绿色上网相关技术现状、研究重点及其发展趋势.     

基于Python的人口普查数据可视化分析

本文以第七次人口普查数据作为研究对象,采用Pandas对普查数据进行读取和处理,选择Pyecharts直观分析展示人口问题的现状和发展趋势。     

基于Python的交通流数据清洗

为向城市道路交通流预测提供科学的数据支撑,本文提出了基于Python对交通流数据进行清洗。清洗的数据主要包括异常、缺失、冗余数据。清洗方法按照本文提出的清洗规则并结合交通机理知识和城市道路交通流时段特征,实现交通流数据的合理清洗。     

基于网络爬虫的观影大数据采集和分析

本文通过分析用户的情感反应,可以更好地理解用户的喜好,我们使用了Numpy和Pandas来预处理这些信息,并使用了Matplotlib和Seaborn来可视化分析这些信息。当前社会上流行的电影系统已存在很多,包括各种学校的电影管理和国家电影管理系统的大量使用使得它们拥有一套高效的信息管理体系。为此,我们利用BeautifulSoup这一工具,以及Python等Python编写的算法,来更加高效地收集、整合、分析豆瓣电影的相关数据,更加准确地反映出消费者的偏好,用于满足当今日益增长的电影市场的需求。电影的成功与否,要从多个方面进行全面的分析,判断。考虑各种因素,比如电影的类别、评价、流行趋势、市场份额、票房收益、口碑、技巧和经济效益,便于做出正确的选择。在此基础上我们才能够根据自己的喜好和兴趣,满足自己的需求。     

基于MAPGIS下地理信息数据的采集

地理信息数据的采集是GIS应用的基础和前提，MAPGIS提供了多种方法的数据输入与采集手段，通过对MAPGIS平台下获取地理信息系统数据的研究，进一步对各种方法进行比较分析，得出各种方法优缺点和实际工作中方法选择的一般规律，为GIS的数据获取工作提供了借鉴。     

全球开源生态发展现状研究

在开源日益重要的今天,建立在全域开源大数据基础上的相对完整、可以反复进行推演的数据分析尤为重要.使用2019年全年GitHub的日志进行统计,总日志条数约5.46亿,通过分析GitHub全网的开发者行为日志,从数据的视角,来观察全球范围内的开源现状、进展趋势、演化特征,以及未来挑战等问题,除了展现目前开源世界全貌之外,还特别关注中国的开发者和企业组织在整个开源产业中的表现.     

一种基于声卡的数据采集系统

设计并实现了一种基于声卡的数据采集系统，重点讨论了在VC＋＋6．0环境下利用Windows低层音频服务函数进行采集系统软件设计的流程，并用采样实验验证了采集效果。该系统可以实时显示采样信号的波形，并将采样数据存储到文件。     

REST API技术及在移动通信网络管理中的应用

介绍了目前最炙手可热的REST架构风格,该风格顺应Web2.0的兴起,完美的匹配了云计算时代来临的可扩展要求,在各种应用场景中都得到了充分的表现。根据其技术特点,分析了该风格的API在移动通信网络管理中的应用,从网管系统内部、网管系统之间以及网管系统与上层APP应用之间等多方面对是否适用于REST风格以及如何在合适的位置使用REST API进行了分析。     

电子探针定性分析软件的研究与开发

针对日本岛津公司EMX－SM7型电子探针定性分析系统进行了方法研究，并用Visual C^ 语言，在Windows操作平台上，设计了定性分析软件，采用边采集数据，边识别谱线的方法，实现了对样品的快速准确定性分析，同时可以显示元素特性X射线谱线，并增加了样品线分析功能。     

ICT若干发展趋势探讨

本文概述了互联网时代运营商面临的一些主要问题,进而详细阐述了当前3个热点领域,即云计算,智能管道和智能终端,并分别就各自的概念、特点、推进实施以及今后发展等方面进行了具体分析,指出了“云管端”是ICT未来重要的发展趋势.最后文章提出了若干思考建议.     

高空温度动态采集系统设计

在采集不同高度的温度时,在不同高度安置无线网络传感器成本高,无线传感器的电源替换比较困难,为解决此问题,采用了简易螺旋直升机,内置由AT89C51单片机、DS1820数字芯片,可实时采集不同高度的温度。使用JF24D-B无线传输模块将信号送至ARM7控制系统。监控端通过无线信号接收并解析,在μClinux下进行进程调度和数据处理,并通过Python完成数据图表的实时显示,便于用户查看当前温度做出正确决策。     

基于FPGA的多路数字位移传感器的分析系统设计

介绍了利用FPGA来采集多路数字位移传感器的数据,同时集成了温度传感器的数据采集功能,并且将两种不同的传感器的采集数据很好的结合在了一起。在后续的数据处理上,灵活的使用采集到的数据,总结出数字位移传感器的特性。该设计显示了FPGA在处理多路多类型传感器方面的能力,为实现复杂传感器系统提供了一种新的可实现的解决方案。     

基于MCU的直流纹波测试数据分析系统设计

提出一种基于MCU单片机的纹波电压采集分析系统,为了达到从微观上对纹波电压分析的目的,采用以STC89C54为控制核心,以Matlab为分析工具,应用层次化、模块化主导思想,融入了数据采集、数据交换、数据处理等多种关键技术,完成纹波信号的采集试验,得到系统分析所需研究数据,对未知纹波信号进行还原,并通过后期数据处理,了解纹波电压的存在情况,实现对纹波信号的测试与分析。该系统在以往单一测试或分析的基础上,把测试与分析融为一体,使纹波的研究工作又向前迈进一步。     

ICT新兴领域规模测算方法及实践

大数据、人工智能、区块链等新技术层出不穷,对行业创新力、生产力和竞争力产生显著影响,与传统行业的广泛融合,不断催生新产业、新业态、新模式。为衡量这些新技术、新领域整体发展状况和经济贡献,提出以增加值口径对新兴领域产业规模进行测算,将产业规模拆分为核心和融合两部分,基于新兴领域与国民经济行业分类映射关系、权威数据及行业研究数据,采用增加值乘数法与投入产出法相结合或比例推算法,建立了新兴领域产业规模测算方法体系。最后,在人工智能和区块链领域分别进行实践,进一步验证方法的科学性和实用性。     

基于多波束风场位移测量法的高速数据采集和处理系统设计

为实现对风场的实时监控,多波束风场位移测量系统对数据采集系统提出了很高的要求。针对实际需求,设计了实现高速数据缓存和传输控制的FPGA芯片,主要包括PLL时钟管理模块、前级FIFO缓冲模块、后级双口RAM存储模块以及FIFO和RAM的读写控制模块等,很好地完成了数据的缓存和异步读取,并且极大简化了A/D芯片接口电路结构和印制电路板设计的复杂性。在开发环境QuartusⅡ6.1中对设计的各个模块分别进行了综合和仿真,仿真结果表明各模块均达到了设计要求。风场位移测量系统成功地对实地风场进行了测量,结果表明高速数据采集系统能够有效地检测出风场中不同距离处的散射回波信号,并据此计算出风速以及风向。