数字视频监控系统中数据的存储算法

目前视频监控系统在多路存储情况下大多采用轮巡式,该存储方式效率低下,而且存在因硬盘剩余空间不足而造成的存储异常中断等问题.文中结合实际视频监控系统,讨论了视频数据的存储算法,采用多磁盘调度算法实现了将多路存储"平均"分配于多个硬盘中,充分提高存储访问的效率;并且设计实现了定时检测增加磁盘当前剩余空间算法,保证磁盘剩余空间始终维持在一定的容量,从而很好地解决了存储异常中断的问题.     

网络招聘信息抽取与分析系统设计

为了解决国内网络招聘网站信息量大,求职需耗费大量时间精力的问题,文章基于Flask框架设计并实现了网络招聘信息抽取与分析系统。系统根据用户求职意向,通过爬虫实时采集招聘信息并定向分类,为不同用户匹配岗位,同时,将用户抓取的历史信息存储进数据库,方便用户浏览历史记录和定制招聘信息列表。系统过滤大量无用信息,使求职者更便捷地获取有效信息,提高求职效率。     

网络视听媒体数据采集技术研究

目前,很多对应在线音视频服务平台的媒资系统建设仍旧处在摸索期,所存储节目的表述数据不尽相同,在门户呈现的节目描述数据也各自采用各自的组织和描述方式.本文分析了现有的网络内容信息爬虫技术,提出了适用于各类页面组织形式的数据采集方法,通过定制的螺旋采集策略和优化的爬虫程序,完成网络视听媒体内容信息的采集工作.     

社交网络信息采集技术研究与实现

社交网站作为网络舆情的有效载体,在传播舆情方面有着重要作用。近年迅猛发展起来的微博就是一种典型的社交网站。本文针对微博类网站设计了支持Ajax(Asynchronous Java Scriptand XML)技术的网络爬虫,采用协议驱动和事件驱动结合的采集策略,将爬取分为用户爬取和内容爬取两部分,使用基于模板的抽取方法,实现了对微博数据的成功抽取和存储。抽样结果证明,支持Ajax技术的网络爬虫,较BFS爬虫相比,提高了信息采集的效率和覆盖率。随着DOM Tree复杂度的提高,还有待于设计更高灵活性的网络爬虫。     

一种静态图像的采集传输系统

为实现低成本远程图像监控,文章设计了一套基于ZigBee和GPRS技术的远程图像采集传输系统.以CC2430为节点控制摄像头采集图像数据,本地通信时,图像数据通过ZigBee协调器直接和服务器通信;远程通信时,协调器将处理好的数据通过GPRS技术传到监控中心以实现图像数据的保存、读取和显示等目的.ZigBee无线传感网络节点间采用网状网络的自组网方式,通过修改协议栈的缓冲机制和改变串口波特率提高数据的传输效率.实验结果表明该系统能够很好地实现本地和远程静态图像的采集与快速传输,具有广泛的应用前景.     

视频监控中多磁盘存储调度算法的研究

在视频监控应用系统中,视频信息存储需要大量磁盘存储空间,需要采用设计合适的机制进行视频信息的存储调度,既可以进行多路同时存储又保证存储效率。提出了基于磁盘剩余空间和被访问频度的多磁盘存储调度算法以及定时检测增加磁盘剩余空间的算法。     

基于物联网技术的计算机网络数据分类存储系统的设计

为提高计算机网络数据的存储效率,文中设计了一种基于物联网技术的计算机网络数据分类存储系统。在该设计中,物联网技术架构为多层结构,分别为数据感知层、信息交互层和数据存储层。该系统可以利用数据感知层来感知、采集数据,通过信息交互层实现计算机网络数据的传输与交互,结合分簇算法并对采集到的计算机网络数据进行分类处理,将分类后的数据传输至存储层,同时将计算机网络存储于固定的数据库内,实现计算机网络数据的分类存储。实验表明,该系统存储响应时间较短,整体存储效率较高,具有较强的实用性。     

无线传感器网络节点图像采集存储设计

为了监测和跟踪监控区域内的目标对象,提出了一种基于无线传感器网络节点的设计方案。随着高清图像传输速度越来越快、存储容量不断增大,使得每个节点的数据存储速率成为关键。以FPGA、DSP为控制核心,利用双片选交替双平面技术对混合编帧后的数据进行存储,实现了一种对图像的高速采集,并解决了数据存储速率的问题。通过对系统采集回的数据进行科学分析和图像还原,结果表明该设计能够可靠、有效的实现对图像信息的采集与存储。     

基于Python的网络爬虫技术探析

本文主要研究网络爬虫的设计及相关实现技术。基于Python设计及实现一个网络爬虫,最终完成对目标气象网站指定信息数据的提取和存储;对主流反爬虫技术进行研究,并对网络爬虫和反爬虫的关系进行了理论说明和发展展望。     

时空轨迹数据获取和压缩技术研究与实现

对于传统的爬虫技术,爬取轨迹数据时存在较低的覆盖率和效率,文中基于云计算技术架构构建了一套高效的分布式多源异构时空数据爬虫系统。由于系统以分秒级别获取基于timestamp的轨迹数据,而存储、计算等无法支持巨大的数据量,文中在TDTR算法的基础上,提出了一种基于T-Map(MCTD)的距离计算公式计算轨迹间距离的轨迹压缩算法(STCA),减少了需要的存储空间。     

基于FPGA的模/数混合采集系统优化设计

针对弹上环境采集空间环境模拟量和图像数字量的需求,设计一种以FPGA为核心的模/数混合采集系统。该系统对模拟量采集的运放不稳定性进行分析与优化,提高运放补偿电路的稳定性。在FPGA内通过模/数混合编帧,提高数据存储效率。同时针对图像信号压缩数据的速率变化导致数据的产生速率与传输速率不匹配问题,提出动态平衡编帧的方法解决了速率匹配问题。经实际飞行测试,该采集系统数据输出可靠,可满足系统的各项性能指标。     

基于TCP/IP的IND网络接口设计

IND是一种基于ARM uClinux的新型网络存储结构,它具有独立的文件系统和协议处理机制。探讨了IND存储系统结构和数据访问原理,并在此基础上分析了IND接口设计思想,通过对socket编程实现了INDTCP/IP协议栈。试验结果显示,智能网络磁盘有助于避免单点故障,能够显著地提高数据文件的传输效率。     

具有图像记忆功能的汽车黑匣子的研究和设计

文章设计了基于TMS320C6205的汽车视频图像实时存储系统，给出了系统的硬件结构,阐明了系统的工作原理。该系统将不同车速和车况下的视频图像进行实时采集、压缩、和存储，实现了汽车运行视频图像的实时存储功能。     

基于人工智能的多源遥感数据融合在电网勘测应用研究

随着卫星遥感、空间科技等技术的不断发展,通过卫星采集多源遥感数据已被广泛应用到诸多行业。将多源数据进行融合,生成信息更丰富、质量更高的图像,能更清晰地分析地物地貌地形情况,已成为近年来图像智能处理领域的技术研究前沿方向。文章基于人工智能卷积网络和注意力机制,提出一种统一融合网络,将不同光谱和空间属性的遥感源数据进行有效融合,生成具有精确光谱信息和清晰空间细节的高分辨率图像,为电网勘测选址选线等业务提供了辅助支撑的有效手段。实验结果表明,文章研究结果比现有典型方法具备更好的融合效果。     

一种面向海量高并发小文件数据的处理方法

首先分析了当前海量高并发小文件数据处理的缺陷,文章阐述了通过在节点中设置临时虚拟空间的方式、改变文件系统锁机制、将多个节点中的多个并发操作合并为一次磁盘回写操作处理方法。提高了海量高并发小文件数据的并行处理效率,降低了海量高并发小文件数据磁盘的读写压力,减轻了底层存储的磁盘读写压力,有效延长了底层存储的使用寿命。该方法进行的海量高并发小文件处理相关研究工作,对于后期提升海量并发小文件的处理能力和效率提供了参考依据。     

动态网页解析下的分布式网络爬虫系统设计

由于Web前端技术和反爬虫技术的发展,系统的复杂性也在逐渐增大,爬虫在爬取数据时获取动态网页数据、应对反网络爬虫以及集群稳定性还存在问题,这些问题对爬虫系统获取动态网页数据的效率存在着很大影响。文章基于分布式网络的爬虫器,对上述问题进行了深入的研究和分析。首先,对所设计的分布式爬虫系统进行了需求分析;其次,结合系统需求,给出了系统整体结构和各模块的设计;最后,重点分析了系统中的关键技术,即爬虫的健壮性分析、网页动态加载分析。     

智能网络磁盘存储系统通信协议分析

智能网络磁盘存储系统的出现,极大地提高了数据存储的效率和效果,在其实际运行中,存储系统的通信协议具有重要的作用,能够确保智能网络磁盘存储系统的正常、高效运行。因此,应当对这一问题进行细致的分析,从而推动存储技术的不断提高。     

论计算机网络技术在电视台的应用

一、电视新闻编辑 在新闻编辑系统中，计算机网络技术把有线和无线等电视新闻事件的素材进行采集、编辑、审核、排播、检索、浏览、播出等数据资源整合成一个信息共享平台，从而可以快速的完成素材的处理和新闻资料的编辑、查询等工作。在前期拍摄的新闻材料可以将数据存储到服务器磁盘里，编辑人员可以随时随地通过网络上的任意一个端口对材料进行后期制作，大大提高了传统模式下用纸质交流信息的效率。     

基于Scrapy框架的分布式爬虫设计与实现

网络爬虫是近些年来较为热门的技术之一,它被广泛应用于搜索引擎技术,现今技术不断发展成熟,爬虫不仅仅应用于搜索引擎的信息搜集,更多应用于定向信息的采集,比如房价、招聘信息、用户信息等等。文中以Python及其框架Scrapy环境为基础,以知乎网站为例,来爬取用户信息。通过使用Scrapy框架实现爬虫,分析整个爬取的原理,了解爬取的运行流程,特别对反爬虫策略进行优化,实现程序在远程服务器的部署,将信息存储到时下较为流行的No-SQL数据库中,最后对爬取数据进行分析与展示。     

电力企业互联网舆情数据规格化存储系统设计

为避免舆情焦点损伤电力企业形象，设计了电力企业互联网舆情数据规格化存储系统，实时采集、处理并存储公共舆情数据。利用基于TF-IDF改进算法的聚焦网络爬虫爬取原始数据层的舆情数据，构建正则表达式描述语义模型；应用基于负载权重的负载均衡算法的存储负载均衡机制，根据负载差值计算存储节点执行任务的概率，更新存储节点的负载，实现各存储节点负载均衡。实验结果表明：读取时间均值为72.9ms,写入时间均值为425.3ms,数据读写效率高，各存储节点负载均衡，对大规模数据的处理及存储性能更佳。