基于Hadoop架构的大数据量日志存储和检索优化

Hadoop 是一个实现 MapReduce 计算模型的开源分布式并行编程框架,借助于 Hadoop,程序员可以轻松编写分布式并行程序,并将其运行于计算机集群上,完成海量数据的计算。本文介绍了基于Hadoop架构的系统的设计与实现,介绍如何提高Hadoop的分布式文件管理系统（HDFS）和MapReduce的执行效率与速度,以及 Hadoop 的安装部署和基本运行方法。     

Hadoop云计算平台在视频转码上的应用

视频转码是一种计算密集型和数据密集型的工作，需要消耗大量的计算机资源，Hadoop MapReduce是一种软件模型，支持大规模数据集的分布式处理．．利用已有开源视频转码软件ffmpeg建立一个基于MapReduce框架的Hadoop集群转码系统，提高视频转码的速度．     

基于MapReduce的图像分类方法

针对现有的方法不能有效用于图像大数据分类的问题,提出了一种基于MapReduce编程模型的图像分类方法,在分类的全过程利用MapReduce机制加速分类过程。首先,利用MapReduce机制实现对图像尺度不变特征变换(SIFT)特征的分布式提取,并通过稀疏编码将其转换为稀疏向量,生成图像的稀疏特征;然后,利用MapReduce机制实现对随机森林的分布式训练;在此基础上,利用MapReduce机制对图像集实现基于随机森林方法的并行分类。通过在Hadoop平台的实验结果表明,该方法能够充分利用MapReduce框架的分布式特性,对大规模图像数据实现快速准确分类。     

适于进化算法的迭代式MapReduce框架

MapReduce模块化的编程大大降低了分布式算法的实现难度,但同时也限制了它的应用范围。介绍了MapReduce的基本结构及其实现迭代算法的缺陷,并针对基于MapReduce进化算法效率低下的问题,在对MapReduce的计算框架进行研究的基础上提出了一种适用于进化算法的迭代式MapReduce计算框架。描述了迭代式MapReduce计算框架的实现需求及其具体实现,提出并证明了异常机制的可行性,且在公有的Hadoop云计算平台上对提出的框架进行了验证。实验结果表明,基于迭代式MapReduce计算框架的并行遗传算法在算法的加速比上与基于MapReduce的并行遗传算法相比有较大的提高。     

液晶屏模糊边缘缺陷分布式检测方法*

第六代液晶屏在生产过程中会产生多种类型的缺陷,通过单机进行缺陷检测存在存储资源和计算时间的瓶颈。利用Hadoop集群优势处理海量的高分辨率液晶屏图像是一个新的思路。针对线阵CCD（Charge-coupled Device）相机采集特点,提出一种基于MapReduce的分布式缺陷检测方法,使用改进的C-V图像分割模型,完成液晶屏模糊边缘的缺陷分割,对处于子图边缘的缺陷进行二次缺陷提取,提高缺陷检测的准确率,并采用SVM（Support Vector Machine）分类器完成缺陷的分类。实验表明,该方法提高检测效率的同时降低了缺陷的误判率,为分布式存储分块图像、缺陷测量等相关研究奠定基础。     

基于Spark的抄袭检测云计算框架研究

抄袭检测从根本上说是一个文本相似度的计算问题,需要迅速准确的在海量文集中对文本的原创性进行检测,耗费大量时间和资源,是计算密集和数据密集的复杂过程。采用分布式计算是是提高检测效率的有有效手段之一。本文提出了一套基于Spark的分布式抄袭检测云计算框架,该框架使用由集群资源管理器Apache Mesos,支持内存驻留的MapReduce计算框架,分布式Hadooop文件系统构成的分布式计算集群。测试结果表明,此框架比Hadooop传统分布式计算框架在效率上有较大提升。     

基于MapReduce的液晶屏缺陷检测方法

5th液晶屏在生产过程中会产生多种类型的缺陷,通过单一节点进行缺陷检测存在存储资源和计算时间的瓶颈。利用Hadoop集群的分布式计算、存储能力处理海量的高分辨率液晶屏图像是一个新的思路。针对高分辨液晶屏图像缺陷局部性特点,设计基于MapReduce的分布式缺陷检测方法,对高分辨率图像分块,并行完成每块图像的缺陷检测,再将检测结果归并,从而解决高分辨率图像缺陷检测效率低下问题。通过运行在Hadoop平台上的实验表明,该方法在完成缺陷检测的同时具有良好的效率提升。     

基于Hadoop框架的MapReduce计算模式的优化设计

对某高校教学资源平台的海量日志进行了分析,将传统单机分析处理模式,转变为Hadoop框架下的MapReduce分布式处理模式。MapReduce采用分而治之的思想,很好地解决了单机对海量数据处理产生的瓶颈问题。通过分析Hadoop源码的使用,认真研究MapReduce对海量数据处理作业流程分析,提出了MapReduce分布式作业计算的优化策略,从而更好地提高了海量数据的处理效率。     

基于迭代式MapReduce的误差反向传播算法

针对误差反向传播(BP)算法计算迭代的特点,给出了迭代式MapReduce框架实现BP算法的方法。迭代式MapReduce框架在传统MapReduce框架上添加了传送模块,避免了传统框架运用在迭代程序时需要多次任务提交的缺陷。通过对K/TGR146对空台射电开关控制系统进行仿真得到BP算法训练样本,并在Hadoop云计算环境下,分别在基于传统框架和迭代式框架的BP算法中进行训练。实验结果表明,基于迭代式MapReduce框架的BP算法训练速度达到了基于传统MapReduce框架的BP算法训练速度的10倍以上,正确率提升了10%~13%,能有效解决算法训练时间过长和迭代计算中多次任务提交的问题。     

基于MapReduce的并行同态加密算法

根据云计算分布式的特点,并结合同态加密和Hadoop环境下MapReduce并行框架,提出了一种基于MapReduce计算框架的并行同态加密方案。实现了具体的并行同态加密算法,并对该方案的安全性和正确性进行了理论分析。同时,在16个核的计算集群中进行实验,数据加密的加速比可以达到13。实验结果表明,基于MapReduce的同态加密方案可以有效地减少数据的加密时间,有利于面向实时的应用。     

冷轧带钢边部孔洞缺陷的检测方法研究

针对冷轧带钢边部孔洞缺陷信息的提取问题,综合在线检测和离线精确提取缺陷信息两方面进行了方案设计。首先在在线检测模块提出了一种自适应区域生长算法对图像进行分割,该法通过最佳熵法与形态学处理相结合实现种子点的自动选择,以替代传统算法中种子点的人工选取,以区域生长结果中最大连通体的面积判断是否存在缺陷;然后在离线模块,分别用块投影直方图匹配特征与Tamura纹理特征对缺陷图像进行缺陷信息提取,综合两种缺陷提取结果,得到缺陷详细信息。针对多幅图像采用提出的算法进行检测,在线部分具有较高的处理速度和缺陷判别率,离线部分实现了对缺陷图像中孔洞个数、每个孔洞面积及位置的定量估计。     

基于Spark的电网工控系统流量异常检测平台

针对传统的电力网络流量检测安全预警系统在面对海量高维度数据时，其在精度、实时性、扩展性以及效率上都无法满足需求的问题，建立出一种基于Spark的电网工控系统流量异常检测平台.该平台以Spark为计算框架，主要由数据采集与网络流量深度包检测协议解析模块，实时计算数据分析处理模块，安全预警预测模块和数据存储模块组成，为流量异常检测提出了一套完整的流程.实验结果表明，该平台能够有效地检测出异常流量，做出安全预警，方便工作人员及时做出决策，这充分说明该平台非常适用于电力控制系统，能够应对海量高维复杂数据做出实时分析以及安全预警，极大地提高了电网工控系统的安全性能.     

基于图像处理的手机屏幕缺陷检测系统研究

针对手机屏幕生产中的缺陷检测问题,提出了基于机器视觉的手机屏幕玻璃缺陷检测系统,采用光学成像模块、图像采集模块和图像处理软件设计模块对手机屏幕玻璃缺陷进行识别检测,检测效率高,实时性好.对手机屏幕玻璃缺陷检测所需用到的算法进行了研究,针对手机屏幕玻璃缺陷细微、痕浅等特点,提出了基于图像快速匹配的差分算法,实现了缺陷特征的准确提取.     

LabVIEW在玻璃缺陷检测系统中的应用

介绍了图像采集以及运用图像处理方法提取特征参数的基本步骤。结合生产者与消费者结构在图像采集和处理过程中并行处理、协调的作用,运用模糊聚类的方法在LabVIEW软件平台上构建了玻璃表面缺陷检测系统,处理结果证明能够快速地检测到缺陷和提取特征参数,并能够对处理结果进行存储和查询。     

基于U-P-Net的手机玻璃屏幕缺陷分割

随着科技的发展及电子设备的普及,玻璃屏幕质量成为电子设备和其他产品的重要考虑因素;而玻璃外观缺陷检测是玻璃质量检测中最重要的环节,这也是保证产出高品质、高性能的玻璃产品的关键环节;目前玻璃表面缺陷检测方法存在无目标训练图像资源消耗、检测精度较低、复杂特征信息难以提取等问题;因此,为了解决上述问题,提出了一种基于U-pyramid pooling module-Net(U-P-Net)的手机玻璃屏幕缺陷分割模型;采用超像素预处理,有效地降低了原始图像的复杂度;采用ResNet50作为分类网络,减少无目标训练图像造成的资源浪费,提高训练效率;U-P-Net被提出,有效地聚合了不同区域的上下文信息,提高了获取全局信息的能力;实验结果表明,所设计的基于U-P-Net玻璃缺陷分割算法分割精度明显优于其它传统卷积神经网络分割方法,证明了该框架在移动屏幕数据集上的有效性.     

一种Spark环境下的高效率大规模图数据处理机制

本文针对现有的图处理和图管理框架存在的效率低下以及数据存储结构等问题,提出了一种适合于大规模图数据处理机制。首先分析了目前的一些图处理模型以及图存储框架的优势与存在的不足。其次,通过对分布式计算的特性分析采取适合大规模图的分割算法、数据抽取的优化以及缓存、计算层与持久层结合机制三方面来设计本文的图数据处理框架。最后通过PageRank和SSSP算法来设计实验与MapReduce框架和采用HDFS作持久层的Spark框架做性能对比。实验证明本文提出的框架要比MapReduce框架快90倍,比采用HDFS作持久层的Spark框架快2倍,能够满足高效率图数据处理的应用前景。     

消息代理机制下的MapReduce数据流优化

MapReduce编程模型是广泛应用于云计算环境下处理海量数据的一种并行计算框架。然而该框架下的面向数据密集型计算,集群节点间的数据传输依赖性较强,造成节点间的消息处理负载过重。提出基于消息代理机制的MapReduce改进模型,优化数据流。经实验数据表明,基于消息代理机制的MapReduce框架能提高数据密集型应用上的负载均衡。     

机器视觉表面缺陷检测综述

目的 工业产品的表面缺陷对产品的美观度、舒适度和使用性能等带来不良影响,所以生产企业对产品的表面缺陷进行检测以便及时发现并加以控制。机器视觉的检测方法可以很大程度上克服人工检测方法的抽检率低、准确性不高、实时性差、效率低、劳动强度大等弊端,在现代工业中得到越来越广泛的研究和应用。方法 以机器视觉表面缺陷检测为研究对象,在广泛调研相关文献和发展成果的基础上,对基于机器视觉在表面缺陷检测领域的应用进行了综述。分析了典型机器视觉表面缺陷检测系统的工作原理和基本结构,阐述了表面缺陷视觉检测的研究现状、现有视觉软件和硬件平台,综述了机器视觉检测所涉及到的图像预处理算法、图像分割算法、图像特征提取及其选择算法、图像识别等相关理论和算法研究,并对每种主要方法的基本思想、特点和存在的局限性进行了总结,对未来可能的发展方向进行展望。结果 机器视觉表面缺陷检测系统中,图像处理和分析算法是重要内容,算法各有优缺点和其适应范围。如何提高算法的准确性、实时性和鲁棒性,一直是研究者们努力的方向。结论 机器视觉是对人类视觉的模拟,机器视觉表面检测涉及众多学科和理论,如何使检测进一步向自动化和智能化方向发展,还需要更深入的研究。     

基于自编码和知识蒸馏的表面缺陷检测方法

针对传统的表面缺陷检测方法只能对具有高对比度或低噪声的明显缺陷轮廓进行检测的问题,提出了一种基于自编码和知识蒸馏的表面缺陷检测方法来准确定位和分类从实际工业环境捕获的输入图像中出现的缺陷。首先,设计了一种级联自动编码器（CAE）架构用于分割和定位缺陷,其目的是将输入的原始图像转换为基于CAE的预测蒙版;其次,利用阈值模块对预测结果进行二值化以获得准确的缺陷轮廓;然后,把缺陷区域检测器提取并裁剪出来的缺陷区域视为下一个模块的输入;最后,将CAE分割结果的缺陷区域通过知识蒸馏进行类别分类。实验结果表明,与其他几种表面缺陷检测方法相比,所提出的方法综合性能最好,其缺陷检测平均准确率为97.00%。该方法能够有效地对较小的、边缘不清晰的缺陷进行分割,满足对物品表面缺陷实时分割检测的工程要求。     

基于改进SSD算法的光伏组件缺陷检测研究

无人机自动化巡检是解决大型分布式光伏系统运维需求的有效方案。无人机航拍产生大量光伏板图像数据,需要算法实现更高的识别精度和更快的识别速度,为此提出一种改进的SSD算法,用于检测光伏组件缺陷。新算法在原有SSD算法中嵌入注意力机制,并使用迁移学习策略提高检测速度和准确率,能够对光伏组件普遍存在的玻璃破碎、受光面发黄、灰尘等进行自动识别和分类。通过与Faster-RCNN、YOLO3、VGG16-SSD算法对比,实验结果表明,改进SSD算法在识别准确率、召回率和检测速度方面表现良好,能有效提升光伏组件缺陷识别的效率。