改进的Faster RCNN煤矿井下行人检测算法

针对煤矿井下环境恶劣、光照差、背景混杂、行人模糊、行人多尺度等问题，提出了一种改进的Faster RCNN煤矿井下行人检测方法，使用深度卷积神经网络代替传统的手工设计特征方式自动地从图片中提取特征。利用深度学习通用目标检测框架Faster RCNN，以Faster RCNN算法为基础，对候选区域网络（Region Proposals Network，RPN）结构进行了改进，提出了一种“金字塔RPN”结构，来解决井下行人存在的多尺度问题；同时算法中加入了特征融合技术，将不同卷积层输出的特征图进行融合，增强煤矿井下模糊、遮挡和小目标行人的检测性能。实验结果表明：改进的Faster RCNN可以有效解决井下行人检测问题，在井下行人数据集上获得了90%的检测准确率，并在公测数据集VOC 07上对改进算法进行了验证。     

深度学习的多尺度多人目标检测方法研究

深度学习具有自主学习目标特征、识别率高、鲁棒性强等优点,当前基于深度学习的人体目标检测方法不能有效地适应目标的尺度变化。针对上述问题,提出多尺度多人的目标检测方法,将FPN特征金字塔分别与Faster R-CNN网络的两个阶段结合,同时,平衡RPN阶段产生的正负锚点的数量比例,并采用了更适合的锚点纵横比,对原始网络进行了一系列的优化。在标准数据集PETS 2009、Caltech和INRIA上的实验结果表明,提出的检测方法性能优于主流深度学习目标检测算法。     

用于烟雾病检测的Faster RCNN改进算法

为了预防烟雾病引发的并发症威胁患者生命,需要对烟雾病进行及时有效的诊断。本文提出了一种改进的Faster RCNN算法用于烟雾病检测。首先,提取颈内动脉数字减影血管造影（Digital subtraction angiography,DSA）图像,并进行数据增强,训练集、验证集和测试集之比为6∶2∶2。使用ResNet101网络作为特征提取网络,避免血管特征在卷积和池化过程中产生模糊或丢失;结合区域生成网络（Region proposal network, RPN）,定位烟雾病病灶的位置;再将Faster RCNN模型中的ROI Pooling替换为ROI Align进行特征映射,避免由量化带来的误差影响。本文采用平均精度（Average precision,AP）作为算法检测性能的评估指标,所用方法对正常样本和烟雾病样本检测的AP分别为99.23%和89.39%。实验结果表明,该方法可以实现烟雾病的快速有效检测,可在复杂的血管网中准确检测烟雾病病灶的位置,为烟雾病辅助诊断提供一定的技术支持。     

基于faster R-CNN的服务机器人物品识别研究

传统的日用商品识别流程通常使用较为经典的图像识别和机器学习算法,如支持向量机（SVM）、随机森林或Adaboost,然后利用目标图像的梯度、纹理或颜色的基本特征来对日用商品进行识别,可以在比较简单的背景中得到应用,但是在复杂的背景环境中很难有比较突出的表现,并且难以达到较高的准确率。目前在目标识别中表现比较优异的是卷积神经网络（CNN）,并成为很多目标识别场景中的首选。考虑到服务机器人的硬件配置成本,将基于区域的卷积神经网络（R-CNN）的快速算法Faster R-CNN引入系统中,并以CPU计算的方式进行物品识别。利用CNN网络提取图像特征,在其后面接入一个区域提议层。实验结果表明,将深度学习的识别方法应用到服务机器人平台是可行的,识别效果准确,且在实验中得到较好的检测效果。     

基于深度学习的村镇砖(混)木房屋识别

破坏性地震发生后,相较按照抗震设防标准建设的城市公共设施和居民住宅,广大无抗震设防的村镇居民自建房屋,更易发生倒塌甚至完全损毁.以往地震灾情预评估、地震灾害风险调查、地震重点危险区调研,依靠专家现场踏勘,确定不同结构类型建筑物数量及所占比例.本研究借助深度学习和倾斜摄影技术,进行砖(混)木结构房屋识别,郯庐断裂带山东境内砖(混)木房屋影像制作数据集,训练得到Faster R-CNN模型,该区域内砖(混)木房屋识别平均精度为91.868%.结果表明,本文方法能够对砖(混)木房屋进行有效检测,可应用于地震行业开展震前、震后各类现场工作,提高政府部门应急管理能力.     

基于深度学习的X射线鞋底异物检测系统

在服饰鞋厂的加工生产过程中经常会出现断针现象,残留在鞋子里的多余断针等金属异物会威胁人们的人身安全.针对这一问题,本文提出了一种基于深度学习的鞋底金属异物检测系统.首先,将鞋子依次放在传送带上送入检针机,经过X光照射采集图像.之后对采集到的图像进行预处理操作,使金属异物变得清晰.最后通过深度学习网络模型识别当前图像是否...     

基于深度学习的短视频中的物体检测与内容推荐系统研究

近年来短视频发展迅猛,短视频广告投放具有良好的市场前景,但是以往长视频的贴片广告投放方式不适合短视频。本文依据高相关、低打扰、短而精的准则,提出一种基于深度学习的视频物体检测与内容推荐系统方案。根据短视频来源、网络环境等不同,本文介绍2种实现模式：云端模式和移动终端模式。云端模式由服务器、内容分发网络（Content Delivery Network, CDN）和终端组成,服务器可预先对CDN短视频进行物体检测和识别,将短视频与对应广告内容匹配,并在移动端播放。移动终端模式主要处理本地视频,在移动端有限的资源上完成短视频的物体检测和内容推荐。在算法上,移动终端模式下该系统采用深度学习轻量级模型MobileNet以提高检测速度和准确率,降低内存。在实现上,通过联合编译Java和C++代码提高算法运行效率,通过反馈系统减小物体类别数量,提高实时性。     

基于Faster R-CNN的疟疾血涂片检测改进算法

根据WHO发布的报告,每年疟疾的新发病例超过2亿,死亡人数仍居高不下.疟疾血涂片镜检法是疟疾检测的金标准,但由于人工评估所需的步骤繁琐,即使在经验丰富的医师手中,这种诊断方法也很耗时并且容易发生漏检和误检.此外疟原虫细胞形状、密度和颜色的变化以及某些细胞类的不确定性等因素,对疟原虫检测提出了重大挑战.基于深度学习的神经...     

An end-to-end framework for the detection of mathematical expressions in scientific document images

The detection of mathematical expressions is a prerequisite step for the digitisation of scientific documents. Many different multistage approaches have been proposed for the detection of expressions in document images, that is, page segmentation and expression detection. However, the detection accuracy of such methods still needs improvement owing to errors in the page segmentation of complex documents. This paper presents an end-to-end framework for mathematical expression detection in scientific document images without requiring optical character recognition (OCR) or document analysis techniques applied in conventional methods. The novelty of this paper is twofold. First, because document images are usually in binary form, the direct use of these images, which lack texture information as input for detection networks, may lead to an incorrect detection. Therefore, we propose the application of a distance transform to obtain a discriminating and meaningful representation of mathematical expressions in document images. Second, the transformed images are fed into the faster region with a convolutional neural network (Faster R-CNN) optimized to improve the accuracy of the detection. The proposed framework was tested on two benchmark data sets (Marmot and GTDB). Compared with the original Faster R-CNN, the proposed network improves the accuracies of detection of isolated and inline expressions by 5.09% and 3.40%, respectfully, on the Marmot data set, whereas those on the GTDB data set are improved by 4.04% and 4.55%. A performance comparison with conventional methods shows the effectiveness of the proposed method.     

关于移动端古诗词学习系统的研究与应用

移动互联网的发展使移动端知识获取模式成为时代的新宠, 诗词亦是中华文化的璀璨明珠, 诗词学习与移动学习的联合已迫在眉睫. 本系统使用Client/Server (客户/服务器)结构, 由Faster R-CNN实现图像识别, 再通过循环神经网络模型(RNN)完成古诗生成功能, 最后根据协同过滤推荐算法完成个性化推荐. 客户端APP以Flutter, SpringBoot框架为基础开发, 数据库采用了MySQL关系型数据库管理系统进行数据管理, 结合服务器与系统进行连接进而实现所需功能. 面向对诗词学习存在需求及抱有浓厚兴趣的人群, 开发出一个致力于传承发扬中华文化, 结合图像识别与深度学习技术以实现智能识图与古诗生成的诗词学习系统.     

基于卷积神经网络的指针式仪表识别

目前大部分研究指针式仪表识别的方法中提取指针是完全基于传统的图像处理技术,提取过程较为复杂且步骤繁多.为了有效解决指针式仪表读数识别中指针中轴线所在直线提取困难及识别精度不高等问题,本文提出了一种基于深度学习的指针式仪表的识别方法.首先用Faster R-CNN算法检测仪表圆盘,再采用基于深度学习的方法Faster R...     

Densemask RCNN: A Hybrid Model for Skin Burn Image Classification and Severity Grading

In the medical image processing, automatic segmentation of burn images is one of the critical tasks in the classification of skin burn into normal and burn area. Traditional models identify the burns from the image and distinguish the region as burn and non-burn regions. However, the earlier models cannot accurately classify the wound region and also requires more time in the prediction of burns. Also, the burn depth analysis is an important factor for the calculation of the percentage of burn depth i.e. degree of severity is analyzed by Total body surface area (TBSA). For those issues, we design a hybrid approach named DenseMask Regional convolutional neural network (RCNN) approach for segmenting the skin burn region based on the various degrees of burn severity. In this, hybrid integration of Mask-region based convolution neural network CNN (Mask R-CNN) and dense pose estimation are integrated into DenseMask RCNN that calculate the full-body human pose and performs semantic segmentation. At first, we use the Residual Network with a dilated convolution using a weighted mapping model to generate the dense feature map. Then the feature map is fed into the Region proposal network (RPN) which utilizes a Feature pyramid network (FPN) to detect the objects at different scales of location and pyramid level from the input images. For the accurate alignment of pixel-to-pixel labels, we introduce a Region of interest (RoI)-pose align module that properly aligns the objects based on the human pose with the characteristics of scale, right-left, translation, and left–right flip to a standard scale. After the alignment task, a cascaded fully convolutional architecture is employed on the top of the RoI module that performs mask segmentation and dense pose regression task simultaneously. Finally, the transfer learning model classifies the detected burn regions into three classes of wound depths. Experimental analysis is performed on the burn dataset and the result obtained shows better accuracy than the state-of-art approaches.

     

肤色检测技术综述

肤色检测在人脸和手势识别与跟踪、Web图像内容过滤、数据库或因特网中的人物检索和医疗诊断等方面有广泛应用,文中通过分别介绍基于统计和基于物理的两类肤色检测技术,较全面地综述了肤色检测技术,其中对颜色空间选择、静、动态肤色建模方法、肤色反射模型和肤色波谱特性等肤色检测重要环节做了分析,明确了选择颜色空间与特征提取和分类方法的联系,强调了研究肤色波谱特征对基于物理的肤色检测技术的重要性,最后探讨了肤色检测的技术难题和发展趋势。     

保险丝线圈字符识别技术研究

针对保险丝线圈字符在采集过程中曝光过度含有大量的噪声以及线圈字符被压缩情况,使用投影法结合字符先验知识进行字符分割,并将膨胀之后的清晰字符用于LeNet网络识别。在识别中,将线圈中每个字符进行标注训练,使用改进的Faster R-CNN定位作识别,改进的部分为替换Backbone、寻找最佳Anchor参数、将RoI Pooling替换成RoI Align和设计损失函数。对比未改进网络和其他网络,实验结果表明,改进后的网络字符识别率达99.91%,具有良好的鲁棒性和泛化能力,对光学字符识别具有一定的推广和借鉴价值。     

语义关系引导的面部动作单元分析

面部动作单元分析旨在识别人脸图像每个面部动作单元的状态,可以应用于测谎,自动驾驶和智能医疗等场景.近年来,随着深度学习在计算机视觉领域的普及,面部动作单元分析逐渐成为人们关注的热点.面部动作单元分析可以分为面部动作单元检测和面部动作单元强度预测两个不同的任务,然而现有的主流算法通常只针对其中一个问题.更重要的是,这些方法通常只专注于设计更复杂的特征提取模型,却忽略了面部动作单元之间的语义相关性.面部动作单元之间往往存在着很强的相互关系,有效利用这些语义知识进行学习和推理是面部动作单元分析任务的关键.因此,通过分析不同人脸面部行为中面部动作单元之间的共生性和互斥性构建了基于面部动作单元关系的知识图谱,并基于此提出基于语义关系的表征学习算法（semantic relationship embedded representation learning,SRERL）.在现有公开的面部动作单元检测数据集（BP4D、DISFA）和面部动作单元强度预测数据集（FERA2015、DISFA）上,SRERL算法均超越现有最优的算法.更进一步地,在BP4D+数据集上进行泛化性能测试和在BP4D数据集上进行遮挡测试,同样取得当前最优的性能.     

基于Faster R-CNN的诱导维修自动交互设计

随着增强现实技术在机械领域的发展，已经有越来越多的例子证明了AR在工业维修方面提高操作效率的优越性。为了提高诱导维修操作过程的效率，针对传统的增强现实维修系统不能对维修状态进行感知和判断的问题，提出了一种基于快速区域卷积神经网络（Faster R-CNN）的进程识别自动交互方法。该方法基于Faster R-CNN建立零件识别的深度神经网络模型并利用反向传播进一步微调，通过对零件的识别输出零件的类型和编号，反馈给系统触发相应的操作步骤，无需用户进行另外的交互操作。实验结果表明，基于深度神经网络的维修零件识别率可达95%，平均识别速度为每帧300 ms，满足AR诱导维修系统的精度和交互性要求。     

注意力机制和Faster RCNN相结合的绝缘子识别

针对利用Faster RCNN识别绝缘子图像过程中定位不够准确的问题,提出一种注意力机制和Faster RCNN相结合的绝缘子识别方法。在特征提取阶段引入基于注意力机制的挤压与激励网络（Squeeze-and-Excitation Networks,SENet）结构,使模型能够关注与目标相关的特征通道并弱化其他无关的特征通道;根据绝缘子的特点,对区域建议网络（region proposal network,RPN）生成锚点（anchor）的比例和尺度进行调整;在全连接层运用注意力机制对周围建议框的特征向量赋予不同权重并进行融合,更新目标建议框的特征向量。实验结果表明:与传统的Faster RCNN算法相比,改进后的算法能够较好地识别出绝缘子。     

基于Faster R-CNN的输电线路缺陷识别模型研究

随着多旋翼无人机引入输电线路巡检作业后,对巡线人员通过图像判断线路上设备是否有缺陷提出了新的挑战。为了帮助巡线人员做出准确决策,提高发现缺陷的能力,基于深度卷积神经网络,搭建了适用于无人机图像识别的输电线路缺陷识别网络模型。首先详细描述了输电线路缺陷识别图像数据库的建立过程,然后通过分析对比三个预训练前端网络的性能及多个参数对网络模型识别准确率的影响,得到基于Faster R-CNN的输电线路缺陷最优识别网络模型。经过测试集验证,提出的缺陷识别网络模型的识别准确率达到了90%以上,单张图片耗时达到了毫秒级,在识别准确率和耗时上均明显优于其他识别网络模型,为实际巡线工作中的输电线路缺陷判别提供智能有效的决策依据,是机器学习在智能电网中应用的有益探索。     

深度学习在目标视觉检测中的应用进展与展望

目标视觉检测是计算机视觉领域的一个重要问题,在视频监控、自主驾驶、人机交互等方面具有重要的研究意义和应用价值.近年来,深度学习在图像分类研究中取得了突破性进展,也带动着目标视觉检测取得突飞猛进的发展.本文综述了深度学习在目标视觉检测中的应用进展与展望.首先对目标视觉检测的基本流程进行总结,并介绍了目标视觉检测研究常用的公共数据集;然后重点介绍了目前发展迅猛的深度学习方法在目标视觉检测中的最新应用进展;最后讨论了深度学习方法应用于目标视觉检测时存在的困难和挑战,并对今后的发展趋势进行展望.     

基于代价敏感Faster R-CNN的脑CT影像出血诊断方法

脑出血是一种在患者颅内突然发生的重急症,常伴随有强烈的症状和较高致死率,基于脑CT影像对脑出血进行自动化快速诊断具有重要意义。其中,临床上有效应用的实现不仅要求诊断结果的准确性、诊断速度和结果解释能力,尤其要重视出血漏检情形。因此本文提出代价敏感的Faster R-CNN模型,通过自动调节模型中锚的训练样本比例以及在损失函数中引入衡量阳性样本重要性的超参数等方式,更多地关注阳性样本和漏检情形提升检测效果,最后通过定位的具体目标区域来诊断脑内出血情况。经多次实验选择性能最优的网络结构和合适的超参数,利用多项指标度量最终模型的检测和诊断效果。实验结果表明,代价敏感的Faster R-CNN方法能够从减少漏检的角度上更好地识别出血区域,进而提高不平衡代价下的脑出血诊断效果。