Horizontal Voting Ensemble Based Predictive Modeling System for ColonCancer

Colon cancer is the third most commonly diagnosed cancer in the world. Most colon AdenoCArcinoma (ACA) arises from pre-existing benign polyps in the mucosa of the bowel. Thus, detecting benign at the earliest helps reduce the mortality rate. In this work, a Predictive Modeling System (PMS) is developed for the classification of colon cancer using the Horizontal Voting Ensemble (HVE) method. Identifying different patterns in microscopic images is essential to an effective classification system. A twelve-layer deep learning architecture has been developed to extract these patterns. The developed HVE algorithm can increase the system’s performance according to the combined models from the last epochs of the proposed architecture. Ten thousand (10000) microscopic images are taken to test the classification performance of the proposed PMS with the HVE method. The microscopic images obtained from the colon tissues are classified into ACA or benign by the proposed PMS. Results prove that the proposed PMS has ~8% performance improvement over the architecture without using the HVE method. The proposed PMS for colon cancer reduces the misclassification rate and attains 99.2% of sensitivity and 99.4% of specificity. The overall accuracy of the proposed PMS is 99.3%, and without using the HVE method, it is only 91.3%.     

基于动态门控特征融合的轻量深度补全算法

稠密深度图在自动驾驶和机器人等领域至关重要,但是现今的深度传感器只能产生稀疏的深度测量,所以有必要对其进行补全.在所有辅助模态中, RGB图像是常用且易得的信息.现今的许多方法都采用RGB和稀疏深度信息结合进行补全.然而它们绝大部分都是利用通道拼接或逐元素求和简单的对两种模态的信息进行融合,没有考虑到不用场景下不同模态特征的置信度.提出一种以输入深度稀疏分布为指导,结合双模态信息量的动态门控融合模块,通过动态产生融合权重的方式对两个模态特征进行更高效的结合.并且根据不同模态的数据特征设计了精简的网络结构.实验结果表明所提出模块和改进的有效性,提出的网络在两个有挑战性的公开数据集KITTI depth completion和NYU depth v2上,使用了很少的参数量达到了先进的结果,取得了性能和速度的优秀平衡.     

视觉Transformer识别任务研究综述

Transformer模型在自然语言处理领域取得了很好的效果,同时因其能够更好地连接视觉和语言,也激发了计算机视觉界的极大兴趣。本文总结了视觉Transformer处理多种识别任务的百余种代表性方法,并对比分析了不同任务内的模型表现,在此基础上总结了每类任务模型的优点、不足以及面临的挑战。根据识别粒度的不同,分别着眼于诸如图像分类、视频分类的基于全局识别的方法,以及目标检测、视觉分割的基于局部识别的方法。考虑到现有方法在3种具体识别任务的广泛流行,总结了在人脸识别、动作识别和姿态估计中的方法。同时,也总结了可用于多种视觉任务或领域无关的通用方法的研究现状。基于Transformer的模型实现了许多端到端的方法,并不断追求准确率与计算成本的平衡。全局识别任务下的Transformer模型对补丁序列切分和标记特征表示进行了探索,局部识别任务下的Transformer模型因能够更好地捕获全局信息而取得了较好的表现。在人脸识别和动作识别方面,注意力机制减少了特征表示的误差,可以处理丰富多样的特征。Transformer可以解决姿态估计中特征错位的问题,有利于改善基于回归的方法性能,还减少了三维估计时深度映射所产生的歧义。大量探索表明视觉Transformer在识别任务中的有效性,并且在特征表示或网络结构等方面的改进有利于提升性能。     

生物视觉系统的神经网络编码模型综述

生物视觉系统的研究一直是计算机视觉算法的重要灵感来源。有许多计算机视觉算法与生物视觉研究具有不同程度的对应关系,包括从纯粹的功能启发到用于解释生物观察的物理模型的方法。从视觉神经科学向计算机视觉界传达的经典观点是视觉皮层分层层次处理的结构。而人工神经网络设计的灵感来源正是视觉系统中的分层结构设计。深度神经网络在计算机视觉和机器学习等领域都占据主导地位。许多神经科学领域的学者也开始将深度神经网络应用在生物视觉系统的计算建模中。深度神经网络多层的结构设计加上误差的反向传播训练,使得它可以拟合绝大多数函数。因此,深度神经网络在学习视觉刺激与神经元响应的映射关系并取得目前性能最好的模型同时,网络内部的单元甚至学习出生物视觉系统子单元的表达。本文将从视网膜等初级视觉皮层和高级视觉皮层(如,视觉皮层第4区(visual area 4,V4)和下颞叶皮层(inferior temporal,IT))分别介绍基于神经网络的视觉系统编码模型。主要内容包括:1)有关视觉系统模型的概念与定义;2)初级视觉系统的神经网络预测模型;3)任务驱动的高级视觉皮层编码模型。最后本文还将介绍最新有关无监督学习的神经编码...     

融合多尺度特征的复杂手势姿态估计网络

目的 基于单幅RGB图像的手势姿态估计受手势复杂性、手指特征局部自相似性及遮挡问题的影响,导致手势姿态估计准确率低。为此,提出一种面向单目视觉手势姿态估计的多尺度特征融合网络。方法 1）采用ResNet50(50-layer residual network)模块从RGB图像提取不同分辨率特征图,通过通道变换模块显式地学习特征通道间的依赖关系,增强重要的特征通道信息,弱化次要的特征通道信息。2）在全局回归模块中,通过设计节点间的连接方式融合不同分辨率特征图,以便充分利用图像的细节与整体信息。采用局部优化模块继续提取更深层的特征信息,获得手部关节点的高斯热图,以此修正遮挡等原因造成部分关节点回归不准确的问题。3）计算经通道变换模块处理后的最小特征图,通过全局池化和多层感知机处理该特征图以获得手势类别和右手相对于左手的深度。4）综合以上结果获得最终的手势姿态。结果 采用InterHand2.6M和RHD(rendered handpose dataset)数据集训练多尺度特征融合网络,评估指标中根节点的平均误差和关节点的平均误差,均低于同类方法,且在一些复杂和遮挡的场景下鲁棒性更高。在In...     

基于预训练模型的关系抽取研究综述

近年来随着深度学习技术的不断革新,预训练模型在自然语言处理中的应用也越来越广泛,关系抽取不再是单纯地依赖传统的流水线方法。预训练语言模型的发展已经极大地推动了关系抽取的相关研究,在很多领域已经超越了传统方法。首先简要介绍关系抽取的发展与经典预训练模型;其次总结当下常用的数据集与评测方法,并分析模型在各数据集上的表现;最后探讨关系抽取发展的挑战与未来研究趋势。     

UAV imagery based potential safety hazard evaluation for high-speed railroad using Real-time instance segmentation

Potential safety hazards (PSHs) along the track needs to be inspected and evaluated regularly to ensure a safe environment for high-speed railroad operations. Other than track inspection, evaluating potential safety hazards in the nearby areas often requires inspectors to patrol along the track and visually identify potential threads to the train operation. The current visual inspection approach is very time-consuming and may raise safety concerns for the inspectors, especially in remote areas. Using the unmanned aerial vehicle (UAV) has great potential to complement the visual inspection by providing a better view from the top and ease the safety concerns in many cases. This study develops an automatic PSH detection framework named YOLARC (You Only Look at Railroad Coefficients) using UAV imagery for high-speed railroad monitoring. First, YOLARC is equipped with a new backbone having multiple available receptive fields to strengthen the multi-scale representation capability at a granular level and enrich the semantic information in the feature space. Then, the system integrates the abundant semantic features at different high-level layers by a light weighted feature pyramid network (FPN) with multi-scale pyramidal architecture and a Protonet with residual structure to precisely predict the track areas and PSHs. A hazard level evaluation (HLE) method, which calculates the distance between identified PSH and the track, is also developed and integrated for quantifying the hazard level. Experiments conducted on the UAV imagery of high-speed railroad dataset show the proposed system can quickly and effectively turn UAV images into useful information with a high detection rate and processing speed.     

基于YOLOv5和生成对抗网络的塑料标签缺陷检测

塑料标签物的缺陷检测与识别是工业过程控制和质量控制的关键;为了克服现有塑料标签缺陷检测方法的局限性,使用了单阶段目标检测模型YOLOv5对其瑕疵进行实时检测与分类;此外,为解决由于样本缺陷数量不足造成的模型识别准确率低等问题,采用了一种基于Defect-GAN的生成对抗网络对小样本进行数据增强和扩增;该方法通过模拟缺陷生成和缺陷图像重建的过程,可以高效合成大量具有高保真度和多样性的缺陷样本,尤其适用于形状不规则、分布随机且尺寸不同的瑕疵生成;实验结果表明,通过使用扩增数据集训练目标检测器,并对网络的超参数进行优化,可以显著提高目标检测器的准确率和精度,其平均精度mAP可达99.5%;此外,为了模拟该方法在实际生产中的应用场景,设计并定制了一台半自动的图像采集机械平台用于采集圆柱样品表面的印刷标签,以及一个自主开发的图像处理和统计分析软件用于样本采集、图像处理及统计分析;该方法和平台可以很容易地推广并应用到其他工业质量控制和缺陷检测系统中。     

基于自注意力机制模拟实体信息的实体关系抽取

在信息抽取领域,从非结构化文本中抽取实体关系是一项基础且重要的任务,且面临实体重叠和模型误差累积等挑战.本文以关系为导向,提出一种改进的实体关系联合抽取方法.该方法将实体关系抽取任务分为关系抽取与实体抽取两个子任务.在关系抽取任务上采用自注意力机制关注词与词之间的重要程度从而模拟实体信息,并使用平均池化来表征整个句子信息;在实体抽取任务上结合关系信息使用条件随机场识别该关系下的实体对.本模型不仅能够利用存在关系必定存在实体对的思想解决实体对重叠问题,还能够在训练过程中利用数据集中已知的关系使实体抽取模块不依赖于关系抽取模块的结果来训练,从而在训练阶段避免误差累积.最后,在WebNLG和NYT公开数据集上验证了该模型的有效性.     

水下光声图像空间配准算法研究综述

水下光声图像配准是水下设备实现信息融合的关键技术。在简述了水下光声图像配准的概念及实例的基础上,分析了目前水下光声图像重建与复原的相关算法,详细综述了水下异源图像基于区域和特征的配准算法研究进展,重点论述了基于图像域和形状特征相似度的两个准确度较高的研究方向的发展现状,并根据其他领域的异源图像配准的研究热点,从增加成像模型的结构性约束、引入相位一致性和生成对抗网络等算法提高配准精度,展望了水下声光图像配准研究的发展趋势。