基于字符注意力的自然场景文本识别

自然场景文本识别中采用固定大小的卷积核提取视觉特征,后仅进行字符分类的方法,其全局建模能力弱且忽视了文本语义建模的重要性,因此,本文提出一种基于字符注意力的自然场景文本识别方法。首先构建不同于卷积网络的多级efficient Swin Transformer提取特征,其可使不同窗口的特征进行信息交互;其次设计了字符注意力模块(character attention module, CAM),使网络专注于字符区域的特征,以提取识别度更高的视觉特征;并设计语义推理模块(semantic reasoning module, SRM),根据字符的上下文信息对文本序列进行建模,获得语义特征来纠正不易区分或模糊的字符;最后融合视觉和语义特征,分类得到字符识别结果。实验结果表明,在规则文本数据集IC13上识别准确率达到了95.2%,在不规则的弯曲文本数据集CUTE上达到了85.8%,通过消融及对比实验证明了本文提出的方法可行。     

基于层次自注意力的高效场景文本识别

在深度学习技术的发展驱动下,智慧应用场景对文本识别任务提出了更高的要求。现有方法更加侧重构建强大的视觉特征提取网络,忽略了文本序列特征的提取能力。针对该问题,提出了一种基于层次自注意力的场景文本识别网络。通过融合卷积和自注意力可以建立并增强文本序列信息与视觉感知信息间的联系。由于视觉特征和序列特征在全局空间中的充分交互,有效地减小了复杂背景噪声对识别精度的影响,实现了对规则和不规则场景文本的鲁棒性预测。实验结果表明,所提方法在各数据集上均表现出竞争力。尤其是在CUTE数据集上可以实现81.4%,6.24 ms的最佳精度和速度,具备一定的应用潜力。     

双注意力随机选择全局上下文细粒度识别网络

针对细粒度图像识别任务中易忽视微小潜在性特征且外观差异细微等问题,提出一种基于双注意力随机选择全局上下文细粒度识别网络。首先,使用ConvNeXt作为主干网络,提出双注意力随机选择模块,对不同阶段提取到的特征进行通道随机选择和空间随机选择,使网络能够关注到其他潜在微小判别性特征;其次,利用全局上下文注意力模块将深层特征的语义信息融合到中间层,增强中间层定位微小特征的能力;最后,提出一种多分支损失,对中间层、深层和拼接层特征引入分类损失,结合不同分支提取到的特征,诱导网络获得多样性的判别特征。所提网络在Stanford-cars、CUB-200-2011、FGVC-Aircraft 3个公开细粒度数据集和真实场景下车型数据集VMRURS上分别达到了95.2%、92.1%、94.0%和97.0%的识别准确率,其性能相比其他对比方法有较大幅度提升。     

基于多模态迭代及修正的文本识别算法

针对场景文本识别在长距离建模时容易产生信息丢失和对低分辨率文本图像表征能力较弱的问题,提出了一种基于多模态迭代及修正的文本识别算法。本文算法的视觉模型(vision model)是由CoTNet(contextual transformer networks for visual recognition)、动态卷积注意力模块(dynamic convolution attention module,DCAM)、EA-Encoder(external attention encoder)和位置注意力机制组合而成的。其中CoTNet可以有效起到缓解长距离建模产生的信息丢失问题;DCAM在增强表征能力、专注于重要特征的同时,将重要的特征传给EA-Encoder,进而提高CoTNet和EA-Encoder之间的联系;EA-Encoder可以学习整个数据集上最优区分度的特征,捕获最有语义信息的部分,进而增强表征能力。经过视觉模型后,再经过文本修正模块(text correction model)和融合模块(fusion model)得到最终的识别结果。实验数据显示,本文所提出的算法在多个公共场景文本数据集上表现良好,尤其是在不规则数据集ICDAR2015上准确率高达85.9%。     

基于渐进式学习与多尺度增强的客体视觉注意力估计方法

视觉注意力机制已引起学界和产业界的广泛关注,但既有工作主要从场景观察者的视角进行注意力检测。然而,现实中不断涌现的智能应用场景需要从客体视角进行视觉注意力检测。例如,检测监控目标的视觉注意力有助于预测其后续行为,智能机器人需要理解交互对象的意图才能有效互动。该文结合客体视觉注意力的认知机制,提出一种基于渐进式学习与多尺度增强的客体视觉注意力估计方法。该方法把客体视域视为几何结构和几何细节的组合,构建层次自注意力模块(HSAM)获取深层特征之间的长距离依赖关系,适应几何特征的多样性;并利用方向向量和视域生成器得到注视点的概率分布,构建特征融合模块将多分辨率特征进行结构共享、融合与增强,更好地获取空间上下文特征;最后构建综合损失函数来估计注视方向、视域和焦点预测的相关性。实验结果表明,该文所提方法在公开数据集和自建数据集上对客体视觉注意力估计的不同精度评价指标都优于目前的主流方法。     

一种多层多模态语义空间的注意力标注算法改进研究

针对图像标注和注意力机制结合过程中特征不充分性和预测过程中特征权重不足性,提出了一种多层多模态语义空间的图像注意力标注方法.通过多层多模态公共语义空间对文本和图像改进网络,从基于文本的语言模型中利用多层的深度卷积神经网络特征提取上下文和句子;利用非线性特征图视觉映射到各层的文本和句子中获得多个公共语义空间实例,其中所有...     

基于深度学习的电力安全作业实体识别方法

针对电力现场作业、设备使用安全等大量文本采用非结构化的形式制定、存储,信息自动挖掘难以实现的问题,提出一种融合注意力机制与ALBERT-BiGRU-CRF的方法.首先将ALBERT作为文本的字向量语义编码层,其次多头注意力机制融合到BiGRU网络模型中作为字符实体信息标签预测层,最终CRF作为全局标签优化层.该方法能够准确捕获专业领域字符间的依赖权重、语境、上下文语义关联等全方位特征.电力安全作业文本实体识别实验结果表明,融合注意力机制与深度学习识别方法比目前常用的算法模型识别F1值高3.05％～11.62％,具有较高准确率,识别效果较好.     

基于注意力机制的知识增强短文本分类

本文基于TCN,提出一种结合多头注意力机制的,同时关注上下文特征与知识图谱中概念特征的短文本分类模型。其中,TCN能够更快的编码上下文特征,更大程度的利用硬件资源;对知识图谱中概念特征的引入则能补充上在下文特征中缺失的语义信息;而与多头注意力的结合则能较好的改善对有关重要特征的提取效果。本文在三组数据集上进行了大量的实验,与多组基线模型的对比结果验证了本文提出模型的有效性和可用性。     

基于点击数据的图像识别

随着细粒度图像分类研究的不断深入,用户点击数据逐渐被人们当成可靠的语义特征。由于用户点击数据集规模巨大且存在大量冗余,直接使用点击特征进行识别也存在诸多挑战。该文提出利用文本聚类降低文本空间并优化原始点击特征,从而建立精简的文本空间来表征图像,该方法能更好地合并语义相近的文本。在微软发布的Clickture-Dog大数据集上进行的大量实验表明,点击向量特征优于传统图像的视觉特征,图像识别任务中的准确率也更高;基于视觉相似度的传播算法能帮助提高点击特征的表征能力;在大规模文本聚类中,基于稀疏编码的聚类方式识别率达到了58.24%。     

基于字符级联合网络特征融合的中文文本情感分析

针对传统卷积神经网络(CNN)同层神经元之间信息不能互传,无法充分利用同一层次上的特征信息,以及无法提取长距离上下文相关特征的问题.该文针对中文文本,提出字符级联合网络特征融合的模型进行情感分析,在字符级的基础上采用BiGRU和CNN-BiGRU并行的联合网络提取特征,利用CNN的强学习能力提取深层次特征,再利用双向门限循环神经网络(BiGRU)进行深度学习,加强模型对特征的学习能力.另一方面,利用BiGRU提取上下文相关的特征,丰富特征信息.最后在单方面上引入注意力机制进行特征权重分配,降低噪声干扰.在数据集上进行多组对比实验,该方法取得92.36%的F1值,结果表明本文提出的模型能有效的提高文本分类的准确率.     

基于Attention-CTC的自然场景文本识别算法

针对自然场景下文本识别所存在的字符分割困难、识别精度依赖字典等问题,文中提出了一种基于注意力机制与连接时间分类损失相结合的文本识别算法。利用卷积神经网络与双向长短时期记忆网络实现对图像的特征编码,再使用Attention-CTC结构实现对特征序列的解码,有效解决Attention解码无约束的问题。该算法避免了对标签进行额外对齐预处理和后续语法处理,在加快训练收敛速度的同时显著提高了文本识别率。实验结果表明,该算法对字体模糊、背景复杂的文本图像都具有很好的鲁棒性。     

基于深度学习的场景文本检测算法研究

针对自然场景中任意形状文本图像因文本行难以区分导致的信息丢失问题,提出了 一种基于深度学习的场景文本检测算法。首先构建特征提取模块,使用Resnet50作为骨干 网络,在增加跨层连接的金字塔网络结构中引入并联的空洞卷积模块,以提取更多语义信息; 其次,对得到的特征图进行多尺度特征融合,学习不同尺度的特征;最后预测出不同内核大 小的文本实例,并通过尺度扩展逐渐扩大文本行区域,直到得到最终的检测结果。实验结果 表明,该方法在SCUT-CTW1500弯曲文本数据集上的准确率、召回率及F1值分别达到88.5%、 77.0%和81.3%,相比其他基于分割的算法,该算 法对弯曲文本的检测效果良好,具有一定的 应用价值。     

Low Latency Fog-Centric Deduplication Approach to Reduce IoT Healthcare Data Redundancy

In today’s highly computerized society, detection and recognition of text present in natural scene images is complex and difficult to be properly recognized by human vision. Most of the existing algorithms and models mainly focus on detection and recognition of text from still images. Many of the recent machine translation systems are built using the Encoder-Decoder framework which works on the format of encoding the sequence of input and then based on the encoded input, the output is decoded. Both the encoder and the decoder use an attention mechanism as an interface, making the model complex. Aiming at this situation, an alternative method for recognition of texts from videos is proposed. The proposed approach is based on a single Two-Dimensional Convolutional Neural Network (2D CNN). An algorithm for extracting features from an image called the crosswise feature extraction is also proposed. The proposed model is tested and shows that crosswise feature extraction gives better recognition accuracy by requiring a lesser period of time for training than the conventional feature extraction technique used by CNN.

     

Audio Feature Extraction and Analysis for Scene Segmentation and Classification

Understanding of the scene content of a video sequence is very important for content-based indexing and retrieval of multimedia databases. Research in this area in the past several years has focused on the use of speech recognition and image analysis techniques. As a complimentary effort to the prior work, we have focused on using the associated audio information (mainly the nonspeech portion) for video scene analysis. As an example, we consider the problem of discriminating five types of TV programs, namely commercials, basketball games, football games, news reports, and weather forecasts. A set of low-level audio features are proposed for characterizing semantic contents of short audio clips. The linear separability of different classes under the proposed feature space is examined using a clustering analysis. The effective features are identified by evaluating the intracluster and intercluster scattering matrices of the feature space. Using these features, a neural net classifier was successful in separating the above five types of TV programs. By evaluating the changes between the feature vectors of adjacent clips, we also can identify scene breaks in an audio sequence quite accurately. These results demonstrate the capability of the proposed audio features for characterizing the semantic content of an audio sequence.     

基于HOURGLASS网络语义关键点提取的光学图像空间目标姿态估计方法

空间目标姿态估计是有效实现各类航天任务的重要前提,基于空间光学观测图像的目标姿态估计关键一环在于快速准确地建立起观测图像与空间目标之间的“二维特征点-三维实体结构”映射关系。传统的方法往往将这一任务分解为特征提取和特征关联两个步骤序贯进行,然而在空间目标光学观测场景中,高动态的光照变化和目标的相对高速运动特点会显著降低图像特征提取的可靠性,影响后续特征关联匹配的正确率并最终降低对空间目标的姿态估计精度。针对这一问题,本文提出了一种基于语义关键点提取的光学图像空间目标姿态估计方法,利用Hourglass网络端到端地提取包含语义信息的关键点,直接实现了光学图像中二维特征点与目标三维实体结构的关联映射,并在此基础上利用EPnP算法求解待估计的目标姿态值。实验结果表明,本文所提的方法能较好地兼顾算法精度与效率,其在仿真数据集上的姿态估计最小误差为0.83°,且在数据降质的情况下平均误差依然优于传统方法。      

基于多尺度注意力网络的行人属性识别算法

为了提高行人属性识别的准确率,提出了一种基于多尺度注意力网络的行人属性识别算法。为了提高算法的特征表达能力和属性判别能力,首先,在残差网络ResNet50的基础上,增加了自顶向下的特征金字塔和注意力模块,自顶向下的特征金字塔由自底向上提取的视觉特征构建;然后,融合特征金字塔中不同尺度的特征,为每层特征的通道注意力赋予不同的权重。最后,改进了模型损失函数以减弱数据不平衡对属性识别率的影响。在RAP和PA-100K数据集上的实验结果表明,与现有算法相比,本算法对行人属性识别的平均精度、准确度、F1性能更好。     

融合空间-时间双网络流和视觉注意的人体行为识别

该文受人脑视觉感知机理启发,在深度学习框架下提出融合时空双网络流和视觉注意的行为识别方法。首先,采用由粗到细Lucas-Kanade估计法逐帧提取视频中人体运动的光流特征。然后,利用预训练模型微调的GoogLeNet神经网络分别逐层卷积并聚合给定时间窗口视频中外观图像和相应光流特征。接着,利用长短时记忆多层递归网络交叉感知即得含高层显著结构的时空流语义特征序列;解码时间窗口内互相依赖的隐状态;输出空间流视觉特征描述和视频窗口中每帧标签概率分布。其次,利用相对熵计算时间维每帧注意力置信度,并融合空间网络流感知序列标签概率分布。最后,利用softmax分类视频中行为类别。实验结果表明,与其他现有方法相比,该文行为识别方法在分类准确度上具有显著优势。     

基于标题类别语义识别的文本分类算法研究

本文提出了一种基于标题类别语义识别的文本分类算法。算法利用基于类别信息的特征选择策略构造分类的特征空间,通过识别文本标题中的特征词的类别语义来预测文本的候选类别,最后在候选类别空间中用分类器执行分类操作。实验表明该算法在有效降低分类候选数目的基础上可显著提高文本分类的精度,通过对类别空间表示效率指标的验证,进一步表明该算法有效地提高了文本表示空间的性能。