基于改进BiGRU-CNN的中文文本分类方法

传统的自注意力机制可以在保留原始特征的基础上突出文本的关键特征,得到更准确的文本特征向量表示,但忽视了输入序列中各位置的文本向量对输出结果的贡献度不同,导致在权重分配上存在偏离实际的情况,而双向门控循环单元（BiGRU）网络在对全局信息的捕捉上具有优势,但未考虑到文本间存在的局部依赖关系。针对上述问题,提出一种基于改进自注意力机制的BiGRU和多通道卷积神经网络（CNN）文本分类模型SAttBiGRU-MCNN。通过BiGRU对文本序列的全局信息进行捕捉,得到文本的上下文语义信息,利用优化的多通道CNN提取局部特征,弥补BiGRU忽视局部特征的不足,在此基础上对传统的自注意力机制进行改进,引入位置权重参数,根据文本向量训练的位置,对计算得到的自注意力权重概率值进行重新分配,并采用softmax得到样本标签的分类结果。在两个标准数据集上的实验结果表明,该模型准确率分别达到98.95%和88.1%,相比FastText、CNN、RCNN等分类模型,最高提升了8.99、7.31个百分点,同时精确率、召回率和F1值都有较好表现,取得了更好的文本分类效果。     

深度学习中的权重初始化方法研究

深度神经网络训练的实质是初始化权重不断调整的过程,整个训练过程存在耗费时间长、需要数据量大等问题。大量预训练网络由经过训练的权重数据组成,若能发现预训练网络权重分布规律,利用这些规律来初始化未训练网络,势必会减少网络训练时间。通过对AlexNet、ResNet18网络在ImageNet数据集上的预训练模型权重进行概率分布分析,发现该权重分布具备单侧幂律分布的特征,进而使用双对数拟合的方式进一步验证权重的单侧分布服从截断幂律分布的性质。基于该分布规律,结合防止过拟合的正则化思想提出一种标准化对称幂律分布（NSPL）的初始化方法,并基于AlexNet和ResNet32网络,与He初始化的正态分布、均匀分布两种方法在CIFAR10数据集上进行实验对比,结果表明,NSPL方法收敛速度优于正态分布、均匀分布两种初始化方法,且在ResNet32上取得了更高的精确度。     

融合多通道CNN与BiGRU的字词级文本错误检测模型

文本校对是自然语言处理领域的重要分支。深度学习技术因强大的特征提取与学习能力被广泛应用于中文文本校对任务。针对现有中文文本错误检测模型忽略句子连续词间的局部信息、对于长文本的上下文语义信息提取不充分等问题,提出一种基于多通道卷积神经网络（CNN）与双向门控循环单元（BiGRU）的字词级文本错误检测模型。利用Word2vec向量化待检错文本,采用CNN挖掘待检错文本的局部特征,使用BiGRU学习待检错文本的上下文语义信息及长时依赖关系,并通过Softmax处理后输出文本分类结果以判断文本中是否含有字词错误,同时采取L2正则化和dropout策略防止模型过拟合。在SIGHAN2014和SIGHAN2015中文拼写检查任务数据集上的实验结果表明,与基于长短时记忆网络的文本错误检测模型相比,该模型的检错F₁值提升了3.01个百分点,具有更优的字词级文本错误检测效果。     

An Efficient Medical Image Deep Fusion Model Based on Convolutional Neural Networks

Medical image fusion is considered the best method for obtaining one image with rich details for efficient medical diagnosis and therapy. Deep learning provides a high performance for several medical image analysis applications. This paper proposes a deep learning model for the medical image fusion process. This model depends on Convolutional Neural Network (CNN). The basic idea of the proposed model is to extract features from both CT and MR images. Then, an additional process is executed on the extracted features. After that, the fused feature map is reconstructed to obtain the resulting fused image. Finally, the quality of the resulting fused image is enhanced by various enhancement techniques such as Histogram Matching (HM), Histogram Equalization (HE), fuzzy technique, fuzzy type Π, and Contrast Limited Histogram Equalization (CLAHE). The performance of the proposed fusion-based CNN model is measured by various metrics of the fusion and enhancement quality. Different realistic datasets of different modalities and diseases are tested and implemented. Also, real datasets are tested in the simulation analysis.     

Classification of brain hemorrhage computed tomography images using OzNet hybrid algorithm

Classification of brain hemorrhage computed tomography (CT) images provides a better diagnostic implementation for emergency patients. Attentively, each brain CT image must be examined by doctors. This situation is time-consuming, exhausting, and sometimes leads to making errors. Hence, we aim to find the best algorithm owing to a requirement for automatic classification of CT images to detect brain hemorrhage. In this study, we developed OzNet hybrid algorithm, which is a novel convolution neural networks (CNN) algorithm. Although OzNet achieves high classification performance, we combine it with Neighborhood Component Analysis (NCA) and many classifiers: Artificial neural networks (ANN), Adaboost, Bagging, Decision Tree, K-Nearest Neighbor (K-NN), Linear Discriminant Analysis (LDA), Naïve Bayes and Support Vector Machines (SVM). In addition, Oznet is utilized for feature extraction, where 4096 features are extracted from the fully connected layer. These features are reduced to have significant and informative features with minimum loss by NCA. Eventually, we use these classifiers to classify these significant features. Finally, experimental results display that OzNet-NCA-ANN excellent classifier model and achieves 100% accuracy with created Dataset 2 from Brain Hemorrhage CT images.     

道路网络中的连续最近邻查询

为了减少连续最近邻查询中计算K个最近邻的次数和减小算法需要的存储空间,提出一种道路网络中求连续最近邻的方法。给出分点的计算方法及连续最近邻查询算法,对算法的正确性、可终止性进行证明,并分析算法复杂度。与相关算法进行实验比较,得出该算法更适合于对象频繁发生变化的实际网络。     

基于深度卷积神经网络的车型识别研究

近年来,深度学习中的卷积神经网络已经广泛运用于图像识别领域,它不仅显著提升了识别准确率,同时在特征提取速度方面也优于许多传统方法。本文针对高速公路环境下的车型识别问题,引入卷积神经网络（CNNs）理论,设计相应特征提取算法,并结合SVM分类器构建识别系统。通过对高速公路上主要三种车型（小车、客车、货车）的分类实验显示,本文方法在识别精度及速度上均取得较显著的提高。     

一种基于CLMF的深度卷积神经网络模型

针对传统人工特征提取模型难以满足复杂场景下目标识别的需求, 提出了一种基于CLMF的深度卷积神经网络(Convolutional neural networks with candidate location and multi-feature fusion, CLMF-CNN).该模型结合视觉显著性、多特征融合和CNN模型实现目标对象的识别. 首先, 利用加权Itti模型获取目标候选区; 然后, 利用CNN模型从颜色、亮度多特征角度提取目标对象的特征, 经过加权融合供目标识别; 最后, 与单一特征以及目前的流行算法进行对比实验, 结果表明本文模型不仅在同等条件下正确识别率得到了提高, 同时, 达到实时性要求.     

基于CNN的监控视频事件检测

复杂监控视频中事件检测是一个具有挑战性的难题, 而TRECVID-SED评测使用的数据集取自机场的实际监控视频,以高难度著称. 针对TRECVID-SED评测集, 提出了一种基于卷积神经网络(Convolutional neural network, CNN)级联网络和轨迹分析的监控视频事件检测综合方案. 在该方案中, 引入级联CNN网络在拥挤场景中准确地检测行人, 为跟踪行人奠定了基础; 采用CNN网络检测具有关键姿态的个体事件, 引入轨迹分析方法检测群体事件. 该方案在国际评测中取得了很好的评测排名: 在6个事件检测的评测中, 3个事件检测排名第一.