基于诱导向量的CC4神经网络行为研究

角分类前向神经网络CC4可以快速对文本数据进行分类处理.本文在定义二值向量的诱导向量的基础上,给出CC4神经网络隐层、输出层的权矩阵构造方法的诱导向量分析,并给出CC4神经网络隐层输出的基本原理、基于泛化距离的隐层权矩阵构造方法的几何解释,以及输出层权矩阵构造的约束条件;揭示了角分类神经网络学习、工作的基本原理.本文为基于实向量输入的快速角分类神经网络的设计提供了借鉴及必要的理论基础.     

二进制神经网络分类问题的几何学习算法

分类问题在前向神经网络研究中占有重要位置.本文利用几何方法给出一个二进制神经网络K（≥2）分类问题的新学习算法.算法通过训练点的几何位置与类别分析，建立一个四层前向神经网络，实现网络输入向量分类.本文算法的优点在于:保证学习收敛且收敛速度快于BP算法及已有的其他一些前向网络学习算法;算法可以确定神经网络的结构且能实现精确的向量分类.另外，算法所建神经网络由线性阀值单元组成，神经元突触权值和阀值均为整数，特别适合于集成电路实现.     

小波神经网络在滚动轴承故障诊断中的应用

结合小波变换和神经网络的优势给出小波神经网络的结构模型,研究了小波神经网络的学习算法;针对传统算法收敛速度慢等问题,从学习率和引入动量项两个方面对算法进行改进。应用小波网络对滚动轴承的典型故障进行实例诊断。以7216圆锥轴承在实验台上所测取的数据进行网络训练。用振动信号为网络输入向量,给出训练结果。仿真实例表明,采用小波神经网络能够很好地对故障进行分类,其收敛速度明显要快于相同条件BP神经网络,有效地实现了滚动轴承的故障诊断。     

应用BP神经网络对自然图像分类

针对图像的低层视觉特征和高层语义特征之间的鸿沟,利用一个多输出的BP神经网络,分析低层视觉特征,提取图像的主要颜色、灰度共生矩阵和7个不变矩向量作为网络的输入,用语义期望值作为网络的输出,并用加入动量因子和自适应学习率的BP算法来训练该网络。训练完成后,该网络能够对自然图像进行多种语义分类,从而建立起了从低层视觉特征到语义特征之间的映射。改进的BP算法提高了训练的速度和可靠性,实验证明,该方法取得了较好的检索查全率和准确率。     

角分类前向神经网络研究

角分类算法是一类快速分类算法，以其为学习算法的前向神经网络，在信息检索，特别是在线信息检索等领域有着重要的应用．通过对CC4学习算法的分析，揭示了泛化距离在角分类神经网络中的意义．针对文本数据的快速分类要求，提出了新的角分类网络TextCC．为解决数据的多类别判定问题，给出了新的角分类神经网络隐层与输出层之间连接矩阵的学习算法．实验表明，新的角分类神经网络隐层与输出层之间连接矩阵的学习算法有效，TextCC的分类精度教CC4的分类精度显著的提高．     

基于超像素的人工神经网络图像分类

基于人工神经网络对图像标签分类,为简化后续数据处理,先用Normalized Cut将图像分割为超像素,提取特征向量,通过输入训练样本集,对网络进行训练,在最小均方误差意义下得到网络参数,最后在Matlab的仿真实验中基于不同隐藏层节点,使用BP神经网络模型对图像超像素进行分类。     

MRBF神经网络在图像分类中的应用

提出了一种新的结构自适应的径向基函数(MRBF)神经网络处理纹理图像分类问题.自组织映射(SOM)神经网络作为聚类网络,采用无监督学习算法对输入样本进行自组织分类,并将分类中心和相应的权值向量作为RBF神经网络隐含层的输入,来处理RBF神经网络对中心位置敏感的问题.通过对从Brodatz albums中选取了9张纹理图像作为测试图像进行仿真,仿真结果表明该网络具有较好的性能.     

一种融合小波变换与卷积神经网络的高相似度图像识别与分类算法

针对特定领域高相似度图像识别与分类问题,提出融合小波变换与卷积神经网络的高相似度图像识别与分类算法。首先,利用小波变换提取图像纹理特征,对不同类别、不同分辨率图像集进行训练并确定最佳纹理差异度参数值;其次,根据纹理差异度运用小波分解方法对图像进行子图分解,提取各子图能量特征并进行归一化处理;接着,通过卷积神经网络5层卷积和3层池化交替,将输入图像特征向量转化为一维向量;最后,通过训练次数的增加以及数据量的增大,不断优化网络参数,提高在训练集中的分类准确度,在测试集中验证权值实际准确度,得到具有最高分类准确率的卷积神经网络模型。实验选取鸡蛋、苹果两类图像数据集作为实验数据,进行鸡蛋散养或圈养识别、苹果产地判定,实验结果表明：该算法平均鉴别准确率均达90%以上。     

基于神经网络和层次SVM的多姿态人脸识别

提出了一种基于神经网络和层次支持向量机的多姿态人脸识别方法。该方法在训练阶段先利用神经网络把姿态人脸图像特征向准标准人脸图像特征映射，再根据聚类结果来训练支持向量机。识别阶段是利用神经网络变换得到待识别图像所对应的准标准图像的特征，再让层次支持向量机初步判断待识别图像最可能所属的人，最后利用否定算法对待识别的人脸图像进行确认。实验表明该算法效果较佳。     

改进的基于深度学习的遥感图像分类算法

针对传统的基于深度学习的遥感图像分类算法未能有效融合多种深度学习特征，且分类器性能欠佳的问题，提出一种改进的基于深度学习的高分辨率遥感图像分类算法。首先，设计并搭建一个七层卷积神经网络；其次，将高分辨率遥感图像样本输入到该网络中进行网络训练，得到最后两个全连接层输出作为遥感图像两种不同的高层特征；再次，针对该网络第五层池化层输出，采用主成分分析（PCA）进行降维，作为遥感图像的第三种高层特征；然后，将上述三种高层特征通过串联的形式进行融合，得到一种有效的基于深度学习的遥感图像特征；最后，设计了一种基于逻辑回归的遥感图像分类器，可以对遥感图像进行有效分类。与传统基于深度学习的遥感图像分类算法相比，所提算法分类准确率有较高提升。实验结果表明，该算法在分类准确率、误分类率和Kappa系数上表现优异，能实现良好的分类效果。     

On the learning machine for three dimensional mapping

In this paper, we investigate the neural network with three-dimensional parameters for applications like 3D image processing, interpretation of 3D transformations, and 3D object motion. A 3D vector represents a point in the 3D space, and an object might be represented with a set of these points. Thus, it is desirable to have a 3D vector-valued neural network, which deals with three signals as one cluster. In such a neural network, 3D signals are flowing through a network and are the unit of learning. This article also deals with a related 3D back-propagation (3D-BP) learning algorithm, which is an extension of conventional back-propagation algorithm in the single dimension. 3D-BP has an inherent ability to learn and generalize the 3D motion. The computational experiments presented in this paper evaluate the performance of considered learning machine in generalization of 3D transformations and 3D pattern recognition.     

基于双池化特征加权结构CNN的图像分类

传统的池化方式会造成特征信息丢失,导致卷积神经网络中提取的特征信息不足。为了提高卷积神经网络在图像分类过程中的准确率,优化其学习性能,本文在传统池化方式的基础上提出一种双池化特征加权结构的池化算法,利用最大池化和平均池化2种方式保留更多的有价值的特征信息,并通过遗传算法对模型进行优化。通过训练不同池化方式的卷积神经网络,研究卷积神经网络在不同数据集上的分类准确率和收敛速度。实验在遥感图像数据集NWPU-RESISC45和彩色图像数据集Cifar-10上对采用几种池化方式的卷积神经网络分类结果进行对比验证,结果分析表明：双池化特征加权结构使得卷积神经网络的分类准确率有很大程度的提高,同时模型的收敛速度得到进一步提高。     

糖尿病性视网膜图像的深度神经网络分类方法

针对传统的视网膜图像处理步骤复杂、泛化性差、缺少完整的自动识别系统等问题,提出了一套完整的基于深度神经网络的视网膜图像自动识别系统。首先,对图像进行去噪、归一化、数据扩增等预处理;然后,设计了紧凑的神经网络模型——CompactNet,CompactNet继承了AlexNet的浅层结构参数,深层网络参数则根据训练数据进行自适应调整;最后,针对不同的训练方法和不同的网络结构进行了性能测试。实验结果表明,CompactNet网络的微调方法要优于传统的网络训练方法,其分类指标可以达到0.87,与传统直接训练相比高出0.27;对于LeNet,AlexNet和CompactNet三种网络模型,CompactNet网络模型的分类准确率最高;并且通过实验证实了数据扩增等预处理方法的必要性。     

基于卷积神经网络的图像数据增强算法

提升卷积神经网络的泛化能力和降低过拟合的风险是深度卷积神经网络的研究重点。遮挡是影响卷积神经网络泛化能力的关键因素之一,通常希望经过复杂训练得到的模型能够对遮挡图像有良好的泛化性。为了降低模型过拟合的风险和提升模型对随机遮挡图像识别的鲁棒性,提出了激活区域处理算法,在训练过程中对某一卷积层的最大激活特征图进行处理后对输入图像进行遮挡,然后将被遮挡的新图像作为网络的新输入并继续训练模型。实验结果表明,提出的算法能够提高多种卷积神经网络模型在不同数据集上的分类性能,并且训练好的模型对随机遮挡图像的识别具有非常好的鲁棒性。     

一种高精度微孔板浑浊度识别网络

提出一种基于卷积神经网络的高精度微孔板浑浊度分类算法。该算法主要将传统图像处理技术与卷积神经网络技术相结合,通过传统图像处理算法将圆孔从自然拍摄的微孔板图像中切割下来,并将切割下来的圆孔图像制作成圆孔数据集,用于网络模型的训练、评估和测试。同时,通过深度学习技术,设计并训练多个基于深度可分离卷积核的卷积神经网络模型,然后筛选出评估准确率最高的浑浊度分类模型,应用于圆孔识别系统,从而可提高研究人员的工作效率。     

Probabilistic neural network training procedure based on Q(0)-learning algorithm in medical data classification

In this article, an iterative procedure is proposed for the training process of the probabilistic neural network (PNN). In each stage of this procedure, the Q(0)-learning algorithm is utilized for the adaptation of PNN smoothing parameter (σ). Four classes of PNN models are regarded in this study. In the case of the first, simplest model, the smoothing parameter takes the form of a scalar; for the second model, σ is a vector whose elements are computed with respect to the class index; the third considered model has the smoothing parameter vector for which all components are determined depending on each input attribute; finally, the last and the most complex of the analyzed networks, uses the matrix of smoothing parameters where each element is dependent on both class and input feature index. The main idea of the presented approach is based on the appropriate update of the smoothing parameter values according to the Q(0)-learning algorithm. The proposed procedure is verified on six repository data sets. The prediction ability of the algorithm is assessed by computing the test accuracy on 10 %, 20 %, 30 %, and 40 % of examples drawn randomly from each input data set. The results are compared with the test accuracy obtained by PNN trained using the conjugate gradient procedure, support vector machine algorithm, gene expression programming classifier, k–Means method, multilayer perceptron, radial basis function neural network and learning vector quantization neural network. It is shown that the presented procedure can be applied to the automatic adaptation of the smoothing parameter of each of the considered PNN models and that this is an alternative training method. PNN trained by the Q(0)-learning based approach constitutes a classifier which can be treated as one of the top models in data classification problems.     

Two-stage neural network regression of eye location in face images

Automatic eye localization is a crucial part of many computer vision algorithms for processing face images. Some of the existing algorithms can be very accurate, albeit at the cost of computational complexity. In this paper, a new solution to the problem of automatic eye localization is proposed. Eye localization is posed as a nonlinear regression problem solved by two feed-forward multilayer perceptrons (MLP) working in a cascade. The input feature vector of the first network is constructed from coefficients of a two dimensional discrete cosine transform(DCT) of a face image. The second network generates corrections based on small image patches. Feature extraction and neural network prediction have known and efficient implementations, thus the entire procedure can be very fast. The paper hints at the neural network structure and the procedure for generating artificial training samples from a low number of face images. In terms of accuracy, the method is comparable to state-of-the-art techniques; however it is based on numerical procedures that could be highly optimized (fast Fourier transform and matrix multiplication).     

基于深度卷积神经网络的图像重建算法

视频或者图像在传输过程中,可能出现随机性的误码、突发性的误码、传输中的丢包等等,对解码出的图像数据也会有严重的影响.本文提出了基于深度学习的图像重建算法：一种基于图像背景预测生成模糊区域内容的无监督图像重建神经网络模型.为了重建出逼真的图像,神经网络模型需要既理解整个图像的内容,又为缺失的部分重构出一个合理的假设.损失函数包含标准像素级重建损失和对抗损失,在训练卷积神经网络模型时,能够更好地处理图像中的结构细节产生更清晰的结果.通过实验可以发现本文设计的深度卷积神经网络模型与基于样本插值的算法相比在图像重建中有着较好的效果.