基于批处理和核函数的非线性盲源分离算法

针对基于核函数的非线性盲源分离算法性能对核函数及其参数选择依赖性强这一问题,提出采用批处理方法代替聚类和核主成分分析方法来构造低维近似子空间的正交基,以改进基于核函数的非线性盲源分离算法对核函数及其参数变化的稳健性,并对这种改进的非线性盲源分离算法进行了完整的分析.通过仿真实验,对分离信号与源信号求相似度,可以看到提出...     

非线性主动噪声控制的随机傅里叶特征-核滤波算法

传统的线性主动噪声控制算法在噪声信号或噪声通道呈现非线性特性的情况下控制效果不佳。核-滤波最小均方误差算法(Kernel Filtered x Least Mean Square,KFxLMS)通过将输入噪声信号映射到高维再生核希尔伯特空间,再用线性方法在高维空间中进行处理。然而,随着新噪声信号的输入,KFxLMS算法递增的核函数运算需要较高的成本。为进一步改进KFxLMS算法,本文提出了随机傅里叶特征核滤波最小均方误差算法(Random Fourier Feature - Kernel Filtered x Least Mean Square,RFF-KFxLMS)。在仿真实验部分讨论了算法的参数选择,给出了算法的计算耗时,并验证了提出的RFF-KFxLMS算法在非线性噪声通道情况下,针对不同频率分量的正弦噪声都能够达到理想的性能。      

基于蚁群算法的改进ICA算法

针对FastICA算法存在依赖非线性函数选取的缺陷,为了提高分离结果的可靠性,提出一种基于蚁群算法的改进ICA算法.该算法对非线性函数没有特殊要求,以负熵近似表达式为目标函数,利用蚁群算法代替FastICA算法中的牛顿梯度法,求出最优分离矩阵B,从而对混合信号中的独立分量进行分离.仿真结果验证了改进ICA算法的有效性和...     

稀疏自适应Volterra滤波的QRD-RLS算法

求解非线性问题时,非线性Volterra滤波的性能明显优于线性滤波;稀疏结构Voherra滤波器有效降低了Volterra滤波的工程应用复杂度;本文针对稀疏Volterra滤波,改进了基于QR分解的RLS算法,在更换滤波器抽头的时候保留了先前的数据信息,从而加速当前抽头的收敛,加快了滤波器核矢量的更新和替换.仿真结果表明改进的QRD-RKS算法具有快速自适应能力;一同验证了稀疏Volterra滤波的有效性.     

α 稳定分布噪声下基于核方法的非线性信道均衡算法

为了提高α稳定分布噪声下非线性信道均衡器的性能,本文利用核方法处理非线性问题,结合最小平均p范数算法的核心思想,构造了α稳定分布噪声下基于核方法的非线性均衡器,提出并推导了α稳定分布噪声下核最小平均p范数均衡算法。首先,通过核函数将接收信号映射到高维特征空间;然后,在高维特征空间中利用LMP算法对信号进行均衡;最后,将均衡器的输出信号表示为内积形式并利用核函数将其转化到输入空间进行计算。理论分析和仿真实验结果表明,与核最小均方算法和最小平均p范数算法相比,新算法在保证收敛速度的前提下降低了稳态误差,能够更好地对α稳定分布噪声下的非线性信道失真进行补偿。      

抽样子空间约束改进大数据谱聚类算法

在分析经典谱聚目标函数与加权核k-means目标函数等价基础上,设计了一种基于抽样子空间约束的改进大规模数据谱聚类算法,算法通过加权核k-means迭代优化避免矩阵特征分解的大量资源被占用,通过数据抽样及聚类中心的子空间约束,避免全部核矩阵都被使用,从而降低经典算法的时间空间复杂度。理论分析和实验结果表明,改进算法保持与经典算法相近聚类精度,提高了聚类效率,验证了改进算法的有效性。     

基于核函数的系统模型辨识

本文提出一种基于核函数的系统模型辨识方法。首先通过线性最小二乘确定低维空间中的非线性子空间,并经主分量分析提取与线性子空间基向量近似正交的非线性主分量,再经核密度估计进行聚类,自适应选择多个核将非线性子空间映射到高维空间,从而将任何一个线性和非线性的联合问题最终变成一个高维空间中的线性问题,最后借助线性最小二乘获得一个精确参数的系统模型。经过实验验证,该方法具有较好的效果。     

HSC分类法及其在海量数据分类中的应用

使用支持向量机对非线性可分数据进行分类的基本思想是将样本集映射到一个高维线性空间使其线性可分.本文则基于Jordan曲线定理,提出了一种通用的基于分类超曲面的分类方法,简称HSC分类法,它是通过直接构造分类超曲面,根据样本点关于分类曲面的围绕数的奇偶性进行分类的一种新分类判断算法,与SVM方法相比,不需要考虑使用何种核函数,不需要做升维变换,直接解决非线性分类问题.对数据分类应用的结果说明:HSC可以有效地解决非线性数据的分类问题,并能够提高分类效率和准确度.     

核加权RX高光谱图像异常检测算法

提出了一种新的基于混合核函数的加权RX算法,用于高光谱图像异常检测.在将原始高光谱数据非线性映射到高维特征空间以挖掘高光谱图像波段间蕴含的非线性信息后,自适应地赋予特征空间RX算子中采样协方差矩阵各光谱向量相应的权值.权值的大小与光谱向量到质心的距离成反比,从而削减了协方差矩阵中异常数据比重,使加权协方差矩阵更好地表征背景数据分布.最后利用核函数性质将高维特征空间的内积运算转化为低维输入空间的核函数计算,并根据高光谱数据特点线性组合新型光谱核函数和径向基核函数以改善算法性能.为验证算法的有效性,利用真实的高光谱数据进行了仿真实验,结果表明该算法优于特征空间的RX算法,能检测到更多的异常目标.     

基于BP算法的异或运算的实现

在人工神经网络理论的基础上,利用多层感知器对异或问题进行解决.分析了BP算法的学习过程,采取BP算法编制一个C++语言的程序,实现基于BP算法的异或运算,并描述了使用BP算法实现异或问题的具体学习过程,给出了程序运行后的结果,验证了BP网络通过若干简单非线性处理单元的复合映射,可获得复杂的非线性处理能力.     

基于核的正交局部保持投影的人脸识别

针对发掘人脸图像中的高维非线性结构,本文将加核及向量间相互正交两种思想同时引入局部保留投影算法中,提出了一种新的基于核的正交局部保持投影(Kernel based Orthogonal Locality Preserving Projections, KOLPP)的非线性子空间人脸识别算法并给出了其推导过程。该算法首先利用核的方法提取人脸图像中的非线性信息,并将其投影在一个高维非线性空间,在保证各向量正交的同时,通过局部保持投影算法做一线性映射,从而更好地提取人脸非线性局部邻域结构特征。在ORL和Yale人脸库上的试验证明了该文所提算法的有效性。     

General multilayer perceptron demixer scheme for nonlinear blind signal separation

A new technique is presented for instantaneous blind signal separation from nonlinear mixtures using a general neural network based demixer scheme. The nonlinear demixer model follows directly from the general mixer model. A general mixer model is described which includes linear mixtures as a special case. In the second part the general framework for a demixer based on a feedforward multilayer perceptron (FMLP) employing a class of continuously differentiable nonlinear functions is presented. A detailed derivation of the learning algorithm used to adapt the demixer's parameters is given. Cost functions based on both maximum entropy (ME) and minimum mutual information (MMI) have been studied. The performance of the new technique was investigated using various experiments derived from the general mixer model and using real-time data. These studies illustrated the superiority and the generality of the new technique compared with existing methods.     

Kernel-based deterministic annealing algorithm for data clustering

Data clustering in kernel-induced feature space is interesting in that, by nonlinearly mapping the observed data from a low-dimensional input space into a high (possibly infinite)-dimensional feature space by means of a given kernel function, the kernel-based clustering can reveal complicated (e.g. linearly nonseparable) data structures that may be missed by traditional clustering methods in the standard Euclidean space. A kernel-based deterministic annealing (KDA) algorithm is developed for data clustering by using a Gaussian kernel function. The Gaussian parameter (width), which determines the nonlinear mapping together with the Gaussian kernel, is adaptively selected by the scaled inverse of data covariance. The effectiveness of the Gaussian parameter (width) selection method and the superiority of the KDA algorithm for clustering a variety of data structures are supported by the experimental results on artificial and real data sets     

基于多样本的多核Fisher判别分析研究

多核Fisher判别分析法是一种有效的非线性判别分析法,对其涉及的参数利用遗传算法进行确定是一个有效的途径。针对训练样本较多时遗传算法搜索时间较长的问题,提出一种基于多样本的多核Fisher算法。其做法是将犬的训练集拆分成若干个小样本集,依次求得投影映射,并利用“投票策略”来判别待测样本。在人脸识别上的实验表明,基于多样本的多核Fisher算法可以在不降低分类正确率的前提下,提高算法的运算速度。     

基于特征向量选择的非线性盲分离算法

在基于解广义特征方程的线性混合信号盲分离方法的基础上,结合核特征空间给出了一种基于特征选择的非线性混合信号盲分离算法。该算法首先将非线性混合信号映射到高维特征空间,根据适应度函数选出一组完备的特征向量基。其次,通过这组特征向量基将高维特征空间的信号映射到参数空间,从而把非线性混合信号盲分离问题转化为特征空间的线性混合信号盲分离问题。在特征空间中,应用基于解广义特征方程的线性混合信号盲分离方法对信号进行分离。该方法稳定性好,收敛精度高,计算量小。仿真结果表明该算法具有良好的分离性能。     

Information theoretic learning with adaptive kernels

This paper presents an online algorithm for adapting the kernel width that is a free parameter in information theoretic cost functions using Renyi's entropy. This kernel computes the interactions between the error samples and essentially controls the nature of the performance surface over which the parameters of the system adapt. Since the error in an adaptive system is non-stationary during training, a fixed value of the kernel width may affect the adaptation dynamics and even compromise the location of the global optimum in parameter space. The proposed online algorithm for adapting the kernel width is derived from first principles and minimizes the Kullback-Leibler divergence between the estimated error density and the true density. We characterize the performance of this novel approach with simulations of linear and nonlinear systems training, using the minimum error entropy criterion with the proposed adaptive kernel algorithm. We conclude that adapting the kernel width improves the rate of convergence of the parameters, and decouples the convergence rate and misadjustment of the filter weights.     

机器学习的光照不均图像边缘检测系统

针对传统图像检测系统检测质量较低,容易出现图像边缘细节模糊的现象,提出基于机器学习的光照不均图像边缘检测系统。构建图像边缘检测系统总体框架,检测系统主要分成图像收集、低级处理、高级处理以及检测结果的后续处理四部分,以该系统框架为基础采用支持向量机模式将正常样本空间内不能被线性分类或者近似性分类的图像,通过非线性映射至高维特征空间,利用回归训练的核函数替代内积运算,即可完成非线性拟合。根据拟合结果将图像内的每个像素点,都作为一个训练样本,使二维图像可以用对应的拉格朗日函数表示,同时也可以表示成核函数线性组合,最后通过零交叉检测法即可完成图像边缘检测。通过实验证明,所提系统能够很好地完成光照不均图像边缘检测,且目标细节清晰。     

核不相关空间算法及其在人脸识别中的应用

不相关空间算法是求解不相关鉴别矢量集的快速算法,但是将其应用在人脸识别中将遇到小样本问题,并且算法只是一种线性的特征提取方法。该文提出一种核不相关空间算法,该方法的关键是高维特征空间中不相关空间的计算,对此提出一种简单的计算方法,即根据eigenface中将高阶矩阵计算转化成低阶矩阵计算的思想,将高维特征空间中不相关空间的计算仍归结为标准的特征值分解问题。所提出的算法能够有效地解决小样本问题。在ORL人脸库上的实验结果验证了所提出的算法的可行性和有效性。     

A Non-Linear Blind Source Separation Method Based on Perceptron Structure and Conjugate Gradient Algorithm

The linear mixing model has been considered previously in most of the researches which are devoted to the blind source separation (BSS) problem. In practice, a more realistic BSS mixing model should be the non-linear one. In this paper, we propose a non-linear BSS method, in which a two-layer perceptron network is employed as the separating system to separate sources from observed non-linear mixture signals. The learning rules for the parameters of the separating system are derived based on the minimum mutual information criterion with conjugate gradient algorithm. Instead of choosing a proper non-linear functions empirically, the adaptive kernel density estimation is used in order to estimate the probability density functions and their derivatives of the separated signals. As a result, the score function of the perceptron’s outputs can be estimated directly. Simulations show good performance of the proposed non-linear BSS algorithm.     

原空间中的核SOM分类器

自组织特征映射(SOM)是Kohonen提出的一种人工神经网络模型,其整个学习过程是在输入样本空间内进行,并以欧氏距离为度量.这将导致当输入样本分布结构呈高度非线性时,其分类能力下降.核方法通过核函数实现了一个从低维输入空间到高维特征空间的映射,从而使输入空间中复杂的样本结构在特征空间中变得简单.Donald等人通过核映射将低维输入空间中的非线性问题变换至高维特征空间中,从而使SOM聚类形成于映射后的高维特征空间中.但其缺点是失去了对原输入空间聚类中心及结果的直观刻画;本文采用核方法的目的是为原输入空间诱导出一类异于欧氏距离的新的距离度量,并使原SOM成为特例.而核的多样性进一步可诱导出原空间中不同的度量,导致各种对应SOM分类器的生成.最后,本文侧重通过几种经典的核函数在Benchmark上的试验,对该分类器的性能及可靠性进行了验证.