基于HMM的联机汉字识别系统及其改进的训练方法

本文描述了一个基于HMM模型的联机汉字识别系统的设计思想与实现方法。系统以联机汉字的笔段序列作为观察序列,采用带有多跨越的模型结构消除自由书写汉字笔段序列的冗余与丢失问题。HMM模型的训练是本系统设计的一个重要问题,针对复杂HMM模型参数训练容易收敛于局部最小的情况,本文结合联机汉字识别的特点,提出了一种利用“引导模型”进行训练的改进方法,避免了训练过程收敛于局部最小点的发生。经过大量样本的训练,本系统对规范书写汉字和自由书写汉字均取得了比较令人满意的结果。     

一种反演问题求解的免疫克隆粒子群优化算法

为了克服标准粒子群优化(PSO)算法易陷入局部最优以及进化后期收敛速度慢等缺陷,分析了标准PSO算法早熟收敛的原因,提出了基于混合变异机制的免疫克隆粒子群优化(ICPSO)算法并将其应用到波阻抗反演问题中.克隆选择算子能够在局部极值点接近全局最优点时有效增强最优粒子跳出局部解的能力;引入混沌映射Tent序列加速最优粒子的变异学习,在局部极值点与全局最优点距离较远时扩大遍历范围,避免陷入局部极值.通过理论模型试算表明,ICPSO算法在进行波阻抗反演时不仅收敛速度快,而且具有较高的反演精度和抗噪性能.     

基于参数优化隐马尔可夫模型的网络取证证据融合方法

为了克服隐马尔可夫模型(hidden Markov model,HMM)在训练时波氏算法(Baum-Welch,B-W)易陷入局部最优解的不足,采用自适应遗传算法对其进行参数优化,设计了染色体编码方法和遗传操作方式。利用Viterbi算法选择最有可能的元证据序列,用疑似证据替换元证据回溯得到证据链。实验结果表明,自适应遗传算法优化的HMM具有更好的状态,采用Viterbi算法得到的证据链能够较精确地重现网络入侵的犯罪现场。     

连续字符识别的级联HMM训练算法

用较简洁的模型表达词典中成千上万的词条以及由这些词组成的类别无以计数的句子,是连续手写识别技术要解决的关键问题之一.利用HMM对时间序列的较强的建模能力这一特点,提出了可用于连续字符识别的HMM级联模型;给出了字符HMM模型连接概率和模型间状态转移概率的定义,并通过修正训练算法的重估公式,重估字符模型的连接参数,描述了用于手写体识别的字符HMM的设计方案;给出了级联训练算法重估公式和级联Baum-Welch训练算法描述.将级联方法应用于手写体英文单词的识别,结果表明,级联模型的描述能力与比较系统相比有明显的优势,获得了良好的识别性能.     

一种改进的简化粒子群优化算法

针对粒子群优化算法(PSO)容易陷入局部极值、进化后期收敛速度慢和精度低等缺点,提出了一种改进的简化粒子群优化算法(YSPSO)。该算法采用黄金分割法平衡惯性与经验之间的相互影响;同时,为避免错过全局最优值,增加反向随机惯性权重,使粒子在一定程度上具有反向搜索的能力。最后,对几个经典基准测试函数进行实验,结果表明,YSPSO算法在提高算法收敛速度和精度的同时,降低了陷入局部极值的可能性,提高了PSO算法的实用性。     

SEM混合模型脑血管分割算法

针对脑血管结构复杂、空间比例小,易导致对其进行图像分割较困难的问题,面向脑MRI提出参数统计分类算法,通过随机迭代提高血管分割精度.首先应用最大强度投影法(MIP)实现脑血管图像预处理,以降低脑血管图像中混合成分的数目;其次用有限高斯混合模型模拟脑血管和脑组织的随机分布;最后通过随机期望最大化(SEM)算法进行混合模型的参数估计,解决了传统期望最大化(EM)算法收敛速度缓慢和局部极值的问题.实验结果表明,采用文中算法可有效地分割脑血管主分支及周围较细小分支,且其收敛速度比传统EM算法有较大提高.     

混合拓扑结构的粒子群算法及其在测试数据生成中的应用研究

粒子群算法(PSO)的拓扑结构是影响算法性能的关键因素,为了从根源上避免粒子群算法易陷入局部极值及早熟收敛等问题,提出一种混合拓扑结构的粒子群优化算法(MPSO)并将其应用于软件结构测试数据的自动生成中。通过不同邻域拓扑结构对算法性能影响的分析,采用一种全局寻优和局部寻优相结合的混合粒子群优化算法。通过观察粒子群的多样性反馈信息,对每一代种群粒子以进化时选择全局拓扑结构模型(GPSO)或局部拓扑结构模型(LPSO)的方法进行。实验结果表明,MPSO使得种群的多样性得到保证,避免了粒子群陷入局部极值,提高了算法的收敛速度。     

利用单形进化优化的BP神经网络学习算法

在BP神经网络训练算法中,针对权值的优化学习容易陷入局部极值点、收敛速度慢等问题,很多研究引入智能优化算法对其进行改进,但传统的智能优化算法通常有多个控制参数,若不能正确选取参数,或者没有适当选择初始点位置,则很难搜索到最优的神经网络权值。为了解决这些问题,提出一种基于单形进化的BP神经网络学习算法,它通过全随机搜索减少算法的控制参数,利用群体的多角色态保持粒子的多样性,避免算法陷入局部的极值点,减少了对初始值的依赖。在应用中,将该算法应用于神经网络的训练算法中,通过对UCI数据集和人脸图像的测试,实验结果表明,上校算法训练的神经网络有效提高了识别率与训练效率。     

细胞膜离子单通道电流重构的计算机仿真

细胞膜离子单通道电流十分微弱(PA级),用膜片钳技术测量离子电流往往淹没在强噪声背景中。目前,采用阈值检测方法恢复通道电流信号。但是,通道开放和关闭的电流阈值需要人为设定,并且阈值法在较低信噪比时失效。采用隐马尔可夫模型(HMM)重构离子单通道电流并估计模型参数。对离子通道HMM进行描述和分析;运用Baum-Welch迭代算法训练HMM并估计模型参数;利用Viterbi算法重构通道电流最佳状态序列。将HMM与阈值法进行比较,对不同信噪比和不同转移概率情况下HMM恢复算法进行计算机仿真。结果表明:HMM与阈值法相比,具有较强抗噪能力。在较低信噪比情况下,该模型恢复信号精度高,参数收敛速度快,且电流重构误差主要出现在状态突变点。     

基于CRF和HMM混合模型的手势识别方法

针对训练数据较少的小样本情况下,使用隐马尔可夫模型(HMM)的建模准确性较低的问题,提出一种基于条件随机场(CRF)和HMM混合模型的手势识别方法.用一个区分局部观测值的判别模型来提供与序列中的每个局部观测相关联的局部后验.将CRF用于执行这种判别层.通过区分局部观察值来为HMM层提供局部类后验.在HMM解码阶段将这些局部后验组合在一起提供更多的全局信息.通过实际手势识别实验验证了融合HMM建模能力和CRF判别能力的混合模型方法的有效性与准确性,并对不同的可变性来源具有鲁棒性.     

基于改进的局部保持投影算法的人脸识别

局部保持投影算法是基于流形的学习方法,在人脸识别过程中容易遇到奇异值问题,为此提出一种利用奇异值分解的方法。在模型中,样本数据被投影到一个非奇异正交矩阵中,解决了奇异值问题;然后再根据局部保持投影算法求出新样本空间的低维投影子空间。将训练样本和测试样本分别投影到低维子空间中,再利用最近邻分类器进行分类识别。在ORL人脸数据库中,采用了一系列的实验来对比该算法与传统局部保持投影算法和主成分分析算法的识别效果。实验结果验证了改进的局部保持投影算法在人脸识别的有效性。     

一种基于DSmT和HMM的序列飞机目标识别算法

针对姿态多变化的飞机自动目标识别中的低识别率问题, 提出了一种基于DSmT (Dezert-Smarandache theory)与隐马尔可夫模型(Hidden Markov model, HMM)的飞机多特征序列信息融合识别算法(Multiple features and sequential information fusion, MFSIF). 其创新性在于将单幅图像的多特征信息融合识别和序列图像信息融合识别进行有机结合.首先, 对图像进行二值化预处理, 并提取目标的Hu矩和轮廓局部奇异值特征; 然后, 利用概率神经网络(Probabilistic neural networks, PNN)构造基本信度赋值(Basic belief assignment, BBA); 接着, 利用DSmT对该图像的不同特征进行融合,从而获得HMM的观察值序列;再接着, 利用隐马尔可夫模型对飞机序列信息融合, 计算观察值序列与各隐马尔可夫模型之间的相似度, 从而实现姿态多变化的飞机目标自动识别;最后, 通过仿真实验, 验证了该算法在飞机姿态发生较大变化时, 依然可以获得较高的正确识别率,同时在实时性方面也可以满足飞机目标识别的要求. 另外, 在飞机序列发生连续遮挡帧数τ ≤ 6的情况下, 也具有较高的飞机目标正确识别率.     

基于HMM方法的银行票据自动识别

利用隐态马尔可夫模型(HMMs)，对银行票据中金额的大小写数据识别问题进行了研究．主要内容包括建立新颖的文字分刻算法；设计HMM训练和识别算法．在HMM系统中，将使用频率比较高的手写体错别字和同音字作为不同的字符类来处理；同时在HMM的训练过程中，提出了平滑参数的新方法．实验结果表明，该方法在实践中是可行的，在银行票据自动识别中有很好的应用前景．     

Recognition of degraded characters using dynamic Bayesian networks

In this paper, we investigate the application of dynamic Bayesian networks (DBNs) to the recognition of degraded characters. DBNs are an extension of one-dimensional hidden Markov models (HMMs) which can handle several observation and state sequences. In our study, characters are represented by the coupling of two HMM architectures into a single DBN model. The interacting HMMs are a vertical HMM and a horizontal HMM whose observable outputs are the image columns and image rows, respectively. Various couplings are proposed where interactions are achieved through the causal influence between state variables. We compare non-coupled and coupled models on two tasks: the recognition of artificially degraded handwritten digits and the recognition of real degraded old printed characters. Our models show that coupled architectures perform more accurately on degraded characters than basic HMMs, the linear combination of independent HMM scores, as well as discriminative methods such as support vector machines (SVMs).     

改进的基于隐马尔可夫模型的态势评估方法

针对隐马尔可夫模型（HMM）参数难以配置的问题,提出一种改进的基于隐马尔可夫模型的态势评估方法,更加准确地反映网络的安全态势。所提方法以入侵检测系统的输出作为输入,根据Snort手册将报警事件分类,得到观测序列,建立HMM,将改进的模拟退火（SA）算法与Bauw_Welch（BW）算法相结合对HMM参数进行优化,使用量化分析的方法得到网络的安全态势值。实验结果表明,所提方法能较好地提升模型的精度与收敛速度。     

基于拉普拉斯脸和隐马尔可夫的视频人脸识别

提出了一种基于拉普拉斯脸和隐马尔可夫模型的视频人脸识别方法。在训练过程中，采用拉普拉斯脸方法将每一视频序列中的人脸图像映射到拉普拉斯空间，将降维后的特征作为观测值，通过隐马尔可夫模型得到每一训练视频的统计特性和时间动态特性。在识别过程中，用每一个训练视频的隐马尔可夫模型来分析测试视频的时间动态特性，计算出每一训练模型产生该序列的概率，概率最大值所对应的模型就是待识别序列所属的类别。实验结果表明，该方法能够很好地进行视频人脸识别。     

一种改进的隐马尔可夫模型在语音识别中的应用

提出了一种新的马尔可夫模型——异步隐马尔可夫模型．该模型针对噪音环境下语音识别过程中出现丢失帧的情况，通过增加新的隐藏时间标示变量Ck，估计出实际观察值对应的状态序列，实现对不规则或者不完整采样数据的建模．详细介绍了适合异步HMM的前后向算法以及用于训练的EM算法，并且对转移矩阵的计算进行了优化．最后通过实验仿真，分别使用经典HMM和异步HMM对相同的随机抽取帧的语音数据进行识别,识别结果显示在抽取帧相同情况下异步HMM比经典HMM的识别错误率低．     

一种针对区分性训练的受限线性搜索优化方法

提出一种称为“受限线性搜索”的优化方法,并用于语音识别中混合高斯的连续密度隐马尔科夫(CDHMM)模型的区分性训练。该方法可用于优化基于最大互信息(MMI)准则的区分性训练目标函数。在该方法中,首先把隐马尔科夫模型(HMM)的区分性训练问题看成一个受限的优化问题,并利用模型间的KL度量作为优化过程中的一个限制。再基于线性搜索的思想,指出通过限制更新前后模型间的KL度量,可将HMM的参数表示成一种简单的二次形式。该方法可用于优化混合高斯CDHMM模型中的任何参数,包括均值、协方差矩阵、高斯权重等。将该方法分别用于中英文两个标准语音识别任务上,包括英文TIDIGITS数据库和中文863数据库。实验结果表明,该方法相对传统的扩展Baum-Welch方法在识别性能和收敛特性上都取得一致提升。     

基于局部保持投影的神经尖峰电位特征提取与分类

神经元尖峰电位的识别和分类,是神经信息处理中的关键环节之一,而尖峰电位的特征提取是识别和分类的重要基础。针对尖峰电位的特征提取和分类,提出一种基于局部保持投影(LPP)的无监督算法,对近邻参数进行了自动识别和选择,使用基于原型向量的分布离散度标准,尖峰电位的特征得到充分提取和分离。仿真和实际数据实验结果表明：基于局部保持投影的无监督特征提取和分类算法,比传统主成分分析(PCA)方法能更加有效地实现特征提取和分离。     

基于小波变换和隐马尔可夫模型的人脸识别方法

提出了基于小波变换和隐马尔可夫模型的人脸识别方法。对原始图像采用小波分解后,原始图像被分解到不同的频带上。利用小波理论分析可知,在每一级分解中,低频子图像包含了原始图像的主要描述信息,而其他3个高频子图像包含的信息较少,对模式分类的作用也较小,所以可忽略不计。该算法首先对图像进行3级小波分解,然后把3个不同分辨率的低频子图像由小到大排列成树状结构,形成低频小波树。接着利用主元分析对每个小波树枝进行去相关、降维,形成特征小波树枝,并把它作为观测向量对隐马尔可夫模型进行训练,把优化的模型参数用于人脸识别,实验结果表明,该方法识别率较高,具有很好的发展前景。