一种基于正则化判别分析的迁移学习算法

针对大多数基于实例的迁移学习方法容易产生分布参数估计困难和泛化效果差的问题,提出一种正则化判别迁移学习算法。依据判别分析和半监督学习理论,采用核方法和正则化方法,研究了基于正则化的高斯核半监督判别分析方法,以构造修正嵌入空间的方式进行样本迁移。一方面,在映射空间中筛选样本可克服估计分布参数的困难;另一方面,引入伪标记数据和定义距离函数可避免过拟合问题。文本和非文本数据集上的实验结果验证了所提算法能够有效提高迁移的正确率及学习模型的泛化能力。     

基于伪样本正则化Faster R-CNN的交通标志检测

针对交通标志检测算法往往仅能对特定类标志检测或基于深度学习方法因训练样本少而造成"过拟合"高风险等问题,本文提出了一种基于伪样本正则化Faster R-CNN深度学习的标志检测算法。该算法首先通过训练数据集提供的标志和无标注的背景样本,提出了一种伪样本正则化策略。然后,通过深度学习模型中区域建议生成网络获取建议区域。最后,利用交替训练策略、共享CNN策略和联合训练策略、RPN网络和Fast R-CNN目标检测网络交替训练和联合训练,最终获取Faster R-CNN交通标志检测模型,实现了各类标志的检测,并有效降低了"过拟合"风险。实验结果验证了本文算法的有效性。     

基于相关熵和流形学习的多标签特征选择算法

从相关熵的角度出发,提出一种基于相关熵和特征流形学习的稀疏正则化方法,用于解决多标签特征选择问题。在相关熵定义的基础上给出多标签特征选择的回归模型;结合?_{2, 1}范数的性质和特征流形学习的定义建立基于相关熵和特征流形学习的稀疏正则化多标签特征选择模型及算法;证明该算法的收敛性并且通过试验验证所给算法的有效性。     

基于最优传输特征选择的医学图像分割迁移学习

在无监督领域自适应迁移学习过程中,域无关特征导致模型分割性能下降,而目前并没有针对迁移学习分割模型有效的特征选择方法。为解决该问题,提出了一个基于最优传输的迁移学习通用特征选择模块,可以应用到多种无监督领域自适应图像分割模型中。该模块利用分割准确性加权最优传输选择两个域的最优样本子集,再将样本子集特征进行熵正则化最优传输,得到两个域特征相似性降序列表来去掉域无关特征。将通用特征选择模块应用到三种无监督领域自适应模型中解决新冠肺炎图像分割问题,均在一定程度上提升了模型性能。     

基于PSO算法和SVR模型的加工中心可靠性模型参数估计

针对加工中心可靠性模型,提出了一种基于支持向量回归模型的参数估计方法,并利用改进的局部最优粒子群优化算法对支持向量回归模型的参数进行优化,以提高其对可靠性模型参数的估计精度。与标准的局部最优粒子群优化算法比较,改进的局部最优粒子群优化算法引入了变异操作和自适应调节惯性因子,提高了算法的全局最优解搜索能力。将提出的方法与最小二乘法、最大似然估计法、局部最优粒子群优化算法优化的支持向量回归模型和遗传算法优化的支持向量回归模型进行了对比试验。试验结果表明:该方法的参数估计精度高于最小二乘法、最大似然估计法、局部最优粒子群优化算法优化的支持向量回归模型和遗传算法优化的支持向量回归模型。最后,将该方法用于估计实际加工中心可靠性模型的参数,得出了相应的平均故障间隔时间的评估数值。     

基于流形正则化的多元时间序列半监督回归

针对多元时间序列半监督回归只考虑样本间空间关系信息而忽略了样本间时域信息的问题,提出了一种考虑样本间时域信息的半监督回归算法(ST-LapRLSR).在时域光滑性假设下,构造了一种能更好地反映样本间内蕴几何结构的正则化项.在建立图拉普拉斯的过程中,将样本点间的时序关系引入到边的权重计算中,并在流形正则化框架下利用该正则化项进行半监督回归,最后通过表示定理进行求解.在公共数据集和煤矿多传感器数据上进行了实验,结果表明:在多元时间序列半监督回归中,与只考虑样本空间关系信息的最小二乘正则化算法(LapRLSR)相比,ST-LapRLSR能同时利用样本的时空信息,准确率得到了提高.     

去除乘性噪声的迭代重加权二阶正则模型

为了去除图像中乘性噪声的影响,在乘性噪声服从伽玛(Gamma)分布的假设下,提出了迭代重加权二阶导数(Hessian矩阵F范数)正则模型,从而推广了迭代重加权全变差正则模型．然后对迭代重加权Hessian矩阵F范数正则模型建立了原始-对偶算法．数值实验表明,文中模型和算法能够在有效去除噪声的同时,较好地保留图像的细节,抑制阶梯效应并避免边缘模糊．     

三维重构中一种快速全局最优算法

在机器视觉中,三维重构是一个重要问题。基于无穷范数表示的误差函数已经证明可以获得全局最优,但是计算速度很慢。基于二范数的最小二乘法速度虽然很快,但因为误差函数是非凸的,所以无法在理论上证明获得的结果是全局最优的,即使是通过二分迭代等方法,往往也只能获得一个局部最优。文中提出一种判定策略,通过对二范数表示的误差函数的Hessian矩阵进行计算,判断最小二乘法获得的局部最优是否是全局最优。因此在三维重构中,可以先用最小二乘法求解,如果误差函数Hessian矩阵为正则结果是全局最优否则调用无穷范数方法重新求解全局最优,这样既保证了精度又加快了计算速度。实验证明该算法是可行的。     

基于L_1范数线性回归的NIR光谱产地鉴别算法

为了建立更准确、高效的柑橘产地鉴别模型,提出了基于L_1范数线性回归(L_1-LRC)的产地鉴别算法。该方法利用L_1正则化的学习方法进行最小误差重构分类,从而将特征选择和分类器学习过程进行有机的融合,并能够更有效地反应光谱信息中的结构特征。实验结果表明,基于L_1-LRC的NIR分析方法仅利用少量的样本就能够达到较高的识别精度,且获得了明显优于其他对比模型的结果,从而为快速高效的NIR产地分析提供了一个新的思路。     

基于支持向量回归的自适应逆控制方法

将支持向量回归引入逆控制,提出了一种基于支持向量回归的自适应逆控制方法。采用支持向量回归在线辨识算法建立被控对象的逆模型,然后将逆模型作为控制器进行复制去驱动被控对象,从而完成一个自适应逆控制过程。由于支持向量回归是建立在小样本基础上的一种学习方法,因此较好地解决了对于线性系统自适应滤波算法存在的运算量大,权值失调及自适应过程时间长等问题。对于非线性系统,与现有的神经网络方法相比,该方法能提高收敛速度及逼近能力,而且具有更好的推广能力。仿真结果表明,应用该方法可以取得良好的控制效果,并具有较好的鲁棒性能。     

面向WSN的稀疏核学习机分布式训练方法

针对无线传感器网络（WSN）中,经过多跳路由传输训练数据到数据中心进行集中式训练时存在的高数据通信代价问题,基于L1正则化的稀疏特性,研究了仅依靠邻居节点间的协作,在网内分布式协同训练核最小均方差（KMSE）学习机的方法.首先,在节点模型与邻居节点间局部最优模型对本地训练样本预测值相一致的约束下,利用并行投影方法和交替方向乘子法对L1正则化KMSE的优化问题进行稀疏模型求解;然后,当各节点收敛到局部稳定模型时,利用平均一致性算法实现各节点稀疏模型的全局一致.基于此方法,提出了基于并行投影方法的L1正则化KMSE学习机的分布式（L1-DKMSE-PP）训练算法.仿真实验结果表明,L1-DKMSE-PP算法能够得到与集中式训练算法相当的预测效果和比较稀疏的预测模型,更重要的是能显著降低核学习机训练过程中的数据通信代价.     

Adaptive key SURF feature extraction and application in unmanned vehicle dynamic object recognition

A new method based on adaptive Hessian matrix threshold of finding key SRUF( speeded up robust features) features is proposed and is applied to an unmanned vehicle for its dynamic object recognition and guided navigation. First,the object recognition algorithm based on SURF feature matching for unmanned vehicle guided navigation is introduced. Then,the standard local invariant feature extraction algorithm SRUF is analyzed,the Hessian Metrix is especially discussed,and a method of adaptive Hessian threshold is proposed which is based on correct matching point pairs threshold feedback under a close loop frame. At last,different dynamic object recognition experiments under different weather light conditions are discussed. The experimental result shows that the key SURF feature abstract algorithm and the dynamic object recognition method can be used for unmanned vehicle systems.     

截断误差的光滑型支持向量顺序回归

支持向量顺序回归算法已成功应用于解决顺序回归问题,但其易受训练样本中野点的干扰。为此,提出一种截断误差的光滑型支持向量顺序回归(TLS-SVOR)算法。学习顺序回归模型时,将错划样本形成的误差s限制在范围u内。TLS-SVOR首先用包含参数u的分段多项式近似s;再引入光滑型支持向量机分类算法的思路,将优化目标转变为二次连续可微的无约束问题,从而由牛顿法直接求得唯一的决策超平面。采用两阶段的均匀设计方法确定TLS-SVOR的最优参数。实验结果表明,相比其他顺序回归算法,TLS-SVOR在多个数据集能获得更高的精度。     

基于POMDP强化学习的动态频谱分配算法

提出基于VCG机制的动态频谱分配博弈模型,解决了认知无线网络环境存在的信息约束限制、分布式特性和频谱分配动态、复杂性问题;提出一种基于动态频谱分配的部分可观察马尔可夫决策过程（POMDP）强化学习算法. 认知用户通过对历史信息的观察、统计,为提高竞拍策略的奖赏值而进行不断的学习获取最优竞拍策略. 将POMDP强化学习转变为信度状态马尔可夫决策过程 (belief MDP)最优策略学习. 采用值迭代算法求解信度状态MDP模型的解. 仿真结果表明,基于POMDP强化学习算法可显著改善认知用户的行为,提高动态频谱分配性能.     

一种多反向学习的教与学优化算法

针对原始教与学优化算法全局搜索和局部搜索协调不足、当前反向学习策略过于单一的问题,将多种反向学习策略同教与学优化算法相结合,提出一种基于多反向学习的教与学优化（MOTLBO）算法。首先,借鉴反向学习的思想,设计一种基于Sigmoid函数且随进化代数逐渐变化的非线性混合反向学习模型,模型综合考虑了问题的搜索边界信息和种群的历史搜索信息;其次,在原始教与学算法教和学两个阶段的基础上,增加了基于搜索边界指导的自学习阶段,增强了种群的多样性;最后,将混合反向学习模型与算法的各阶段相结合,根据各阶段的不同特征,设计了基于均值个体、随机个体和最优个体的反向解计算方法,充分吸收种群的历史搜索经验,提高算法的收敛精度和速度。采用具有不同特征的Benchmark测试函数对算法的非线性混合反向学习模型和收敛性能进行测试,实验结果表明：非线性混合反向学习模型相对于单一的边界信息反向学习或种群信息反向学习,具有更强的全局搜索和局部探测能力;而与原始教与学优化算法及其改进算法相比,MOTLBO算法在获得较高的收敛精度和稳定性的同时保持了更快的收敛速度,其综合性能得到较大提升。此外,对扩频雷达相位编码求解的实验结果进一步表明,MOTLBO算法能有效避免陷入局部最优,亦适用于求解实际的工程优化问题。     

在线学习社区发帖质量评价的回归模型研究

在线学习社区中,多样化教学情境下基于开放话题的发帖使学生能够阐述自我知识更新的进展,但也伴随着越来越高的阅读评价解析成本. 为此,可应用机器学习理论构建发帖质量评价回归模型来实现文本自动评价. 首先构建文本质量评价指标及其计算所依赖的概念关系图,然后结合专家评分标准与评分结果选用多种拟合回归算法对文本质量进行预测评价,最后以拟合优度、交叉验证精度方差和均方误差为指标评估算法效果模型,测试以倡导知识建构学习理念的“数课”平台《网络安全与维护》课程的575条发帖为数据集,实现了网络安全领域的概念关系图存取和发帖质量的特征提取与预测评价. 实验表明,梯度树上升回归算法的准确性、稳定性均优于其他算法模型. 该回归模型能够从5个与文本质量显著相关的特征维度,即可读性、相关度、内聚度、专业度和探究度,有效地实现文本质量自动评价,从而为教师减负和学生自我诊断提供帮助.     

基于机器学习的高强钢焊接等截面箱型柱整体稳定性预测方法

目前,针对高强钢构件整体稳定性的研究多采用有限元建模或实验室试验方法,而基于机器学习的预测方法能够显著提升预测的准确性和便捷性。为了准确预测高强钢焊接等截面箱型柱的整体稳定性,提出使用纤维模型构建数据库并利用机器学习建立预测模型的方法。首先确定模型的输入输出参数,并通过纤维模型方法建立数据库;接着,选用常见的3种不同类型的机器学习模型和现有规范中的经验模型进行预测,并依据评价指标进行性能对比;最后,根据可解释算法分析机器学习模型的合理性。结果表明：大部分机器学习模型预测结果与试验结果吻合度略高于现有规范中的经验模型,其中,高斯过程回归模型对高强钢构件整体稳定性的预测表现最优;机器学习预测模型中各类参数对构件整体稳定性的影响趋势符合预期,验证了机器学习模型的合理性和可靠性;构件的正则化长细比对预测结果影响最大,而构件初始缺陷的影响相对最小。     

Research on modified Newton and Taylor-series methods in TDOA

In the Time Difference Of Arrival (TDOA) source localization model, based on the Taylor-series (TS) method and Newton (NT) method, this paper presents the Modified Taylor-series(MTS) method and the Modified Newton method(MNT), which solve the critical convergent problem caused by the bad initial value in the original algorithms. The proposed algorithms modify the ill-condition Hessian matrix caused by the bad initial value using the Tikhonov (TI) or the Diagonal Singular Value Decomposition technique (DSVD) in the Regularization theory. The regularization parameter which controls the properties of the regularized solution is determined by the L-curve method. Simulation results show that compared with the TS and NT methods, the proposed methods ensure that the solution of the iterative methods converges on the source location, improves the convergent probability and has a better capability to remove the local minima. The proposed methods also give superior performances of the location accuracy comparing with the closed-form algorithms in low SNR environment.     

基于BFGS公式的改进截断拟牛顿法在随机用户均衡问题上的应用

根据随机用户均衡问题的特点构造一种基于BFGS校正公式和Armijo线搜索的截断拟牛顿法。介绍截断拟牛顿方程的构造过程及其算法的具体步骤;针对随机用户均衡模型的特点给出算法的收敛性和两个需注意的问题,并将此算法应用于一个路网。数值算例分析表明:所构造算法在迭代次数和误差方面均优于截断牛顿法,改进截断拟牛顿法可以避免二阶Hessian矩阵的计算,还可以用于某些Hessian矩阵不正定问题的求解。