弹性多核学习

多核学习 (MKL) 的提出是为了解决多个核矩阵的融合问题, 多核学习求解关于多个核矩阵的最优的线性组合并同时解出对应于这个组合矩阵的支持向量机(SVM)问题. 现有的多核学习的框架倾向于寻找稀疏的组合系数, 但是当有信息的核的比例较高的时候, 对稀疏性的倾向会使得只有少量的核被选中而损失相当的分类信息. 在本文中, 我们提出了弹性多核学习的框架来实现自适应的多核学习. 弹性多核学习的框架利用了一个混合正则化函数来均衡稀疏性和非稀疏性, 多核学习和支持向量机问题都可以视作弹性多核学习的特殊情形. 基于针对多核学习的梯度下降法, 我们导出了针对弹性多核学习的梯度下降法. 仿真数据的结果显示了弹性多核学习方法相对多核学习和支持向量机的优势; 我们还进一步将弹性多核学习应用于基因集合分析问题并取得了有意义的结果; 最后, 我们比较研究了弹性多核学习与另一种利用了非稀疏思想的多核学习.     

基于边缘检测和颜色纹理直方图的车牌定位方法

针对已有车牌定位算法在分辨率高、背景复杂图像上存在准确率下降的问题,提出了一种基于边缘检测和颜色纹理直方图的车牌定位算法。该定位算法分为两个阶段：首先利用结合了Canny和Sobel算法的改进边缘检测算法提取图像的垂直边缘,并结合滤波、投影等方法进行车牌粗定位;然后提取候选区域的颜色纹理直方图,与训练好的分类器进行匹配,实现车牌的精确定位。实验表明,该方法对于背景复杂、光照不均等情况均有良好的鲁棒性,在白天和晚上都能取得较好的定位效果。     

PSO-SVM及其在减速机齿轮诊断中的应用

针对支持向量机(SVM)参数一般是人为选取,无法准确取到最佳值的问题,提出了一种基于粒子群算法(PSO)对参数进行优化的支持向量机(PSO-SVM).以减速机齿轮的3类故障类型(正常、磕碰、磨损)数据作为研究资料,组成训练样本集,训练PSO-SVM分类模型,从训练集中抽取部分数据组成测试样本集,对模型进行检验测试.研究表明:PSO-SVM模型分类正确率达到了93.8%,相较未进行参数优化的SVM,算法能更好地找到全局最优解,提高了模型的分类正确率.     

基于两阶段学习的半监督支持向量机分类算法

提出了一种基于两阶段学习的半监督支持向量机(semi-supervised SVM)分类算法.首先使用基于图的标签传递算法给未标识样本赋予初始伪标识,并利用k近邻图将可能的噪声样本点识别出来并剔除;然后将去噪处理后的样本集视为已标识样本集输入到支持向量机(SVM)中,使得SVM在训练时能兼顾整个样本集的信息,从而提高SVM的分类准确率.实验结果证明,同其它半监督学习算法相比较,本文算法在标识的训练样本较少的情况下,分类性能有所提高且具有较高的可靠性.     

基于模糊多核学习的改进支持向量机算法研究

针对传统SVM对噪声点和孤立点敏感的问题,以及不能解决样本特征规模大、含有异构信息、在特征空间中分布不平坦的问题,将模糊隶属度融入多核学习中,提出了一种模糊多核学习的方法;通过实验验证了模糊多核学习比传统SVM、模糊支持向量机以及多核学习具有更好的分类效果,从而验证了所提方法能够有效的克服传统SVM对噪声点敏感以及数据分布不平坦的问题。     

基于支持向量机的滤波器设计与硬件实现

针对传统有限脉冲响应(FIR)滤波器设计方法和神经网络设计方法的不足,在改进使用支持向量机(SVM)设计FIR滤波器方法的基础上,提出了SVM设计FIR滤波器的硬件实现方法.使用理想滤波器的幅值响应训练SVM,得到训练参数,据此构建基于SVM的FIR滤波器的嵌入式系统.软件实现FIR滤波器的训练部分,硬件实现FIR滤波器的测试部分.单次判定测试向量的时间约为3500 ns,滤波准确率可达到98.41%.设计的滤波器具有良好的幅频特性,边界控制精确,逼近理想滤波器.     

基于Boruta-PSO-SVM的股票收益率研究

针对股票收益率的分类预测研究中支持向量机(SVM)存在的参数选择困难以及分类性能较差的问题,提出了一种基于特征选择(Boruta算法)和粒子群优化(PSO)算法SVM的新算法.通过Boruta算法对训练集进行特征选择,剔除无价值的特征以降低输入维度,同时引入PSO算法优化SVM核函数参数,从而提高SVM的分类性能.实验结果表明:相比决策树、神经网络及极限学习机算法,新算法取得了更高的分类精度,可以有效提高股票收益率的分类预测性能.     

基于Leap Motion和支持向量机的手势识别

为了使手势识别在更多的领域得到推广及应用,提出了基于Leap Motion体感设备实时跟踪技术获取手势三维空间坐标信息的方法,并从中分别提取角度信息和相对坐标信息,构建手势特征数据,建立手势识别模型.对特征数据进行归一化处理后,利用支持向量机(SVM)分类器进行训练、建模和分类,实现手势识别.实验结果表明:以角度数据和坐标数据作为手势特征的方法可行,平均识别率分别为96.6%和91.8%.通过对比可以得出:以角度数据作为特征值具有较高的准确性和鲁棒性,并避免了单纯依照一种特征值产生的局限性.     

基于改进多核学习的语音情感识别算法

提出一种基于改进多核学习的语音情感识别算法.算法以高斯径向基核函数为基准,通过采样不同的样本,采用不同的评价标准并获得不同的参数,来提高分类性能.此外,通过引入多核技术,将得到的高斯核函数构建多核学习的基核,并通过利用松弛因子构建的软间隔多核学习的目标函数改善了学习效率.对比仿真实验结果表明,本文提出的基于多核学习语音情感识别算法有效提高了语音情感识别性能.     

非均衡加权随机梯度下降SVM在线算法

随机梯度下降(stochastic gradient descent,SGD)方法已被应用于大规模支持向量机(support vector machine,SVM)训练,其在训练时采取随机选点的方式,对于非均衡分类问题,导致多数类点被抽取到的概率要远远大于少数类点,造成了计算上的不平衡。为了处理大规模非均衡数据分类问题,提出了加权随机梯度下降的SVM在线算法,对于多数类中的样例被赋予较小的权值,而少数类中的样例被赋予较大的权值,然后利用加权随机梯度下降算法对SVM原问题进行求解,减少了超平面向少数类的偏移,较好地解决了大规模学习中非均衡数据的分类问题。     

基于牛顿法的并行优化算法

针对非线性数值优化问题,提出一种在分布式环境下的基于牛顿法的并行算法。引入松弛变量,将不等式约束转换为等式约束,利用广义拉格朗日乘子将约束优化问题转换为无约束子优化问题。为了并行地求解这些子优化问题,将Newton迭代法中的Hessian矩阵进行适当的分裂,采用简单迭代法求解Newton法中的线性方程组。在理论上对该算法进行了收敛性分析。在HP rx2600集群上进行的数值实验结果表明并行效率达90%以上。     

Algorithms for gradient damage models based on a semi-smooth Newton method

In this paper two different algorithms are applied to a model of brittle damage including the gradient of the damage variable. Both algorithms are based on a modified Newton method. In the first algorithm the Newton method is applied directly to the whole system of equations, while in the second algorithm, the equilibrium equations and the damage evolution problem are solved uncoupled from each other in a Gauss–Seidel scheme. The algorithms are applied to two different formulations of the problem. In the first formulation the thermodynamic force, work conjugate to the damage variable is kept as an auxiliary variable, while in the second formulation this variable is eliminated. It turns out that the formulation using the extra variable is more robust in the sense that the algorithms converge even for very large load increments. On the other hand, the formulation where the extra variable is eliminated is more efficient for small time steps since a smaller system of equations is solved for each increment. Furthermore, it is found that the direct approach is more efficient than the decoupled approach for this problem.     

梯度优化的有理函数图像插值

目的 对图像纹理区域的细节保持一直以来是图像插值技术的一个难题,为此提出了一种梯度优化的有理函数图像插值算法。方法 首先,构造了一种新的含有可调参数的双变量有理插值函数,随着参数的不同取值,该函数具有不同的表达形式,它是多项式模型和有理模型的有机统一体;其次,根据图像的区域特征,利用等值线方法将图像自适应地划分为纹理区域和平滑区域,纹理区域采用有理模型插值,平滑区域采用多项式模型插值;最后,根据各向同性Sobel算子计算插值单元的图像梯度,确定纹理方向,不同纹理方向的插值单元用相应的权重对中心点进行优化。结果 从客观数据、主观效果、时间复杂度3个方面对重建图像进行评价,客观数据包括峰值信噪比（PSNR）和结构相似性（SSIM）,从实验结果可以看出,本文算法的PSNR平均提高了0.14~1.50 dB,SSIM平均提高了0.005~0.097。从主观效果来看,本文算法的重建图像的纹理细节更加丰富,边缘结构更加清晰,从时间复杂度来看,本文算法的平均运行时间是3.77 s,分别比DFDF（directional filtering and data fusion）、NEDI（new edge-directed interpolation）、RSAI（robust soft-decision adaptive interpolation）、Lee''s、NARM（nonlocal autoregressive model）算法快了3.28倍、5.26倍、53.28倍、43.53倍、418.54倍。特别地,对于Baboon、Barbara、Metal这类纹理细节丰富的图像,本文算法在峰值信噪比和结构相似性上较对比算法有突出优势,主观效果有明显提高。结论 基于构造的双变量有理插值模型,本文提出了一个梯度优化的有理函数图像插值算法,实验结果表明,该算法在图像纹理细节和边缘结构保持方面具有良好的视觉效果,有效提高了插值图像质量,且时间复杂度较低。     

基于泛函梯度优化的运动规划算法

针对高自由度的机械臂的灵活性和自主性问题,提出一种快速且高效的机械臂运动规划算法。通过动态运动基元(DMPs)模型对运动轨迹进行编码提取特征,作为运动轨迹先验知识,基于现在物理环境和目标任务设计无碰撞及高能效的目标泛函,通过对目标泛函进行梯度下降得出在该环境下的最优轨迹。为验证算法的有效性,通过机器人实验平台(v-rep)模拟机械臂的日常操作任务。实验结果表明,在整个工作空间内,机械臂通过少量的迭代(少于6次),便可生成无碰撞的运动轨迹,可降低能耗20%以上。     

基于梯度投影法与随机优化算法的约束优化方法

针对带有线性等式和不等式约束的无确定函数形式的约束优化问题,提出一种利用梯度投影法与遗传算法、同时扰动随机逼近等随机算法相结合的优化方法。该方法利用遗传算法进行全局搜索,利用同时扰动随机逼近算法进行局部搜索,算法在每次进化时根据线性约束计算父个体处的梯度投影方向,以产生新个体,从而能够严格保证新个体满足全部约束条件。将上述约束优化算法应用于典型约束优化问题,其仿真结果表明了所提出算法的可行性和收敛性。     

基于多目标梯度优化算法PE HMGE的动力总成悬置解耦优化

针对现有车型的动力总成悬置系统解耦率不能满足设计要求的问题,在Adams/View中建立悬置系统的多体动力学模型,通过Isight与Adams的集成,采用树优公司和eArtius公司联合开发的新一代多目标优化算法库PE(ParetoExplorer)中的HMGE(Hybrid Multi-gradient Exploration)算法,解决悬置系统的多目标优化问题.以汽车动力总成悬置系统六自由度解耦率最高作为设计目标,以悬置的各向刚度作为设计变量,同时考虑到各阶模态频率的合理配置分布,兼顾得到理想的频率间隔,成功解决悬置系统的多目标优化问题,并得到更高的优化效率.     

结合梯度法的混合微粒群优化算法

在微粒群优化算法PSO中引入梯度算法,提出了一种新型的混合微粒群优化算法——GPSO。该混合优化算法是对PSO每一次进化后的所有微粒进一步执行梯度法寻优操作,并以寻找到的更优个体替代当前个体参与群体的下一代进化。GPSO既利用了PSO出色的全局搜索能力,又借助梯度法的快速局部寻优能力,很好地将两者的优势结合在一起。数值实验表明：无论是对于低维的多峰函数,还是高维的多峰和单峰病态函数,GPSO都表现出很强的优化效率、适用性和鲁棒性。     

基于梯度分布调节策略的Xgboost算法优化

为了解决集成学习模型Xgboost在二分类问题中少数类检出率低的问题，提出了基于梯度分布调节策略的改进的Xgboost算法——LCGHA-Xgboost。首先，通过定义损失贡献（LC）来模拟Xgboost算法中样本个体的损失量；而后，通过定义损失贡献密度（LCD）来衡量Xgboost算法中样本被正确分类的难易程度；最后，提出了梯度分布调节算法LCGHA，依据LCD动态调整样本个体的一阶梯度分布，间接地增大难分样本（主要存在于少数类中）的损失量，减小易分样本（主要存在于多数类中）的损失量，使Xgboost算法偏向对难分样本的学习。实验结果表明,与Xgboost、GBDT、随机森林（Random_Forest）这三大集成学习算法相比，LCGHA-Xgboost算法在多个UCI数据集上的召回率（Recall）值有5.4%~16.7%的提高，AUC值有0.94%~7.41%的提高；在垃圾网页数据集WebSpam-UK2007和DC2010数据集上所提算法的Recall值更是有44.4%~383.3%的提高，AUC值有5.8%~35.6%的提高。LCGHA-Xgboost算法可以有效提高对少数类的分类检出能力，减小少数类的分类错误率。     

基于梯度粒子群算法的细菌觅食算法

针对细菌觅食算法在优化过程中环境感知能力较弱且容易陷入局部极值的缺陷,将梯度粒子群算法的基本思想引入细菌觅食算法中,改进原算法的收敛速度和收敛能力,并据此提出了基于梯度粒子群算法的细菌觅食算法GPSO-BFA。该算法既利用了细菌觅食算法出色的全局搜索能力,又借助梯度粒子群算法的快速局部寻优能力,很好地将两者的优势结合在一起。基于六个高维Benchmark函数的实验结果显示,该算法在收敛速度和精度方面都优于其他四种细菌觅食算法。     

Monotonic Newton method based ILC with parameter optimization for non-linear systems

Despite the significant progress on iterative learning control (ILC) in the past decade, ILC algorithms for non-linear systems are still under development. Monotonic convergence is one of the desirable properties of non-linear ILC. In this paper, by introducing a relaxation index, a Newton method based ILC is shown to converge monotonically. Simulations verify the effectiveness of the new algorithm. Potential improvements are discussed for future work.