基于动态权重裁剪的快速Adaboost训练算法

提出了基于动态权重裁剪的快速Adaboost训练算法,当训练数据集较大时,可以大大提高训练速度.基于动态权重裁剪的Adaboost训练算法在每次迭代过程中舍去权重较小的大多数样本,保留权重较大的少数样本进行训练,迭代完成后检查这个利用少量样本训练得到的弱分类器在所有样本上的分类性能,如果错误率大于0.5,则扩大样本的数量重新训练本次迭代的弱分类器.由于在大多数迭代过程中,只利用了少量样本进行弱分类器的训练,从而提高了整个算法的训练速度.     

基于协方差特征的裁剪AdaBoost算法

针对Haar-like特征的缺陷以及AdaBoost算法存在训练耗时的问题,提出一种基于协方差特征的改进AdaBoost人脸检测算法。该方法用协方差特征代替Haar-like特征进行特征提取;然后使用特征裁剪和动态权重裁剪相结合的裁剪AdaBoost算法,训练得到基于协方差特征的强分类器。实验结果表明,相对于基于Haar-like特征的AdaBoost算法,该算法性能没有明显退化且很大程度上提高了训练速度。     

动态梯度阈值裁剪的差分隐私生成对抗网络算法

现有的生成对抗网络（GAN）和差分隐私相结合的方法大多采用梯度扰动的方法实现隐私保护，即在优化过程中利用梯度裁剪技术来约束优化器对单个数据的敏感性，并对裁剪后的梯度添加随机噪声以达到保护模型的目的。然而大多数方法在训练时裁剪阈值固定，而阈值过大或过小均会影响模型的性能。针对该问题，提出动态梯度阈值裁剪的DGC＿DPGAN(Dynamic Gradient Clipping Differential Privacy Generative Adversarial Network)算法以兼顾隐私保护和模型的性能。该算法结合预训练技术，在优化过程中先求取每批次隐私数据的梯度F-范数均值作为动态梯度裁剪阈值，再对梯度进行扰动。考虑不同的裁剪顺序，提出先裁剪再加噪的CLIP＿DGC＿DPGAN(Clip Dynamic Gradient Clipping Differential Privacy Generative Adversarial Network)算法和先加噪再裁剪的DGC＿DPGAN算法，并采用Rényi Accountant求取隐私损失。实验结果表明，在相同的隐私预算下，所提出的两种...     

机器视觉识别袜品纹理与精准定位的测控装置

袜品生产属于劳动密集型行业,袜品的裁剪是非常重要的工序之一,目前主要依靠人工裁剪实现,存在工作强度大、效率低、人工成本高等问题,已经制约织袜行业的良性发展.设计和实现一种机器视觉识别袜品纹理与精准定位的测控装置,该装置利用光学成像技术和快速图像采集技术实时获取袜品纹理的动态数字图像,通过提出的Gabor能量积分算法和动态延时定位指令输出方法处理后,实现对袜品特定位置裁剪的精准快速识别定位.经过实际使用验证,该装置裁剪定位精度为±2mm,高于人工裁剪精度,可完全取代人工裁剪方式.一套装置可完成相当于3个工人的工作量,在大幅度提高生产效率的同时降低企业运营成本.     

基于视角的可视区动态裁剪算法研究

讨论了地形绘制中可视区裁剪技术及基本原理，提出一种地形实时绘制中基于LOD技术的可视区裁剪方法。该方法通过设定分辨率级别，动态建立与各分辨率级别相应的视图体和地形节点包围球，有效地判断地形节点与视图体的关系，快速的建立LOD模型。     

基于叶片识别的侵入式室内植物建模

由于室内植物的叶片存在大量自遮挡,为了得到植物的完整三维信息,往往需要用户手动裁剪、扫描和配准叶片.针对该问题,提出了利用实例分割网络进行叶片识别并选取被裁剪叶片的方法.通过总结植物叶片形状与分布特征,建立虚拟植物模型,渲染大量带叶片轮廓信息的图片来训练实例分割网络,避免了耗费大量精力标注真实植物叶片.进一步提出了自动...     

一种基于马尔可夫模型的加速ICN路径收敛性的方法

在新型的内容中心网络(Information-Centric Networking, ICN)多宿主场景中,主机的标识和地址分离,允许数据包中携带多个地址。多目的地址的数据包在匹配路由表之后获得多个转发端口,在每跳具有路径选择的能力,可以根据网络的动态进行路径调整。然而,这种转发方法打破了根据路由表最短路径转发规则,数据包可能在网络中来回跳动而不能尽快收敛到目的地。本文提出一种基于马尔可夫模型的多地址裁剪方法,该模型能根据历史地址裁剪状态信息进行裁剪决策,从而提高路径的收敛性。实验结果表明该方法与基准方法相比,在保证传输速率几乎相同的同时,平均跳数减少约16%,在路径收敛性方面得到了改善。     

Tchebycheff正交神经网络的动态建模方法研究

本文提出一种正交神经网络的动态建模方法, 它充分利用了Tchebycheff多项式的非线性处理能力和Givens正交变换的有效处理大型稀疏 问题的优点,不仅能快速进行网络的训练,而且能对网络的结构进行优化,为非线性系统的 动态建模提供了一种有效方法．实验表明它是一种简单的、普遍适用的系统建模方法．     

采用稳健回声状态网络的超短期负荷预测方法

针对超短期负荷预测周期短,要求预测速度快的特点,构建了基于稳健回归和回声状态网络的超短期负荷预测方法。回声状态网络作为一种递归神经网络,其隐含层为一个储备池,并且通过线性回归训练网络,从而具有映射复杂动态系统的能力和训练快速的特点,能较好地满足超短期负荷预测的要求。考虑到异常负荷数据的影响,将稳健回归运用于网络训练阶段,以削弱异常值的影响,从而提升预测的精度。通过算例验证了所提方法的可行性和有效性。     

基于深度稀疏低秩分解的深度神经网络轻量化方法

基于嵌入式平台对深度神经网络轻量化的需求,结合模块化、逐层处理思想,以主流检测识别深度神经网络Faster RCNN轻量化为目标,设计基于深度稀疏低秩分解的轻量化方法.针对Faster RCNN网络架构特点,首先采用深度可分离卷积和稀疏低秩理论对Faster RCNN网络的特征提取主干网络部分进行初始轻量化;其次采用稀疏低秩裁剪对主干网络进行“逐层通道裁剪,逐层重训练,逐层调优”轻量化,采用张量Tensor-Train分解理论,对区域建议网络进行轻量化处理,尽可能保证低性能损失;再次对识别与分类网络进行稀疏低秩分解和通道裁剪,增加模型压缩倍数,减少所需要和所消耗计算资源;最后,基于感兴趣区域定位感知的RPN网络输入特征知识蒸馏,提升检测识别性能.数值实验表明,所提出方法可以实现模型压缩100倍,检测识别率仅下降5%.     

一种基于神经网络集成的决策树构造方法

神经网络集成方法具有比单个神经网络更强的泛化能力,却因为其黑箱性而难以理解;决策树算法因为分类结果显示为树型结构而具有良好的可理解性,泛化能力却比不上神经网络集成。该文将这两种算法相结合,提出一种决策树的构造算法：使用神经网络集成来预处理训练样本,使用C4．5算法处理预处理后的样本并生成决策树。该文在UCI数据上比较了神经网络集成方法、决策树C4．5算法和该文算法,实验表明：该算法具有神经网络集成方法的强泛化能力的优点,其泛化能力明显优于C4．5算法;该算法的最终结果昆示为决策树,显然具有良好的可理解性。     

基于神经网络集成技术构建IDSS知识库的研究

神经网络集成通过训练多个神经网络并将其结果进行合成,可以显著地提高学习系统的泛化能力,有助于工程技术人员利用神经网络技术来解决真实世界中的问题。在分析智能决策支持系统（IDSS）目前面临问题基础上,论述了神经网络集成实现的方法,对神经网络集成技术在构建IDSS知识库中的应用进行了研究,并成功进行了实现。     

肺癌分类识别中的神经网络集成技术研究

This paper describes a neural network ensemble method in lung cancer cell identification process. A neural network ensemble algorithm LCNE based on image feature extraction is proposed. Firstly, LCNE algorithm trains different neural network classifiers designed for shape and color features individually. Then, using neural network en-semble method, the final lung cancer cell identification results can be achieved. On the basis of LCNE algorithm, weimplement a lunu cancer cell identification system LCDS successfully.     

一种主动学习神经网络集成方法

分析了神经网络集成泛化误差、个体神经网络泛化误差、个体神经网络差异度之间的关系,提出了一种个体神经网络主动学习方法．个体神经网络同时交互训练,既满足了个体神经网络的精度要求,又满足了个体神经网络的差异性要求．另外,给出了一种个体神经网络选择性集成方法,对个体神经网络加入偏置量,增加了个体神经网络的可选数量,降低了神经网络集成的泛化误差．理论分析和实验结果表明,使用这种个体神经网络训练方法、个体神经网络选择性集成方法能够构建有效的神经网络集成系统．     

一种基于神经网络集成的规则学习算法

将神经网络集成与规则学习相结合，提出了一种基于神经网络集成的规则学习算法．该算法以神经网络集成作为规则学习的前端，利用其产生出规则学习所用的数据集，在此基础上进行规则学习．在UCl机器学习数据库上的实验结果表明，该算法可以产生泛化能力非常强的规则．     

Associative Neural Network

An associative neural network (ASNN) is a combination of an ensemble of the feed-forward neural networks and the K-nearest neighbor technique. The introduced network uses correlation between ensemble responses as a measure of distance among the analyzed cases for the nearest neighbor technique and provides an improved prediction by the bias correction of the neural network ensemble both for function approximation and classification. Actually, the proposed method corrects a bias of a global model for a considered data case by analyzing the biases of its nearest neighbors determined in the space of calculated models. An associative neural network has a memory that can coincide with the training set. If new data become available the network can provide a reasonable approximation of such data without a need to retrain the neural network ensemble. Applications of ASNN for prediction of lipophilicity of chemical compounds and classification of UCI letter and satellite data set are presented. The developed algorithm is available on-line at http://www.virtuallaboratory.org/lab/asnn.     

Neural network ensembles: combining multiple models for enhanced performance using a multistage approach

Abstract: Neural network ensembles (sometimes referred to as committees or classifier ensembles) are effective techniques to improve the generalization of a neural network system. Combining a set of neural network classifiers whose error distributions are diverse can generate better results than any single classifier. In this paper, some methods for creating ensembles are reviewed, including the following approaches: methods of selecting diverse training data from the original source data set, constructing different neural network models, selecting ensemble nets from ensemble candidates and combining ensemble members' results. In addition, new results on ensemble combination methods are reported.     

A new genetic feature selection with neural network ensemble

A neural network ensemble is a learning paradigm in which a finite collection of neural networks is trained for the same task. Ensembles generally show better classification and generalization performance than a single neural network does. In this paper, a new feature selection method for a neural network ensemble is proposed for pattern classification. The proposed method selects an adequate feature subset for each constituent neural network of the ensemble using a genetic algorithm. Unlike the conventional feature selection method, each neural network is only allowed to have some (not all) of the considered features. The proposed method can therefore be applied to huge-scale feature classification problems. Experiments are performed with four databases to illustrate the performance of the proposed method.     

基于样本重构的神经网络集成学习方法

在回顾以往神经网络集成的研究成果基础上,提出一种新的负相关学习方法,该方法易于执行,计算量小,有效的消除了学习中的复合线性问题,减小了集成误差,最后用测试用例对该方法进行了考察,证明该方法可以有效的降低集成预测误差,得到较为理想的集成效果。