A new feature selection algorithm and composite neural network for electricity price forecasting

In a competitive electricity market, the forecasting of energy prices is an important activity for all the market participants either for developing bidding strategies or for making investment decisions. In this paper, a new forecast strategy is proposed for day ahead prediction of electricity price, which is a complex signal with nonlinear, volatile and time dependent behavior. Our forecast strategy includes a new two stage feature selection algorithm, a composite neural network (CNN) and a few auxiliary predictors. The feature selection algorithm has two filtering stages to remove irrelevant and redundant candidate inputs, respectively. This algorithm is based on mutual information (MI) criterion and selects the input variables of the CNN among a large set of candidate inputs. The CNN is composed of a few neural networks (NN) with a new data flow among its building blocks. The CNN is the forecast engine of the proposed strategy. A kind of cross-validation technique is also presented to fine-tune the adjustable parameters of the feature selection algorithm and CNN. Moreover, the proposed price forecast strategy is equipped with a few auxiliary predictors to enrich the candidate set of inputs of the forecast engine. The whole proposed strategy is examined on the PJM, Spanish and Californian electricity markets and compared with some of the most recent price forecast methods.     

Application of a new hybrid neuro-evolutionary system for day-ahead price forecasting of electricity markets

In this paper, a new forecast strategy is proposed for day-ahead prediction of electricity prices, which are so valuable for both producers and consumers in the new competitive electric power markets. However, electricity price has a nonlinear, volatile and time dependent behavior owning many outliers. Our forecast strategy is composed of a preprocessor and a Hybrid Neuro-Evolutionary System (HNES). Preprocessor selects the input features of the HNES according to MRMR (Maximum Relevance Minimum Redundancy) principal. The HNES is composed of three Neural Networks (NN) and Evolutionary Algorithms (EA) in a cascaded structure with a new data flow among its building blocks. The effectiveness of the whole proposed method is demonstrated by means of real data of the PJM and Spanish electricity markets. Also, the proposed price forecast strategy is compared with some of the most recent techniques in the area.     

A new wind power prediction method based on ridgelet transforms,hybrid feature selection and closed-loop forecasting

To reduce network integration and boost energy trading, wind power forecasting can play an important role in power systems. Furthermore, the uncertain and nonconvex behavior of wind signals make its prediction complex. For this purpose, accurate prediction tools are needed. In this paper, a ridgelet transform is applied to a wind signal to decompose it into sub-signals. The output of ridgelet transform is considered as input of new feature selection to identify the best candidates to be used as the forecast engine input. Finally, a new hybrid closed loop forecast engine is proposed based on a neural network and an intelligent algorithm to predict the wind signal. The effectiveness of the proposed forecast model is extensively evaluated on a real-world electricity market through a comparison with well-known forecasting methods. The obtained numerical results demonstrate the validity of proposed method.     

二层分解技术在电价预测中的应用研究

针对电价波动幅度大且预测精度低的问题,提出了二层分解技术与神经网络组成的电价多步预测模型。该模型首先采用集合经验模式分解将原始电价序列分解为一系列分量,变分模态分解将第一层分解产生的最高频率分量进一步分解为一系列模态分量,所有分量采用神经网络模型进行预测,并使用纵横交叉算法对神经网络的参数进行优化,最后叠加所有子序列,得出预测电价值。仿真结果表明,所提出的模型相比其他混合模型具有更好的预测性能,且实用价值高。     

Solar energy forecasting based on hybrid neural network and improved metaheuristic algorithm

Prediction of solar power involves the knowledge of the sun , atmosphere and other parameters, and the scattering processes and the specifications of a solar energy plant that employs the sun's energy to generate solar power . This prediction result is essential for an efficient use of the solar power plant, the management of the electricity grid, and solar energy trading. However, because of nonlinear and nonstationary behavior of solar power time series, an efficient forecasting model is needed to predict it. Accordingly, in this paper, we propose a new forecast approach based on combination of a neural network with a metaheuristic algorithm as the hybrid forecasting engine. The metaheuristic algorithm optimizes the free parameters of the neural network. This approach also includes a 2‐stage feature selection filter based on the information‐theoretic criteria of mutual information and interaction gain, which filters out the ineffective input features. To demonstrate the effectiveness of the proposed forecast approach, it is implemented on a real‐world engineering test case. Obtained results illustrate the superiority of the proposed approach in comparison with other prediction methods.     

基于混合神经网络的图像复原方法

针对传统图像复原方法对先验知识的依赖性问题,提出一种基于混合神经网络的图像复原方法。混合神经网络由卷积神经网络（Convolutional Neural Network）与BP神经网络组成。首先,通过训练卷积神经网络初步建立退化图像与真实图像之间的非线性映射关系,再利用训练好的卷积网络模型提取特征向量作为BP神经网络的输入。最后,通过训练BP神经网络实现图像复原。实验表明,该方法具有较高可行性,在小尺度的模糊核上的复原效果优于现有方法。     

基于深度森林的无线传感器网络故障分类算法

针对无线传感器网络(WSN)节点容易出现故障从而导致网络瘫痪的问题,提出了一种基于改进的深度森林的无线传感器网络故障分类方法;深度森林是基于森林的集成学习方法,其输入是多维特征向量,特征向量将由多粒度扫描和级联森林这两个主要组成部分进行处理,多粒度扫描通过处理数据之间的关系来增强数据表示的能力,级联森林用于分类或预测;针对级联森林部分随着层数的增加可能造成的维数问题进行优化后,将该算法用于故障分类可以提高故障诊断的精确度;在仿真验证阶段,将该算法与深度神经网络(DNN)和支持向量机(SVM)算法进行对比;结果显示,该算法可以准确地识别出不同的故障类型,并且在损坏故障和电源故障的识别达到了最高精度,综合平均精度在98.4%;对偏移故障、漂移故障和通信故障的识别略低于卷积神经网络(CNN)算法,但综合训练时间、参数调节来看,该算法更能满足实际工程的需要。     

卷积神经网络特征重要性分析及增强特征选择模型

卷积神经网络等深度神经网络凭借着其强大的表达能力、突出的分类性能,已在不同领域内得到了广泛应用.当面对高维特征时,深度神经网络通常被认为具有较好的鲁棒性,能够隐含地对特征进行选择,但由于网络参数巨大,如果数据量达不到足够的规模,则会导致学习不充分,因而可能无法达到最优的特征选择.而神经网络的黑箱特性使得无法观测神经网络选择了哪些特征,也无法评估其特征选择的能力.为此,以卷积神经网络为例,首先研究如何显式地表达神经网络中的特征重要性,提出了基于感受野的特征贡献度分析方法;其次,将神经网络特征选择与传统特征评价方法进行对比分析发现,在非海量样本的情况下,传统特征评价方法对高重要性特征和噪声特征的识别能力反而能够超过神经网络.因此,进一步地提出了卷积神经网络增强特征选择模型,将传统特征评价方法对特征重要性的理解结合到神经网络的学习过程中,以辅助深度神经网络进行特征选择.在基于文本的社交媒体用户属性建模任务下进行了对比实验,结果验证了该模型的有效性.     

基于卷积神经网络的左心室超声图像特征点定位

针对传统级联卷积神经网络（CNN）在左心室超声图像中定位准确度较低的问题，提出一种融合更快速区域卷积神经网络（Faster-RCNN）模型提取区域的级联卷积神经网络，实现对超声图像中左心室心内膜和心外膜轮廓特征点的定位。首先，采用两级级联的方式改进传统级联卷积神经网络的网络结构，第一级网络利用一个改进的卷积网络粗略定位左心室心内膜和心外膜联合的特征点，第二级网络使用四个改进的卷积网络分别对心内膜特征点和心外膜特征点进行位置微调，之后定位输出左心室心内膜和心外膜联合的轮廓特征点位置；然后，将改进的级联卷积神经网络与目标区域提取融合，即利用Faster-RCNN模型提取包含左心室的目标区域并将目标区域送入改进的级联卷积神经网络；最后，由粗到细对左心室轮廓特征点进行定位。实验结果表明，与传统级联卷积神经网络相比，所提方法在左心室超声图像上的定位效果更好，更逼近真实值，在均方根误差的评价标准下，特征点定位准确度提升了32.6个百分点。     

基于深度级联神经网络的自动驾驶运动规划模型

针对基于规则的运动规划算法需要预先定义规则和基于深度学习的方法没有利用时间特征的问题，提出一种基于深度级联神经网络的运动规划模型。该模型将卷积神经网络（CNN）和长短期记忆网络（LSTM）这两种经典的深度学习模型进行融合并构成一种新的级联神经网络，分别提取输入图像的空间和时间特征，并用以拟合输入序列图像与输出运动参数之间的非线性关系，从而完成从输入序列图像到运动参数的端到端的规划。实验利用模拟驾驶环境的数据进行训练和测试，结果显示所提模型在乡村路、高速路、隧道和山路四种道路中均方根误差（RMSE）不超过0.017，且预测结果的稳定度优于未使用级联网络的算法一个数量级。结果表明，所提模型能有效地学习人类的驾驶行为，并且能够克服累积误差的影响，适应多种不同场景下的路况，具有较好的鲁棒性。     

尺度无关的级联卷积神经网络人脸检测算法

卷积神经网络在进行图片处理时需要输入固定尺寸大小的图片，该限制会导致原图在放缩过程中损失大部分信息。另外，目前人脸检测算法多用单一结构网络进行特征提取，这就使得算法的泛化能力较弱。针对以上两个问题，提出了一种将级联卷积神经网络与空间金字塔池化相结合的人脸检测算法。该方法将三级卷积神经网络模型连接起来，其中三级神经网络模型之间各不相同，结构从简单到复杂，在不同层次的神经网络上提取不同的人脸特征并筛选图片，完成对图片中人脸区域的检测。同时，在每级网络层次中加入空间金字塔池化层，这种池化策略无须固定尺寸大小的输入，增加了模型输入的尺寸选择。在标准人脸数据集中，该方法相对于传统方法实现了模型的多尺度输入，提升了检测的性能，并降低了检测人脸的时间。     

基于极限学习机的股票价格预测

极限学习机（ Extreme Learning Machine , ELM）是一种新型的单馈层神经网络算法,克服了传统的误差反向传播方法需要多次迭代,算法的计算量和搜索空间大的缺点,只需要设置合适的隐含层节点个数,为输入权和隐含层偏差进行随机赋值,一次完成无需迭代。研究表明股票市场是一个非常复杂的非线性系统,需要用到人工智能理论、统计学理论和经济学理论。本文将极限学习机方法引入股票价格预测中,通过对比支持向量机（ Support Vector Machine , SVM）和误差反传神经网络（ Back Propagation Neural Network , BP神经网络）,分析极限学习机在股票价格预测中的可行性和优势。结果表明极限学习机预测精度高,并且在参数选择及训练速度上具有较明显的优势。     

MDT-CNN-LSTM模型的股价预测研究

股价预测一直是投资者在股票市场中关注的焦点.近年来,深度学习技术在这一领域得到广泛应用.在融合卷积神经网络(CNN)和长短时记忆网络(LSTM),构建CNN-LSTM模型的基础上,引入多向延迟嵌入的张量处理技术MDT(mutiway-delay-embedding),对每日股票因子向量进行因子重构,生成汉克尔矩阵,按时...     

结合Bi-LSTM-CNN的语音文本双模态情感识别模型

针对单一模态情感识别精度低的问题,提出了基于Bi-LSTM-CNN的语音文本双模态情感识别模型算法.该算法采用带有词嵌入的双向长短时记忆网络(bi-directional long short-term memory network,Bi-LSTM)和卷积神经网络(convolutional neural networ...     

混合深度学习模型C-RF及其在手写数字识别中的应用

卷积神经网络（Convolutional neural network,CNN）是一种常见的深度学习模型,受人类视觉认知机制启发而来,能够从原始图像得到有效的特征表达。CNN模型在图像识别领域不断取得突破,但是在训练过程中需要花费大量时间。随机森林（Random forest,RF）在分类和回归上具有很高的精度,训练速度快并且不容易出现过拟合的问题,现有的基于RF的分类器都依赖手工选取的特征。针对以上问题,本文提出了基于CNN的C-RF模型,把CNN提取到的特征输入RF中进行分类。由于随机权值网络同样可以得到有效的结果,所以不用梯度算法调整网络参数,以免消耗大量时间。最后在MNIST数据集和Rotated MNIST数据集上进行了实验,结果表明C-RF模型的分类精度比RF有了较大的提高,同时泛化能力也有所提升。     

基于多级金字塔卷积神经网络(MLPCNN)的快速特征表示方法

近年来,在机器视觉中基于卷积神经网络(CNN)的特征提取方法取得了令人惊叹的成果,主要原因是深度学习在多层和低维的特征表示上有着很大的优势。但是由于在大尺度图像中卷积滤波的过程速度过慢,导致CNN参数调节困难、训练时间过长,针对这一问题,本文基于传统卷积神经网络(TCNN, Traditional convolution neural network)提出一种快速有效的多级金字塔卷积神经网络MLPCNN(Multi-level pyramid CNN)。这一网络使用权值共享的方法将低级的滤波权值共享到高级,保证CNN的训练只在较小尺寸的图像块上进行,加快训练速度。实验表明,在特征维数比较低的情况下,MLPCNN提取到的特征比传统的特征提取方法更加有效,在Caltech101数据库上,MLPCNN识别率达到81.32%,而且训练速度较TCNN网络提高了约2.5倍。     

基于卷积神经网络的实时跟踪算法

利用卷积神经网络(CNN)强大的特征学习能力,提出了一种基于卷积神经网络的实时跟踪算法.通过对双通道卷积神经网络进行离线训练,学习相邻两帧之间的差异,得到跟踪目标的表观特征与运动之间的普遍规律.在不需要对网络模型在线更新的情况下,直接通过网络回归得到对目标的位置和对应置信度的预测.在VOT2014数据集中进行实验,结果表明:提出的跟踪算法的性能达到了当前领先水平.同时,跟踪算法的运行速度可以达到90帧/s,表现出非常不错的实时性.     

A research of Monte Carlo optimized neural network for electricity load forecast

In this paper, we apply the Monte Carlo neural network (MCNN), a type of neural network optimized by Monte Carlo algorithm, to electricity load forecast. Meanwhile, deep MCNNs with one, two and three hidden layers are designed. Results have demonstrated that three-layer MCNN improves 70.35% accuracy for 7-week electricity load forecast, compared with traditional neural network. And five-layer MCNN improves 17.24% accuracy for 7-week forecast. This proves that MCNN has great potential in electricity load forecast.

     

基于卷积神经网络的鲁棒性基音检测方法

在语音信号中, 基音是一个重要参数, 且有重要用途. 然而, 检测噪声环境中语音的基音却是一项难度较大的工作. 由于卷积神经网络(Convolutional neural network, CNN)具有平移不变性, 能够很好地刻画语谱图中的谐波结构, 因此我们提出使用CNN来完成这项工作. 具体地, 我们使用CNN来选取候选基音, 再用动态规划方法(Dynamic programming, DP)进行基音追踪, 生成连续的基音轮廓. 实验表明, 与其他方法相比, 本文的方法具有明显的性能优势, 并且 对新的说话人和噪声有很好的泛化性能, 具有更好的鲁棒性.