基于深度神经网络的点击率预测模型

针对现有深度神经网络点击率预测模型在对用户偏好建模时,难以有效且高效地处理用户行为序列的问题,提出长短期兴趣网络（Long and short term interests network, LSTIN）模型,充分利用用户历史记录上下文信息和顺序信息,提升点击率预测精准性和训练效率。使用基于注意力机制的Transformer和激活单元结构完成用户长、短期兴趣建模,对用户短期兴趣进一步使用循环神经网络（Recurrent neural network, RNN）、卷积神经网络（Convolutional neural networks, CNN）进行处理,最后使用全连接神经网络进行预测。在亚马逊公开数据集上开展实验,将提出的模型与基于分解机的神经网络（DeepFM）、深度兴趣网络（Deep interest network, DIN）等点击率预测模型对比,结果表明提出的模型实现了考虑上下文信息和顺序信息的用户历史记录建模,接受者操作特征曲线下面积（Area under curve, AUC）指标为85.831%,相比于基础模型（BaseModel）提升1.154%,相比于DIN提升0.476%。且因区分用户长、短期兴趣,模型能够在提升预测精准性的同时保障训练效率。      

基于深度机器视觉的稀土元素组分含量预测

稀土萃取过程中元素含量的快速检测有助于提高稀土产品质量,目前的检测仪器存在检测延时长和维护成本高等问题。基于部分稀土元素独特的颜色特征,如Pr离子、Nd离子,可将机器视觉方法用于元素组分含量的软测量。不同于传统机器视觉方法,本文首次引入卷积神经网络（CNN）提取Pr/Nd混合溶液原始图像抽象表征,同时采用深度神经网络构建回归模型,用于预测Pr/Nd混合溶液中各元素的含量。实验选取1 210张Pr/Nd混合溶液图像作为实验数据,相较于已有方法,数据规模提升近12倍。多次独立重复结果表明,预测的组分含量与真实组分含量间的最大相对误差绝对值为2.773 8%,满足实际萃取生产中对元素含量分布变化的精度要求,具有一定的实际意义。     

基于NARX动态神经网络的锂离子电池剩余寿命间接预测

锂离子电池的直接健康因子难以实现在线测量,针对此问题,提出一种基于动态神经网络时间序列的锂离子电池剩余寿命（Remaining useful life, RUL）间接预测方法。首先根据锂离子电池的放电数据,提出放电截止时间,恒流放电时间以及放电峰值温度时间三种间接健康因子并进行灰色关联分析（Grey relation analysis, GRA）。然后,基于非线性自回归（Nonlinear autoregressive models with exogenous inputs, NARX）动态神经网络建立锂离子电池RUL预测模型。最后将粒子群优化前馈神经网络（Back propagation neural network based on particle swarm optimization, BPNN-PSO）,最小二乘支持向量机（Least square support vector machine, LS-SVM）,极限学习机（extreme learning machine, ELM）,闭环（Closed-loop）NARX和开环（Open-loop）NARX进行对比分析,验证了所提方法的优越性。      

基于一维卷积特征与手工特征融合的集成超限学习机心跳分类方法

融合手工特征和深度特征,提出了一种集成超限学习机心跳分类方法。手工提取的特征明确地表征了心电信号的特定特性,如相邻心跳时间间隔反映了心跳信号的时域特性,小波系数反映了心跳信号的时频特性。同时设计了一维卷积神经网络对心跳信号特征进行自动提取。基于超限学习机（Extreme leaning machine,ELM）,将上述特征融合进行心跳分类。由于ELM初始参数的随机给定可能导致其性能不稳定,进一步提出了一种基于袋装（Bagging）策略的多个ELM集成方法,使分类结果更加稳定且模型泛化能力更强。利用麻省理工心律失常公开数据集对所提方法进行了验证,分类准确率达到了99.02%,实验结果也表明基于融合特征的分类准确率高于基于单独特征的分类准确率。      

一种基于卷积神经网络的CSI指纹室内定位方法

针对提高Wi-Fi指纹室内定位技术性能,提出了一种基于卷积神经网络（Convolutional neural networks,CNN）的信道状态信息（Channel state information,CSI）指纹室内定位方法。在离线阶段联合定位环境参考点的幅度差和相位差信息,利用CNN进行训练,保存训练后的CNN网络模型作为指纹;在线阶段,针对不同实验场景,对测试数据的幅度差信息和相位差信息进行加权处理,引入改进的基于概率的指纹匹配算法,利用待定位点的CSI信息并通过CNN网络模型预测待定位点的坐标。此外,为增强算法普适性,针对复杂室内场景,提出了双节点定位方案来提高定位精度。在廊厅和实验室室内两种不同定位场景进行了实验,信息联合定位算法分别获得了24.7 cm和48.1 cm的平均定位误差,验证了基于CNN的CSI幅度差和相位差联合定位算法的有效性。      

基于地质图编码及深度残差网络的找矿预测方法——以陕西石泉地区金矿为例

利用人工智能技术进行找矿预测是矿产勘查的前沿领域，解决了地质图因精度不足而无法被用于找矿预测及模型训练等问题。提出并采用ONE-HOT编码方法进行地质图网格化，结合地球化学数据，以多通道二维网格窗口数据作为输入数据，利用平移、旋转、缩放等数据增强方法进行扩充训练，采用改进的ResNet神经网络预测模型，通过大量试验与对比，优化了超参数。在石泉地区进行了找矿预测，结果表明，该方法的找矿远景区面积占比6.5%,覆盖了所有已知金矿，并预测出8处不包含已知金矿的新找矿远景区，所提出的ONE-HOT编码方法可以有效利用已有地质图数据，且ResNet神经网络预测模型预测结果明显优于典型CNN网络模型和证据权重法的预测结果。     

一维卷积神经网络特征提取下微震能级时序预测

微震能级随时间发生变化,高能级微震事件与冲击地压有良好的对应关系,为预测矿山微震能量时序变化,基于一维卷积神经网络（Convolutional neural networks,CNN）,建立微震能级时间序列预测模型;通过模型训练,实现以前十次微震事件的能量级别作为输入来预测下一次微震事件的能量级别。由于微震样本数据类间不平衡问题,导致模型测试时将106能量级别的微震事件全部判断为105能量级别的微震事件,为进一步提高模型对106能级微震事件预测的准确率,对模型进行改进并使用混合采样方法训练改进后的模型;利用砚北煤矿250202工作面微震能级实测部分数据,改进后模型的总体测试正确率达到98.4%,其中106能量级别的微震事件测试正确率提升到99%。将模型应用于砚北煤矿250202工作面进行微震能级时序预测,模型的预测正确率整体达到93.5%,且对高能级微震事件的预测正确率接近100%。      

基于机器学习的北京市PM2.5浓度预测模型及模拟分析

对北京市周边8个点多个压力高度的温度、湿度和风速数据, 以及北京市PM2.5污染数据进行了分析和归一化处理, 建立了反向传播神经网络(back propagation, BP)、卷积神经网络(convolutional neural network, CNN) 和长短期记忆模型(long short-term memory, LSTM) 对上述气象数据和污染数据进行训练, 训练结果表明: 反向传播神经网络模型和卷积神经网络模型对未来1 h的PM2.5污染等级的预测准确率较低, 而长短期记忆模型的准确率较高.使用长短期记忆模型预测未来1 h的PM2.5污染值与实际值十分接近, 表明北京市的PM2.5污染与其周边地区的气象条件关系密切.通过利用长短期记忆模型对不同压力高度的气象数据进行训练和对比, 得出在利用气象数据预测污染时, 仅使用近地面气象数据比使用多个高度上的气象数据更加准确.      

基于烧结状态与集成学习的烧结矿转鼓强度预测

鉴于影响烧结转鼓因素较多,难精准预测的问题,将数据分析与现场经验结合,提出了一种基于烧结状态与集成学习的烧结矿转鼓强度自适应预测模型。该模型首先通过数据收集整合、异常数据识别与缺失数据处理等数据预处理过程,获取高质量烧结矿转鼓强度预测数据集合;再采用Boruta算法结合Pearson线性、XGBoost非线性相关性分析选择转鼓强度预测模型输入特征,避免了模型输入特征的不完整性;最后采用5种不同机器学习算法构建转鼓强度集成学习预测模型,各子模型预测结果权重可根据烧结生产实际情况进行自适应更新。结合现场生产实践与烧结历史数据分析,通过烧结终点温度与主管负压对烧结状态进行区分,在误差范围为0.5%时,转鼓强度的预测命中率在90%以上。     

基于深度学习算法的区域地质矿产资源量预测方法

为了提供准确的资源量预测结果,设计了基于深度学习算法的区域地质矿产资源量预测方法。首先进行人工采样,并测试土壤湿度、重金属含量等参数,然后根据地区勘查历史数据统计该区域的岩浆活动频率并提取控制成矿的因素以了解其地质条件。接着使用网格化处理技术来校正地质勘查测线,调整勘查与探测中的线距并划分区域网格。在20m×20m的网格内,采用线性变量Kriging作为线性处理的插值,并磁化处理数据以完成对矿区地质勘查数据的预处理。随后利用这些预处理数据,使用深度学习模型建立区域地质矿产资源模型,并利用自编码神经网络来划分成矿网格。最后使用随机变量函数的概率分布采样来构建资源的概率分布模型以预测区域的矿产资源量。     

一种基于轻量级神经网络的高铁轮对轴承故障诊断方法

深度神经网络技术用于机械设备故障诊断展现出了巨大潜力,但繁重复杂的计算量对计算机硬件提出了严苛的要求,严重限制了其在实际工程中的应用。基于此提出一种新型的轻量级神经网络ShuffleNet,用于高速列车轮对轴承故障诊断研究。该网络模型基于模块化设计思想,包含多个高效率的ShuffleNet单元,通过运用分组卷积与深度可分离卷积技术极大改善了传统卷积操作的运算效率;同时使用通道混洗方法克服了通道分组带来的约束,改进了网络的损失精度。实验分析表明,所提网络模型可有效用于复杂工况下高速列车轮对轴承故障诊断,相比传统卷积神经网络、残差网络和Xception等当前深度神经网络模型,在保证诊断精度的同时,运行效率得到大幅提升。这为深度神经网络技术应用于工程实际,克服计算机硬件条件限制提供了一条新的途径。      

基于深度卷积神经网络的地磁导航方向适配性分析

针对地磁导航方向适配性分析时人工提取的特征主观性较强且难以表达深层的结构性特征的问题,提出一种基于深度卷积神经网络(convolutional neural network,CNN)的地磁导航方向适配性分析方法.首先,利用Gabor滤波器的方向选择特性建立了6个典型方向的适配特征图;然后,设计了卷积神经网络对深层次的方向适配特征进行提取,并通过混和粒子群算法(hybrid particle swarm optimization,HPSO)对卷积神经网络的训练参数进行优选;最后,通过仿真实验对所提方法进行了验证.结果表明,该方法可有效避免复杂的计算以及人工特征提取的盲目性,实现了地磁导航方向适配性分析的自动化,且所提方法的准确率高于传统的BP网络和支持向量机,对地磁导航和航迹规划具有指导意义.      

基于GRU神经网络的巷道平均风速获取研究

针对矿井智能通风系统不能及时获取风速进而影响后续通风系统解算及优化的问题,利用ANSYS巷道风速分布模拟获取神经网络所需训练集,在人工测量与风速传感器监测数据的基础上,构建基于门控循环单元（Gated Recurrent Unit）神经网络的巷道平均风速预测模型。首先,提出神经网络模型,然后采用Adam优化算法对ANSYS模拟的点风速进行异常值和归一化等预处理,通过对不同形状巷道的监测点风速进行结构化处理后用于训练神经网络,找出各点风速与平均风速之间的强非线性关系,使预测风速逼近巷道实际平均风速,最后构建基于GRU神经网络的巷道平均风速预测模型。以王家岭煤矿实测数据作为测试集,将其应用于预测模型中,结果表明GRU神经网络模型具有较高精度和较强的泛化能力,能够获取巷道平均风速。矿井通风巷道平均风速预测模型在煤矿领域的成功应用,将为其他金属矿山智能通风系统及时准确获取风速参数提供新思路。     

基于机器学习的钢铁轧制过程性能预测

 为了实现快速的热轧工艺优化设计,基于工业数据的钢铁材料性能预测引起了研究者的极大关注,对利用机器学习进行钢铁材料轧制过程性能预测的研究进展进行了梳理。首先介绍了钢铁材料轧制过程性能预测常用的主流机器学习算法,其中包括人工神经网络、模糊神经网络、支持向量机、随机森林、智能优化算法等。其次,分别对钢铁材料轧制过程性能预测建模方法研究进展和模型应用情况进行了综述。最后,对钢铁轧制过程性能预测研究进行了展望,指出了数据质量的改善、小样本数据建模、建模数据加密、模型可解释性研究、钢铁材料组织预测和利用模型进行有效的工艺优化设计等可能发展方向。     

基于BiLSTM-Attention的钢板表面手写板号识别算法

国内钢铁企业生产厂的信息化物料跟踪大都依赖于钢板号。由于生产流程复杂,急需高准确率的板号在线识别技术。自然场景下机器喷号的识别技术较成熟,但复杂场景下的手写板号难以实现自动识别。针对复杂工作场景下钢板表面手写板号特点,提出一种以BiLSTM-Attention为主体结构的深度学习算法。首先结合复杂场景,对图像数据进行预处理,保证模型输入图片质量;然后利用残差神经网络(ResNet)提取图片特征、利用双向长短期记忆网络(BiLSTM)提取基于图像的序列特征;最后基于注意力机制捕获序列内的信息流,对每个字符的特征进行整合,形成文本特征向量以预测输出序列。经现场测试,实现钢板表面手写板号识别任务准确率达86.15%,结果表明算法可行有效,满足实际生产需求。     

基于深度学习的热轧带钢头部厚度的命中预测

 针对热轧带钢头部厚度精度较低的问题,提出了一种基于深度学习的热轧带钢头部厚度的命中预测方法。在精轧过程中,带钢头部张力较小,且通常温度较低;同时轧机工艺参数复杂,精准设定存在困难,轧制带钢头部经常会出现厚度不合格的现象。利用深度神经网络的非线性拟合能力,设计带钢头部厚度预测模型,给轧机的参数设定提供参考、提高头部厚度命中率、减少钢材浪费。深度神经网络(DNN)包含输入层、隐藏层、输出层,使用TensorFlow开源机器学习框架设计预测模型并用程序实现。调整神经网络各参数,通过研究它们对模型性能的影响,优化预测模型。最后使用多种厚度的带钢测试数据训练并检验头部厚度预测模型,结果显示,分类预测命中准确率在80%以上。     

基于强化学习的工控系统恶意软件行为检测方法

网络环境下的恶意软件严重威胁着工控系统的安全,随着目前恶意软件变种的逐渐增多,给工控系统恶意软件的检测和安全防护带来了巨大的挑战。现有的检测方法存在着自适应检测识别的智能化程度不高等局限性。针对此问题,围绕威胁工控系统网络安全的恶意软件对象,本文通过结合利用强化学习这一高级的机器学习算法,设计了一个检测应用方法框架。在实现过程中,根据恶意软件行为检测的实际需求,充分结合强化学习的序列决策和动态反馈学习等智能特征,详细讨论并设计了其中的特征提取网络、策略网络和分类网络等关键应用模块。基于恶意软件实际测试数据集进行的应用实验验证了本文方法的有效性,可为一般恶意软件行为检测提供一种智能化的决策辅助手段。