双光流网络指导的视频目标检测

目的 卷积神经网络广泛应用于目标检测中,视频目标检测的任务是在序列图像中对运动目标进行分类和定位。现有的大部分视频目标检测方法在静态图像目标检测器的基础上,利用视频特有的时间相关性来解决运动目标遮挡、模糊等现象导致的漏检和误检问题。方法 本文提出一种双光流网络指导的视频目标检测模型,在两阶段目标检测的框架下,对于不同间距的近邻帧,利用两种不同的光流网络估计光流场进行多帧图像特征融合,对于与当前帧间距较小的近邻帧,利用小位移运动估计的光流网络估计光流场,对于间距较大的近邻帧,利用大位移运动估计的光流网络估计光流场,并在光流的指导下融合多个近邻帧的特征来补偿当前帧的特征。结果 实验结果表明,本文模型的mAP（mean average precision）为76.4%,相比于TCN（temporal convolutional networks）模型、TPN+LSTM（tubelet proposal network and long short term memory network）模型、D（&T loss）模型和FGFA（flow-guided feature aggregation）模型分别提高了28.9%、8.0%、0.6%和0.2%。结论 本文模型利用视频特有的时间相关性,通过双光流网络能够准确地从近邻帧补偿当前帧的特征,提高了视频目标检测的准确率,较好地解决了视频目标检测中目标漏检和误检的问题。     

基于一维卷积神经网络与长短期记忆网络结合的电池荷电状态预测方法

针对电池荷电状态（SOC）预测的精确度与稳定性问题以及深层神经网络的梯度消失问题,提出一种基于一维卷积神经网络（1D CNN）与长短期记忆（LSTM）循环神经网络（RNN）结合的电池SOC预测方法——1D CNN-LSTM模型。1D CNN-LSTM模型将电池的电流、电压和电阻映射到目标值SOC。首先,通过一层一维卷积层从样本数据中提取出高级数据特征,并充分地利用输入数据的特征信息;其次,使用一层LSTM层保存历史输入信息,从而有效地预防重要信息的丢失;最后,通过一层全连接层输出电池SOC预测结果。使用电池的多次循环充放电实验数据训练提出的模型,分析对比不同超参数设置下1D CNN-LSTM模型的预测效果,并通过训练模型来调节模型的权重系数和偏置参数,从而确定最优的模型设置。实验结果表明,1D CNN-LSTM模型具有准确且稳定的电池SOC预测效果。该模型的平均绝对误差（MAE）、均方误差（MSE）和最大预测误差分别为0.402 7%、0.002 9%和0.99%。     

基于渐进无迹卡尔曼滤波网络的人体肢体运动估计

针对基于表面肌电信号(Surface electromyography, sEMG)的人体肢体运动估计建模困难的问题,提出一种渐进无迹卡尔曼滤波网络(Progressive unscented Kalman filter network, PUKF-net),来实现降低肢体运动与sEMG量测的建模难度以及提高肢体运动估计精度的目的.首先,设计深度神经网络从sEMG数据中学习肢体运动状态与sEMG量测之间的映射关系和噪声统计特性.其次,采用渐进量测更新方法对先验状态估计进行修正,减小运动估计的线性化误差,提高PUKF-net模型的稳定性.通过结合深度神经网络和渐进卡尔曼滤波的优势,使得PUKF-net具有良好的模型适应性和抗噪能力.最后,设计基于sEMG的人体肢体运动估计实验,验证了PUKF-net模型的有效性.相较于长短期记忆网络(Long short-term memory, LSTM)和其他卡尔曼滤波网络, PUKF-net在肢体运动估计中的均方根误差(Root mean square error, RMSE)下降了14.9%,相关系数R²提高了5.1%.     

改进的井下人员定位PDR算法研究

传统的行人航位推算(PDR)算法用于井下人员定位时,因步频检测、步长估计和航向估计阶段的姿态累计误差导致定位误差逐渐增大,而常用的零速校正、航向漂移消除、步态信号优化等误差修正方法无法改变PDR算法的固有缺陷,定位精度有待提高。提出采用改进的峰值检测法实现PDR算法中步频检测,基于深度循环神经网络(RNN)实现步长估计。将改进的PDR算法用于井下人员定位:首先采用手机加速度传感器、陀螺仪、磁力计获取行人运动数据;然后采用改进的峰值检测法获取固定时间间隔内的平均步频,与时间间隔、加速度及加速度方差作为特征输入训练后的深度RNN模型进行步长估计;最后结合估计的航向角预测人员当前位置。试验结果表明,改进的井下人员定位PDR算法对测试集数据的预测相对误差为5.9%,对实际测试路线的定位相对误差为1.6%~3.9%,小于传统PDR算法定位误差,有效提高了井下人员定位精度。     

基于局部与全局优化的双目视觉里程计算法

为实现移动机器人的实时精确定位,提出一种新的双目视觉里程计算法。利用加速尺度不变特征变换(SIFT)算子提取左右图像特征并做稀疏立体匹配,对前后帧图像进行帧间SIFT特征追踪,在RANSAC策略下通过运动估计获得初始位姿(旋转和平移矩阵)。在此基础上,将图像序列分为关键帧和非关键帧,采用可变滑动窗口对相邻关键帧的位姿局部非线性优化以减小帧间运动估计误差,同时通过词袋模型进行回环检测,对环内所有关键帧的位姿全局优化,避免位姿误差的累积和轨迹漂移。实验结果表明,该算法满足实时性要求,并且能够减小位姿误差,提高定位精度。     

基于循环神经网络的电信行业容量数据预测方法

在电信运维的容量预测过程中,存在容量指标和部署业务种类繁多的问题。现有研究未考虑指标数据类型的差异,对所有类型的数据使用同种预测方法,使得预测效果参差不齐。为了提升指标预测效率,提出一种指标数据类型分类方法,利用该方法将数据类型分为趋势型、周期型和不规则型。针对其中的周期型数据预测,提出基于双向循环神经网络（BiRNN）的周期型容量指标预测模型,记作BiRNN-BiLSTM-BI。首先,为分析容量数据的周期特征,提出一种忙闲分布分析算法;其次,搭建循环神经网络（RNN）模型,该模型包含一层BiRNN和一层双向长短时记忆网络（BiLSTM）;最后,充分利用系统忙闲分布信息,对BiRNN输出的结果进行优化。与传统的三次指数平滑、差分自回归移动平均（ARIMA）模型和反向传播（BP）神经网络模型进行比较的实验结果表明,在统一日志数据集和分布式缓存数据集上,提出的BiRNN-BiLSTM-BI模型的均方误差（MSE）分别比对比模型中表现最优的模型降低了15.16%和45.67%,可见预测准确率得到了很大程度的提升。     

基于时间序列模型的粒子滤波行人跟踪算法研究

针对行人运动的随机性导致运动状态模型适应性差和人在行走过程中可能发生短时全部或局部遮挡导致行人跟踪算法精度较低的问题,提出基于时间序列模型的粒子滤波行人跟踪算法;建立了行人运动时间序列模型;给出了基于对视频序列初始帧的检测,确定行人的位置、宽高等作为跟踪先验信息的方法;由先验信息计算加权颜色直方图构建初始粒子群分布,并利用时间序列运动模型预测粒子在下一时刻的状态分布,并更新粒子权值;根据有效粒子的个数判断是否进行重采样;最后由所有粒子的加权和估计行人的运动状态;仿真实验表明:文中提出根据行人的运动轨迹时间序列运动模型可使行人的状态估计更准确,预测误差进一步减小,预测精度得到了提高.     

隐式特征和循环神经网络的多声部音乐生成系统

音乐生成是一种使用算法来生成音乐序列的研究。本文针对音乐样本特征提取以及自动作曲问题提出了一种基于音乐隐式特征和循环神经网络（recurrent neural network, RNN）的多声部音乐生成算法。该方法通过使用栈式自编码器对多声部音乐序列每个时间步的音符隐式特征进行提取,结合长短期记忆循环神经网络（long short-term memory, LSTM）,以序列预测的方式搭建了基于隐式特征的音乐生成模型。仿真结果表明,该音乐生成算法在使用相同风格的音乐数据训练后,得到的模型可以生成旋律与和弦匹配较好的多声部音乐数据。     

分裂合并运动分割的多运动视觉里程计方法

目的 视觉里程计（visual odometry,VO）仅需要普通相机即可实现精度可观的自主定位,已经成为计算机视觉和机器人领域的研究热点,但是当前研究及应用大多基于场景为静态的假设,即场景中只有相机运动这一个运动模型,无法处理多个运动模型,因此本文提出一种基于分裂合并运动分割的多运动视觉里程计方法,获得场景中除相机运动外多个运动目标的运动状态。方法 基于传统的视觉里程计框架,引入多模型拟合的方法分割出动态场景中的多个运动模型,采用RANSAC（random sample consensus）方法估计出多个运动模型的运动参数实例;接着将相机运动信息以及各个运动目标的运动信息转换到统一的坐标系中,获得相机的视觉里程计结果,以及场景中各个运动目标对应各个时刻的位姿信息;最后采用局部窗口光束法平差直接对相机的姿态以及计算出来的相机相对于各个运动目标的姿态进行校正,利用相机运动模型的内点和各个时刻获得的相机相对于运动目标的运动参数,对多个运动模型的轨迹进行优化。结果 本文所构建的连续帧运动分割方法能够达到较好的分割结果,具有较好的鲁棒性,连续帧的分割精度均能达到近100%,充分保证后续估计各个运动模型参数的准确性。本文方法不仅能够有效估计出相机的位姿,还能估计出场景中存在的显著移动目标的位姿,在各个分段路径中相机自定位与移动目标的定位结果位置平均误差均小于6%。结论 本文方法能够同时分割出动态场景中的相机自身运动模型和不同运动的动态物体运动模型,进而同时估计出相机和各个动态物体的绝对运动轨迹,构建出多运动视觉里程计过程。     

基于人体姿态估计与聚类的特定运动帧获取方法

运动视频中特定运动帧的获取是运动智能化教学实现的重要环节,为了得到视频中的特定运动 帧以便进一步地对视频进行分析,并利用姿态估计和聚类的相关知识,提出了一种对运动视频提取特定运动帧 的方法。首先选用 HRNet 姿态估计模型作为基础,该模型精度高但模型规模过大,为了实际运用的需求,对 该模型进行轻量化处理并与 DARK 数据编码相结合,提出了 Small-HRNet 网络模型,在基本保持精度不变的情 况下参数量减少了 82.0%。然后利用 Small-HRNet 模型从视频中提取人体关节点,将每一视频帧中的人体骨架特 征作为聚类的样本点,最终以标准运动帧的骨架特征为聚类中心,对整个视频进行聚类得到视频的特定运动帧, 在武术运动数据集上进行实验。该方法对武术动作帧的提取准确率为 87.5%,能够有效地提取武术动作帧。     

基于视频帧连贯信息的3维人体姿势优化估计方法

针对基于视频的3维人体姿态估计问题,传统方法是先估计出每帧图像中的3维人体姿态,再将估计结果按帧序排列,获得视频中的3维人体姿态.这种方法没有考虑连续帧间人体动作的连贯性,以及人体关节连接的空间一致性,估计结果中常会出现人体的高频抖动及动作的较大偏差.针对该问题,提出一种基于视频帧连贯信息的3维姿态优化估计方法.首先利用2维姿势估计结果优化人体3维关节点坐标,以减少抖动;其次引入前后帧关节点运动的逆向与正向预测,以保持动作连贯性;最后,加入骨骼连接约束,建立可保持人体动作轨迹光滑且优化前后关节连接结构一致的模型,实现对3维人体姿态的精确估计.在公共数据集MPI-INF-3DHP上的测试结果显示,与基准3维姿态估计方法相比,本文方法估计的关节点平均误差降低3.2％.在公共数据集3DPW上的测试结果显示,与未优化情形相比,加速误差降低44％.     

利用共享动态隐变量模型估计三维人体运动

可视媒体中的基于学习的三维人体运动分析是计算机视觉领域中非常有挑战性的课题.本文在Gauss动态隐变量模型与共享隐结构的基础上,给出一种新的共享动态隐变量模型用于三维人体运动跟踪.该模型针对高维非线性动态系统,可以计算出高维状态向量和高维观测向量的共享动态低维隐变量,同时也能计算出隐变量对高维状态向量、高维观测向量的双向映射、以及隐变量自身的动态关系.使用该模型可以将传统的高维人体运动估计分层为先估计低维隐变量状态,再重建高维人体运动.在实验结果中,用仿真图像序列与真实图像序列证明了方法的有效性.     

基于鲁棒背景运动补偿的运动目标检测算法*

提出一种用仿射参数模型来近似场景中摄像机的复杂运动,采用参数化的多分辨率估计方法鲁棒地估计出仿射参数;然后在当前帧与运动补偿后的帧之间求光流场,得到目标轮廓的初始分割;最后通过聚类和搜索填充算法分割出完整的目标.试验结果表明,该运动补偿算法能有效消除摄像机运动引起的背景运动,在摄像机运动情况下得到完整的目标.     

回声状态网络及其在图像边缘检测中的应用

循环神经网络（RNN,也称反馈神经网络）是一种重要的人工神经网络,与前馈神经网络相比具有更好的学习能力和更快的收敛速度,但其隐层结构的设计一直是个难点问题。回声状态网络（ESN）有效地解决了上述问题,相比于以前的循环神经网络,其具有结构独特、稳定性好、学习过程简单快捷等特点。介绍了回声状态网络及其学习方法,将其用于图像的边缘检测中,取得了良好的效果。     

18650型锂电池荷电状态的估计

锂电池状态的准确估计,能够延长电池的使用寿命和减少安全事故的发生。为提高BP神经网络估计锂电池荷电状态的精度,提出一种使遗传粒子群算法有目的性的优化BP神经网络初始权值的改进方法。该算法引入K均值算法优化遗传粒子群算法初始粒子分布的随机性带来的误差问题,寻找BP神经网络算法初始权值的权重分配与输出误差的关系,在遗传粒子群算法随机产生的粒子群中进行最优粒子群选优,以降低误差。通过对采集到的18650型锂电池的充放电数据和未改进遗传粒子群算法优化的BP神经网络训练产生的200组BP神经网络的初始权值数据的研究分析,得到具有锂电池特性的BP神经网络的初始权值特征公式。并用MATLAB和FPGA联合仿真验证了改进BP神经网络方法的可行性。该方法也优化了遗传粒子群算法,减小了初值不确定带来的误差。     

基于混合遗传算法的人体运动捕获数据关键帧提取

为实现基于最佳关键帧集合的人体运动的紧致表示,提出一种遗传算法与单纯形法结合的人体运动捕获数据关键帧提取方法。以重构误差最小化和压缩率最优为目标,定义适应度函数,度量重构运动与原始运动之间的重构误差,通过关节位置和关节速率加权计算,并考虑数据的运动特性。利用背景知识对初始种群的个体进行优化,保证进化的良好基础和种群的多样性。将遗传算法和局部搜索技术结合,提高算法运行效率和求解质量。实验结果表明,该方法能够高效地从运动捕获数据中提取出最优的关键帧集合,较好地满足运动数据的紧致表示,且能高质量重构其它帧。     

一种基于统计形状分析的运动人体识别方法

运动人体识别模式识别领域的研究热点。目标在运动过程中产生的时间域和空间域的形变可提供重要的识别信息。本文提出一种基于统计形状分析的识别方法,用Kendall形状模型来描述帧间提取的人体轮廓,并应用隐马尔科夫模型(HMM)来捕捉目标时空域上的形变信息。由于传统HMM框架下,隐藏状态与训练数据相互正交,给学习过程带来很大困难。由此提出一种非参数HMM模型,用非参数核密度估计算法来学习观测概率分布,以补偿随机隐藏状态造成的不确定性,优化了HMM训练过程。最后对此方法进行了实验分析。     

基于马尔可夫随机场的运动分割研究

运动对象的分割技术一直是图像处理和计算机视觉领域的重要研究课题。采用一种将运动估计方法与马尔可夫随机场（MRF）模型相结合的运动分割方法。采用鲁棒统计技术与误差模型相结合构成运动估计的目标函数,运动模型为仿射运动,通过过松弛算法获得每种运动的运动参数;根据误差最小原则确定运动对应区域的初值,采用马尔可夫随机场（MRF）模型对运动估计结果进行平滑去噪。最后给出了该方法在通用图像实例上的实验结果。     

基于遗传算法改进的一阶滞后滤波和长短期记忆网络的蓝藻水华预测方法

河湖藻类水华形成过程中所具有的突发性和不确定性,导致对藻类水华爆发预测准确性不高。为解决此问题,以叶绿素a的浓度值作为蓝藻水华演化过程表征指标,提出基于长短期记忆（LSTM）循环神经网络（RNN）蓝藻水华预测模型。首先,用遗传算法改进的一阶滞后滤波（GF）优化算法对数据进行平滑滤波处理;然后,搭建GF-LSTM网络的蓝藻水华预测模型,实现对水华发生的精准预测;最后,以太湖水域梅梁湖区域的采样数据为样本,对预测模型进行检验,并与传统的RNN和LSTM网络进行对比。仿真结果表明,提出的GF-LSTM网络模型平均相对误差控制在16%~18%,而RNN模型的预测平均相对误差为28%~32%,LSTM网络模型的平均相对误差为19%~22%,对采用数据的平滑性处理效果较好,预测精度更高,对样本具有更好的适应性,克服了传统RNN模型在长期训练时出现的梯度消失与梯度爆炸缺点。     

基于TDOA方法的无线传感器网络运动参数估计方法

采用移动目标与信标节点间的到达时间差(TDOA)测量,提出了移动目标运动参数包括初始位置及速度的共同估计方法。通过建立移动目标运动参数估计的优化模型,首先推导了移动目标初始位置及运动速度估计的非约束线性最小二乘(ULLS)法。然后将优化模型松弛为凸优化的半正定规划(SDP)问题,又设计了运动参数估计的SDP算法。仿真分析表明,TDOA方法能有效避免到达时间(TOA)测量的时钟同向误差,提高位置的估计精度。由于使用了约束条件,基于TDOA测量的SDP算法估计误差比ULLS算法的估计误差更小,但是计算复杂度较大。TDOA-ULLS和TDOA-SDP算法能有效减少时钟同向误差引起的估计误差,采样周期和采样点数量的增加也能有效提高估计精度。