基于超列注意力机制的京剧人物识别

为了克服京剧人物视觉特征提取的难点及满足京剧人物实时识别的需求,提出基于超列注意力机制的卷积神经网络（HCA-CNN）来实现面向京剧人物的细粒度特征提取和识别。该网络中用于关键区域定位的注意力机制借鉴了用于图像分割和细粒度定位的超列（HyperColumn）特征思想,通过超列集基于像素点的形式串联主干分类网络来形成多层叠加特征,从而更好地兼顾早期浅层空间特征与后期深度类别语义特征,并提高定位任务与主干网络分类任务的准确度。同时,该网络的主干网络采用轻量级的MobileNetV2,从而更好地满足视频应用场景下的实时性要求。此外,还创建了京剧人物（BJOR）数据集,并在此数据集上进行了相关消融实验。实验结果显示,HCA-CNN与传统细粒度循环注意力网络（RA-CNN）相比,除了在准确率（Accuracy）指标上提高了0.63个百分点以外,其内存使用量（Memory Usage）、参数量（Params）分别减少了162.84 MB、131.5 MB,乘加次数（Mult-Adds）、每秒浮点运算次数（FLOPs）分别减少了39 885×10⁶、51 886×10⁶。可见,针对京剧人物视觉特征提出的HCA-CNN能有效提高京剧人物识别的准确率和效率,满足实际应用的需求。     

基于前向纠错的自适应网络传输机制

针对无线网络中的传输控制协议（TCP）因为丢包触发丢包重传机制而导致传输性能大幅下降的问题,提出了一种基于前向纠错的自适应传输机制（AdaptiveFEC）。该机制通过前向纠错来减少数据段的丢失,以避免触发TCP的丢包重传机制,从而达到提升TCP传输性能的目的。首先,根据当前的网络状况以及当前连接的数据传输特征确定当前时间段中的最优冗余段比例;然后,利用TCP数据段中的数据段序号信息实时进行网络状况的估计,从而根据网络波动来动态更新冗余段比例。大量实验结果说明,在20 ms的往返时延以及5%丢包率的传输环境中,相较于静态的前向纠错机制,AdaptiveFEC能够使得TCP连接的传输速率平均提升42%,当运用在文件下载的应用中时,所提机制能够使得下载速度提升至原来的两倍。     

基于注意力机制的图像超分辨率重建

目前,单幅图像超分辨率重建取得了很好的效果,然而大多数模型都是通过增加网络层数来达到好的效果,并没有去发掘各通道之间的相关性。针对上述问题,提出了一种基于通道注意力机制（CA）和深度可分离卷积（DSC）的图像超分辨率重建方法。整个模型采用多路径模式的全局和局部残差学习,首先利用浅层特征提取块来提取输入图像的特征;然后,在深层特征提取块中引入通道注意力机制,通过调整各通道的特征图权重来增加通道相关性,从而提取高频特征信息;最后,重建出高分辨率图像。为了减少注意力机制带来的巨大参数影响,在局部残差块中使用了深度可分离卷积技术以大大减少训练参数,同时采用自适应矩估计（Adam）优化器来加速模型的收敛,从而提高了算法性能。该方法在Set5、Set14数据集上进行图像重建,实验结果表明不仅该方法重建的图像具有更高的峰值信噪比（PSNR）和结构相似度（SSIM）,而且所提模型的参数量减少为深度残差通道注意力网络（RCAN）模型的参数量的1/26。     

考虑恶劣天气的班轮多阶段重调度方法

受恶劣天气影响的船舶调度是一个非常复杂的优化问题,也是班轮公司重点关注的问题之一。为此,针对某航运网络上的一家班轮公司的所有营运船舶,以获知设计的多阶段重调度机制时段内最新预报的天气信息和这些船舶的实时位置为前提,重点考虑班轮船期表的限制并兼顾港口间航速变化和船舶容量等现实约束,构建了以固定计划期内所有船舶的航运总成本最小为优化目标的非线性数学模型,并设计了嵌入基因修复算子的改进遗传算法用于求解该模型。由此,可以给出集成租船直运、跨航线调船、反挂和货物中转等解决策略的最佳多阶段重调度方案。通过对大、中、小规模的算例进行实验,实验结果表明,可知与传统等待办法相比,多阶段重调度节约了总航运成本的15%以上,验证了所提模型和方案的有效性;与Cplex相比,改进遗传算法的运算效率大大提高,且偏差值均在5%以内,而与蚁群优化（ACO）算法、禁忌搜索（TS）算法、量子差分进化（QDE）算法相比,改进遗传算法能在有效时间内降低10%左右的成本,验证了算法的科学性。所提方法可为班轮公司的实际船舶调度提供参考。     

融合内容特征和时序信息的深度注意力视频流行度预测模型

针对视频流行度动态变化过程中的时序信息难以捕捉的问题,提出一种融合内容特征和时序信息的深度注意力视频流行度预测模型（DAFCT）。首先,根据用户的反馈信息,构建基于注意力机制的长短期记忆网络（Attention-LSTM）模型来捕捉流行趋势并挖掘时序信息;然后,采用神经网络因子分解机（NFM）处理多模态的内容特征,并采用嵌入技术对稀疏的高维特征进行降维处理,从而降低模型的计算复杂性;最后,采用concatenate方法融合时序信息和内容特征,并设计了一种深度注意力视频流行度预测（DAVPP）算法来求解DAFCT。实验结果表明,与Attention-LSTM模型和NFM模型相比,DAFCT的召回率分别提高了10.82和3.31个百分点,F1分数分别提高了9.80和3.07个百分点。     

基于时空注意力图卷积网络模型的人体骨架动作识别算法

针对现有的人体骨架动作识别算法不能充分发掘运动的时空特征问题,提出一种基于时空注意力图卷积网络（STA-GCN）模型的人体骨架动作识别算法。该模型包含空间注意力机制和时间注意力机制：空间注意力机制一方面利用光流特征中的瞬时运动信息定位运动显著的空间区域,另一方面在训练过程中引入全局平均池化及辅助分类损失使得该模型可以关注到具有判别力的非运动区域;时间注意力机制则自动地从长时复杂视频中挖掘出具有判别力的时域片段。将这二者融合到统一的图卷积网络（GCN）框架中,实现了端到端的训练。在Kinetics和NTU RGB+D两个公开数据集的对比实验结果表明,基于STA-GCN模型的人体骨架动作识别算法具有很强的鲁棒性与稳定性,与基于时空图卷积网络（ST-GCN）模型的识别算法相比,在Kinetics数据集上的Top-1和Top-5分别提升5.0和4.5个百分点,在NTURGB+D数据集的CS和CV上的Top-1分别提升6.2和6.7个百分点;也优于当前行为识别领域最先进（SOA）方法,如Res-TCN、STA-LSTM和动作-结构图卷积网络（AS-GCN）。结果表示,所提算法可以更好地满足人体行为识别的实际应用需求。     

基于改进CenterNet的竹条表面缺陷检测方法

在竹条表面缺陷检测中,竹条表面缺陷形状各异,成像环境脏乱,现有基于卷积神经网络（CNN）的目标检测模型面对这样特定的数据时并不能很好地发挥神经网络的优势;而且竹条来源复杂且有其他条件限制,因此没办法采集所有类型的数据,导致竹条表面缺陷数据量少到CNN不能充分学习。针对这些问题,提出一种专门针对竹条表面缺陷的检测网络。该网络的基础框架为CenterNet,而且为提高CenterNet在较少的竹条表面缺陷数据中的检测性能,设计了一种基于从零开始训练的辅助检测模块：在网络开始训练时,冻结采用预训练模型的CenterNet部分,并针对竹条的缺陷特点从零开始训练辅助检测模块;待辅助检测模块损失趋于稳定时,通过一种注意力机制的连接方式将该模块与采用预训练的主干部分进行融合。将所提检测网络与CenterNet以及目前常用于工业检测的YOLO v3在相同训练测试集上进行训练和测试。实验结果表明,所提检测网络的平均精度均值（mAP）在竹条表面缺陷检测数据集上比YOLO v3和CenterNet的mAP分别提高了16.45和9.96个百分点。所提方法能够针对形状各异的竹条表面缺陷进行有效检测,且没有增加过多的时耗,在实际工业运用中具有很好的效果。     

指针生成网络和覆盖损失优化的Transformer在生成式文本摘要领域的应用

针对生成式文本摘要应用场景,提出了以Transformer为基础的摘要模型,并在Transformer模型中加入了指针生成（Pointer Generator）网络和覆盖损失（Coverage Loss）进行优化。首先,提出了基于Transformer模型作为基础结构的方法,利用其注意力机制更好地捕捉上下文的语意信息。然后,在模型的损失函数中引入Coverage Loss来惩罚不断出现的重复的词的分布和覆盖范围,从而解决Transformer模型中的注意力机制在生成式任务中出现不断生成同一个词的问题。最后,在模型中加入了Pointer Generator网络,从而允许模型从源文本中复制词用作生成词来解决词表无法覆盖（OOV）的问题。探索了改进后的模型是否减少了不准确的表达以及重复出现相同词的现象是否得以解决。该模型相较于原始的Transformer模型在ROUGE-1评测函数上得分提升了1.98个百分点、ROUGE-2评测函数上得分提升0.95个百分点,在ROUGE-L评测函数上得分提升了2.27个百分点,并提升了摘要结果的可读性及准确性。实验结果表明,Transformer在加入Coverage Loss和Pointer Generator网络后可应用于生成式文本摘要领域。     

基于注意力机制的多层次编码和解码的图像描述模型

图像描述任务是图像理解的一个重要分支,它不仅要求能够正确识别图像的内容,还要求能够生成在语法和语义上正确的句子。传统的基于编码器-解码器的模型不能充分利用图像特征并且解码方式单一。针对这些问题,提出一种基于注意力机制的多层次编码和解码的图像描述模型。首先使用Faster R-CNN（Faster Region-based Convolutional Neural Network）提取图像特征,然后采用Transformer提取图像的3种高层次特征,并利用金字塔型的融合方式对特征进行有效融合,最后构建3个长短期记忆（LSTM）网络对不同层次特征进行层次化解码。在解码部分,利用软注意力机制使得模型能够关注当前步骤所需要的重要信息。在MSCOCO大型数据集上进行实验,利用多种指标（BLEU、METEOR、ROUGE-L、CIDEr）对模型进行评价,该模型在指标BLEU-4、METEOR和CIDEr上相较于Recall（Recall what you see）模型分别提升了2.5个百分点、2.6个百分点和8.8个百分点;相较于HAF（Hierarchical Attention-based Fusion）模型分别提升了1.2个百分点、0.5个百分点和3.5个百分点。此外,通过可视化生成的描述语句可以看出,所提出模型所生成的描述语句能够准确反映图像内容。     

基于阈值和极端随机树的实时跌倒检测方法

针对基于可穿戴设备的跌倒检测存在的实时性与准确性无法兼得的问题,提出一种阈值和极端随机树融合的实时跌倒检测方法。在该方法中,可穿戴设备只需计算阈值量,无需确保跌倒检测的准确率,从而减少了计算量;同时,上位机利用极端随机树算法确保了跌倒检测的准确率。可穿戴设备通过阈值的方法过滤了大部分日常动作,因此减少了上位机检测的动作数据量。这样一来所提方法既满足了跌倒检测的高准确率,又满足了实时性。另外,为了降低跌倒检测的假阳性率,可穿戴设备融合了姿态角度传感器和压力传感器,上位机中加入了反馈机制。当检测结果出现假阳性时,通过上位机将检测错误的样本加入非跌倒数据集中进行再训练,模型经过这样的不断学习会生成适合个人的报警模型,且这种反馈机制为降低跌倒检测的假阳性率提供了新思路。实验结果表明,在1 259个测试样本中,所提方法具有平均99.7%的准确率,最低0.08%的假阳性率。