Siamese visual tracking with multilayer feature fusion and corner distance IoU loss

The tracker based on the Siamese network regards tracking tasks as solving a similarity problem between the target template and search area. Using shallow networks and offline training, these trackers perform well in simple scenarios. However, due to the lack of semantic information, they have difficulty meeting the accuracy requirements of the task when faced with complex backgrounds and other challenging scenarios. In response to this problem, we propose a new model, which uses the improved ResNet-22 network to extract deep features with more semantic information. Multilayer feature fusion is used to obtain a high-quality score map to reduce the influence of interference factors in the complex background on the tracker. In addition, we propose a more powerful Corner Distance IoU (intersection over union) loss function so that the algorithm can better regression to the bounding box. In the experiments, the tracker was extensively evaluated on the object tracking benchmark data sets, OTB2013 and OTB2015, and the visual object tracking data sets, VOT2016 and VOT2017, and achieved competitive performance, proving the effectiveness of this method.     

基于联合优化的强耦合孪生区域推荐网络的目标跟踪算法

针对区域推荐网络（RPN）在目标跟踪任务中出现的最大分类分数与最佳边框不匹配的问题，提出一种基于联合优化的强耦合孪生区域推荐跟踪算法（SCSiamRPN）。首先，采用Bounded IoU方法来优化正样本交并比（IoU）值的计算，通过分解公式、固定变量、替换差值和约束近似的操作来简化计算过程。然后，优化损失函数结构，通过在分类损失函数中添加以IoU值为纽带的耦合因子来联合分类任务和边框回归任务，以提升高IoU样本的损失值；通过在边框回归损失函数中添加以IoU为主变量的加权系数来提高目标中心样本的贡献，以提升边框定位精度。仿真结果显示：SCSiamRPN算法在OTB100数据集上的精度和成功率为0.86和0.64；同基于孪生区域推荐候选网络的高性能单目标跟踪（SiamRPN）算法相比，均有3%的提升。实验结果表明：SCSiamRPN算法解决了最大分类分数与最佳边框不匹配的问题，增强了分类和边框回归任务的耦合性，且在不损失跟踪速度的前提下实现了跟踪精度的较大幅度提升。     

ST-Rec3D：基于结构和目标感知的三维重建

基于视图的三维重建旨在从二维图像恢复出其对应的三维形状。现有方法主要通过编码器-解码器结构,结合二元交叉熵函数及其变形,完成三维重建,取得较好的重建结果。然而,编码器在编码过程中缺乏对输入视图的结构感知能力,造成重建的三维模型几何细节不准确;以二元交叉熵函数为主的损失函数在体素分布不均衡的情况下,目标感知能力较差,导致其重建结果存在断裂、缺失等不完整性问题。针对此类问题,提出了一种具有结构和目标感知能力的三维重建网络(ST-Rec3D),以单视图或多视图为输入,由粗到细地重建出三维模型;结合注意力机制提出了一种具有空间结构感知能力的编码器,即结构编码器,以充分捕捉输入视图中的空间结构信息,有效感知重建物体的几何细节;将 IoU 损失引入到三维体素模型重建中,在体素分布不均衡的情况下,精准感知目标物体,确保重建物体的完整性和准确性。在 ShapeNet和 Pix3D 数据集上的对比结果表明,ST-Rec3D 在单视图和多视图上重建的三维模型的完整性和准确性均优于当前方法。     

基于联合优化的强耦合孪生区域推荐网络的目标跟踪算法

针对区域推荐网络（RPN）在目标跟踪任务中出现的最大分类分数与最佳边框不匹配的问题,提出一种基于联合优化的强耦合孪生区域推荐跟踪算法（SCSiamRPN）。首先,采用Bounded IoU方法来优化正样本交并比（IoU）值的计算,通过分解公式、固定变量、替换差值和约束近似的操作来简化计算过程。然后,优化损失函数结构,通过在分类损失函数中添加以IoU值为纽带的耦合因子来联合分类任务和边框回归任务,以提升高IoU样本的损失值;通过在边框回归损失函数中添加以IoU为主变量的加权系数来提高目标中心样本的贡献,以提升边框定位精度。仿真结果显示：SCSiamRPN算法在OTB100数据集上的精度和成功率为0.86和0.64;同基于孪生区域推荐候选网络的高性能单目标跟踪（SiamRPN）算法相比,均有3%的提升。实验结果表明：SCSiamRPN算法解决了最大分类分数与最佳边框不匹配的问题,增强了分类和边框回归任务的耦合性,且在不损失跟踪速度的前提下实现了跟踪精度的较大幅度提升。     

基于改进的Mask R-CNN的染色体图像分割框架

针对染色体图像的人工分割耗时费力且当前自动分割方法精度不佳的问题,基于改进的Mask R-CNN提出了一种染色体图像分割框架——Mask Oriented R-CNN,引入方向信息对染色体图像进行实例分割。首先,新增有向包围框回归分支,以预测紧实包围框并获取方向信息;然后,提出新的交并比（IoU）度量——角度加权交并比（AwIoU）,从而结合方向信息与边的关系以改进冗余包围框的判据;最后,实现有向卷积通路结构,通过拷贝掩模分支通路并依据实例的方向信息选择训练路径来减少掩模预测中的干扰。实验结果表明,相较于基准模型Mask R-CNN,Mask Oriented R-CNN在IoU阈值为0.5时的平均精度均值指标提升了10.22个百分点,IoU阈值为0.5~0.95时的平均指标提升了4.91个百分点。研究结果显示,Mask Oriented R-CNN框架相较于基准模型取得了更好的染色体图像分割结果,有助于实现染色体图像自动分割。     

基于改进边界框回归损失的YOLOv3检测算法

YOLOv3检测算法中的边界框回归损失函数对边界框尺度敏感,且与算法检测效果评价标准交并比（IoU）之间的优化不具有强相关性,无法准确反映真值框与预测框之间的重叠情况,造成收敛效果不佳。针对上述问题,提出基于IoU的改进边界框回归损失算法BR-IoU。将IoU作为边界框回归损失函数的损失项,使不同尺度的边界框在回归过程中获得更均衡的损失优化权重。在此基础上,通过添加惩罚项最小化预测框与真值框中心点间围成的矩形面积,并提高预测框与真值框之间宽高比的一致性,从而优化边界框的回归收敛效果。在PASCAL VOC和COCO数据集上的实验结果表明,在不影响实时性的前提下,BR-IoU能够有效提高检测精度,采用BR-IoU的YOLOv3算法在PASCAL VOC 2007测试集上mAP较原YOLOv3算法和G-YOLO算法分别提高2.5和1.51个百分点,在COCO测试集上分别提高2.07和0.66个百分点。     

基于改进的Faster R-CNN的通用目标检测框架

针对当前基于深度学习的检测器不能有效检测形状不规则或长宽相差悬殊的目标的问题,在传统Faster R-CNN算法的基础上,提出了一个改进的二阶段目标检测框架——Accurate R-CNN。首先,提出了新的交并比（IoU）度量——有效交并比（EIoU）,通过提出中心度权重来降低训练数据中冗余包围框的占比。然后,提出了一个上下文相关的特征重分配模块（FRM）,通过建模目标的远程依赖和局部上下文关系信息对特征进行重编码,以弥补池化过程中的形状信息损失。实验结果表明,在微软多场景通用目标（MS COCO）数据集上,对于包围框检测任务,当使用深度为50和101的残差网络（ResNet）作为骨干网络时,Accurate R-CNN比基线模型Faster R-CNN的平均精度（AP）分别提高了1.7个百分点和1.1个百分点,超越了使用同样骨干网络的基于掩膜的检测器。在添加掩膜分支后,对于实例分割任务,当使用两种不同深度的ResNet作为骨干网络时,Accurate R-CNN比Mask R-CNN的掩膜平均精度分别提高了1.2个百分点和1.1个百分点。研究结果显示,相较于基线模型,Accurate R-CNN在不同数据集、不同任务上均取得了更好的检测效果。     

基于Faster R-CNN和IoU优化的实验室人数统计与管理系统

针对人员位置相对固定的场景中实时人数统计的管理需求，以普通高校实验室为例，设计并实现了一套基于更快速的区域卷积神经网络（Faster R-CNN）和交并比（IoU）优化的实验室人数统计与管理系统。首先，使用Faster R-CNN模型对实验室内人员头部进行检测；然后，根据模型检测的输出结果，利用IoU算法滤去重复检测的目标；最后，采用基于坐标定位的方法确定实验室内各个工作台是否有人，并将相对应的数据存入数据库。该系统主要功能有：①实验室实时视频监控及远程管理；②定时自动拍照检测采集数据，为实验室的量化管理提供数据支撑；③实验室人员变化数据查询与可视化展示。实验结果表明，所提基于Faster R-CNN和IoU优化的实验室人数统计与管理系统可用于办公场景中实时人数统计和远程管理。     

各向异性非极大值抑制在工业目标检测中的应用

在某些固定的工业应用场景中,对目标检测算法的漏检容忍性非常低。然而,提升召回率的同时,目标周围容易规律性地产生一些无重叠的虚景框。传统的非极大值抑制（NMS）策略主要作用是抑制同一目标的多个重复检测框,无法解决上述问题。为此设计了一种各向异性NMS方法来对目标周围不同方向采取不同的抑制策略,从而有效消除规律性的虚景框。固定的工业场景中的目标形状和规律的虚景框往往具有一定关联性。为了促进各向异性NMS在不同方向的精确执行,设计了一种比例交并比（IoU）损失函数用来引导模型拟合目标的形状。此外,针对规则目标使用了一种自动标注的数据集增广方法,在降低人工标注工作量的同时扩大了数据集规模。实验结果表明,所提方法在轧辊凹槽检测数据集上的效果显著,应用于YOLO系列算法时在不降低速度的同时提升了检测精度。目前该算法已成功应用于某冷轧厂轧辊自动抓取的生产线。     

改进的多目标回归实时人脸检测算法

针对物体检测实时多目标回归算法中分别优化各四个位置参数，割裂了四个位置变量之间的关系，造成对物体的边框回归不够准确且训练不易收敛的问题，提出一种带检测评价函数（Intersection over Union，IoU）作为损失函数的实时多目标回归人脸检测算法。首先基于Redmond等提出实时多目标回归模型，采用该模型检测实时性的机制，然后融合了IoU函数作为位置参数的损失函数，将实时多目标回归模型中的四个独立位置参数整合成一个单元进行优化，避免了基础模型的缺陷。算法在人脸检测基准库FDDB上进行测试，实验结果表明：在人脸检测的有效性上优于主流的传统人脸检测算法，检测速度上领先于其他经典深度学习方法。提出的算法在检测人脸的有效性和检测速度两者之间取得了一个较好的平衡，为构建实用的人脸相关应用系统提供了参考价值。