基于CruiseControl的持续集成实现方案

软件的开发过程决定着软件质量。在任何软件开发过程中都有一个重要的组成部分：得到可靠的软件创建版本。在分析传统集成模式的弊端基础上,提出采用持续集成的观点。阐明了持续集成的基础理论以及与持续集成相关的常见的误区和概念。分析了持续集成工具CruiseControl工作原理,最后提出了一种基于CruiseControl的持续集成实现方案。     

基于类间排名相关性的解耦知识蒸馏

知识蒸馏(KD)从提出到现在已经取得了很大的成功,不过很多蒸馏策略都是把目光放在了中间层的特征,反而忽略了logit蒸馏的可发展性。解耦知识蒸馏(DKD)的提出使得logit蒸馏重回大众视野。不论是知识蒸馏还是解耦知识蒸馏,都是使用了强一致性约束条件从而导致蒸馏效果次优,特别是在教师网络和学生网络架构悬殊时这种现象尤为突出。针对这个问题,提出了基于类间排名关系一致性的方法。该方法保留教师和学生非目标类预测间的关系,利用类间的排名相关性作为知识蒸馏模型中代理损失和评价指标之间的关系,从而进行教师网络与学生网络的关系匹配。该方法把这种较为轻松的关系匹配扩展到解耦知识蒸馏中,并在数据集CIFAR-100和ImageNet-1K进行验证。实验结果表明,该方法对于CIFAR-100的分类准确率达到了77.38%,比基准方法提高了0.93百分点,提高了解耦知识蒸馏图像分类的效果,证明了方法的有效性。同时,对比实验的结果证明该方法更具有竞争力。     

正交约束多头自注意力的场景文本识别

目的 场景文本识别（scene text recognition，STR）是计算机视觉中的一个热门研究领域。最近，基于多头自注意力机制的视觉Transformer （vision Transformer，ViT）模型被提出用于STR，以实现精度、速度和计算负载的平衡。然而，没有机制可以保证不同的自注意力头确实捕捉到多样性的特征，这将导致使用多头自注意力机制的ViT模型在多样性极强的场景文本识别任务中表现不佳。针对这个问题，提出了一种新颖的正交约束来显式增强多个自注意力头之间的多样性，提高多头自注意力对不同子空间信息的捕获能力，在保证速度和计算效率的同时进一步提高网络的精度。方法 首先提出了针对不同自注意力头上Q （query）、K （key）和V （value）特征的正交约束，这可以使不同的自注意力头能够关注到不同的查询子空间、键子空间、值子空间的特征，关注不同子空间的特征可以显式地使不同的自注意力头捕捉到更具差异的特征。还提出了针对不同自注意力头上Q 、K 和V 特征线性变换权重的正交约束，这将为Q、K和V特征的学习提供正交权重空间的解决方案，并在网络训练中带来隐式正则化的效果。结果 实验在7个数据集上与基准方法进行比较，在规则数据集Street View Text （SVT）上精度提高了0.5%；在不规则数据集CUTE80 （CT）上精度提高了1.1%；在7个公共数据集上的整体精度提升了0.5%。结论 提出的即插即用的正交约束能够提高多头自注意力机制在STR任务中的特征捕获能力，使ViT模型在STR任务上的识别精度得到提高。本文代码已公开： https：//github.com/lexiaoyuan/XViTSTR。