用于骨架行为识别的多维特征嵌合注意力机制

目的 在行为识别任务中,妥善利用时空建模与通道之间的相关性对于捕获丰富的动作信息至关重要。尽管图卷积网络在基于骨架信息的行为识别方面取得了稳步进展,但以往的注意力机制应用于图卷积网络时,其分类效果并未获得明显提升。基于兼顾时空交互与通道依赖关系的重要性,提出了多维特征嵌合注意力机制(multi-dimensional feature fusion attention mechanism, M2FA)。方法 不同于现今广泛应用的行为识别框架研究理念,如卷积块注意力模块(convolutional block attention module, CBAM)、双流自适应图卷积网络(two-stream adaptive graph convolutional network, 2s-AGCN)等,M2FA通过嵌入在注意力机制框架中的特征融合模块显式地获取综合依赖信息。对于给定的特征图,M2FA沿着空间、时间和通道维度使用全局平均池化操作推断相应维度的特征描述符。特征图使用多维特征描述符的融合结果进行过滤学习以达到细化自适应特征的目的,并通过压缩全局动态信息的全局特征分支与仅使用逐点卷积层的局...     

区域增强和多特征融合的X光图像违禁品识别

目的 对旅客行李进行安全检查是维护公共安全的措施之一,安检智能化是未来的发展方向。基于X光图像的安检因不同的安检机成像方式不同,同一类违禁品在不同设备上的X光图像在颜色分布上有很大差异,导致安检图像智能识别算法在训练与测试数据分布不同时,识别性能明显降低,同时X光行李图像中物品的混乱复杂增加了违禁品识别的难度。针对上述问题,本文提出一种区域增强和多特征融合模型。方法 首先,通过注意力机制的思想提取一种区域增强特征,消除颜色分布不同的影响,保留图像整体结构并增强违禁品区域信息。然后,采用多特征融合策略丰富特征信息,使模型适用于图像中物品混乱复杂情况。最后,提出一种三元损失函数优化特征融合。结果 在公开数据集SIXray数据集上进行整体识别性能和泛化性能的实验分析,即测试本文方法在相同和不同颜色分布样本上的性能。在整体识别性能方面,本文方法在平均精度均值(mean average precision,mAP)上相较于基础模型ResNet18和ResNet34分别提升了4.09%和2.26%,并优于一些其他识别方法。对于单类违禁品,本文方法在枪支和钳子类违禁品上的平均识别精度为94.25%和...     

多级特征引导网络的红外与可见光图像融合

目的 以卷积神经网络为基础的深度学习技术在图像融合方面表现出优越的性能。在各类图像融合领域,红外与可见光的图像融合应用十分广泛,这两种图像各自的特性十分鲜明,二者信息交互融合得到的融合图像具有显著的价值和意义。为了提高红外与可见光图像的融合质量,本文提出了一种多级特征引导网络的融合框架。方法 本文框架中编码器用于提取源图像的特征,并将多级特征引导至解码器中对融合结果进行重建。为了有效地训练网络,设计了一种混合损失函数。其中,加权保真项约束融合结果与源图像的像素相似度,而结构张量损失鼓励融合图像从源图像中提取更多的结构特征,为了有效进行多尺度信息交互,不同于普通的编解码结构,本文方法在编码器每一层的每一部分均进行特征引导,在编码部分采用池化对尺寸进行缩小,解码采用上采样将尺寸放大,实现多尺度融合与重建,有效弥补了训练过程中卷积层数的堆叠导致的信息的丢失,在编码部分适时地对特征进行引导,及时地与解码层进行融合,在网络结构构建完成后,提出一种损失融合算法,从红外图像和可见光图像各自特点出发,分别设计基于视觉显著性权值估计的2范数损失和基于结构张量的F范数损失。结果 为了说明融合方法的可行性,...     

融合边界信息的高分辨率遥感影像分割优化算法

目的 针对目前区域分割算法获取的区域边界与真实地物边界不一致问题,利用高分辨率遥感影像地物内具有均质性和地物间边缘信息突出的特点,提出一种融合边界信息的高分辨率遥感影像分割优化算法。方法 首先采用Canny算法对遥感影像进行边缘提取并进行边缘连接处理,产生闭合边界;然后将边界与初始分割结果进行融合处理,获得新的分割结果;最后在闭合边界约束下,基于灰度相似性准则对新的分割结果进行区域合并,获得优化后的最终分割结果。结果 采用本文提出的分割优化算法对Mean Shift算法和eCognition软件获得的分割结果进行优化处理,优化后的分割结果与初始分割结果相比正确分割率（RR）平均提高了4%,验证了本文算法的有效性。结论 该优化算法适用性广,可优化基于区域、基于边界和基于聚类等多种分割方法,同时该算法既能保持高分辨率遥感影像分割的区域完整性,又能保持地物边缘细节特征,提高了分割精度。     

快速离散Curvelet变换域的图像融合

目的单一图像往往难以捕获一个场景下所有的细节信息,针对这一问题,可以通过多传感器或同一传感器的不同方式来获取多幅图像,然后通过图像融合技术将获得的多幅图像进行融合。为了提高图像融合的质量,提出一种基于快速离散Curvelet变换(FDCT)的图像融合新方法。方法不同于以往的方法,提出一组新的融合规则。分别采用基于局部能量和改进拉普拉斯能量和的方法,通过对FDCT分解得到的低频和高频系数进行系数选择,然后对得到的融合系数进行FDCT逆变换重构得到融合图像。结果通过对大量的多模态医学图像、红外可见光图像以及多聚焦图像进行图像融合实验,无论是运用视觉的主观评价,还是均值、标准差、信息熵以及边缘信息保持度等客观评价标准,本文方法都优于传统的基于像素平均、小波变换、FDCT以及双边梯度等融合方法。结论对比现有的方法,本文方法对多模态和多聚焦等形式的图像融合都表现出优越的融合性能。     

Distributed fusion Kalman filtering under binary sensors

Binary sensors are special sensors that only transmit one‐bit information at each time and have been widely applied to environmental awareness and medical monitoring. This paper is concerned with the distributed fusion Kalman filtering problem for a class of binary sensor systems. A novel uncertainty approach is proposed to better extract valid information from binary sensors at switching instant. By minimizing a local estimation error covariance, the local robust Kalman estimates are firstly obtained. Then, the distributed fusion Kalman filter is designed by resorting to the covariance intersection fusion criterion. Finally, a blood oxygen content model is employed to show the effectiveness of the proposed methods.     

基于改进粒子群优化的一致贴近度信息融合算法

贴近度表达了传感器的模糊测量,对信息融合的精确度有着至关重要的影响.用一致可靠测度来描述传感器的模糊测量,提出基于粒子群优化的一致贴近度融合算法,该算法建立了多目标可靠测度的数据模型,并定义多只传感器问的贴近度,利用改进的粒子群算法客观地确定模型中各种权值,根据一致可靠测度给出最终的融合算法,实例验证了算法的有效性.     

System Reduction and Solution Algorithms for Singular Linear Difference Systems under Rational Expectations

A first-order linear difference system under rational expectations is, AEy_t+1|I_t=By_t+C(F)Ex_t|I_t , where y_t is a vector of endogenous variables;x_t is a vector ofexogenous variables; Ey_t+1|I_t is the expectation ofy_t+1 givendate t information; and C(F)Ex_t|I_t =C₀x_t+C₁Ex_t+1|I_t+dot;s +C_nEx_t+n|I_t. If the model issolvable, then y_t can be decomposed into two sets of variables:dynamicvariables d_t that evolve according toEd_t+1|I_t = Wd_t + ¶si_d(F)Ex_t|I_t and other variables thatobey the dynamicidentities f_t =–Kd_t–¶si_f(F)Ex_t|I_t. We developan algorithm for carrying out this decomposition and for constructing theimplied dynamic system. We also provide algorithms for (i) computing perfectforesight solutions and Markov decision rules; and (ii) solutions to relatedmodels that involve informational subperiods.     

Multi-sensor optimal information fusion Kalman filter

This paper presents a new multi-sensor optimal information fusion criterion weighted by matrices in the linear minimum variance sense, it is equivalent to the maximum likelihood fusion criterion under the assumption of normal distribution. Based on this optimal fusion criterion, a general multi-sensor optimal information fusion decentralized Kalman filter with a two-layer fusion structure is given for discrete time linear stochastic control systems with multiple sensors and correlated noises. The first fusion layer has a netted parallel structure to determine the cross covariance between every pair of faultless sensors at each time step. The second fusion layer is the fusion center that determines the optimal fusion matrix weights and obtains the optimal fusion filter. Comparing it with the centralized filter, the result shows that the computational burden is reduced, and the precision of the fusion filter is lower than that of the centralized filter when all sensors are faultless, but the fusion filter has fault tolerance and robustness properties when some sensors are faulty. Further, the precision of the fusion filter is higher than that of each local filter. Applying it to a radar tracking system with three sensors demonstrates its effectiveness.     

多传感器信息融合技术及其在机器人中的应用

多传感器信息融合技术是近年发展起来的一门新兴技术,在机器人领域有着广阔的应用前景。通过融合多个传感器提供的冗余、互补或更实时的信息,可以获得系统所需的更准确和更精确的信息。主要论述了多传感器信息融合的一般方法,并对其在机器人领域的应用进行了介绍。最后指出多传感器信息融合技术在微传感器、智能传感器和自适应融合等方面的发展方向。     

多源融合SLAM的现状与挑战

同时定位与地图构建(simultaneous localization and mapping,SLAM)技术在过去几十年中取得了惊人的进步,并在现实生活中实现了大规模的应用。由于精度和鲁棒性的不足,以及场景的复杂性,使用单一传感器(如相机、激光雷达)的SLAM系统往往无法适应目标需求,故研究者们逐步探索并改进多源融合的SLAM解决方案。本文从3个层面回顾总结该领域的现有方法:1)多传感器融合(由两种及以上传感器组成的混合系统,如相机、激光雷达和惯性测量单元,可分为松耦合、紧耦合);2)多特征基元融合(点、线、面、其他高维几何特征等与直接法相结合);3)多维度信息融合(几何、语义、物理信息和深度神经网络的推理信息等相融合)。惯性测量单元和视觉、激光雷达的融合可以解决视觉里程计的漂移和尺度丢失问题,提高系统在非结构化或退化场景中的鲁棒性。此外,不同几何特征基元的融合,可以大大减少有效约束的程度,并可为自主导航任务提供更多的有用信息。另外,数据驱动下的基于深度学习的策略为SLAM系统开辟了新的道路。监督学习、无监督学习和混合监督学习等逐渐应用于SLAM系统的各个模块,如相对姿势估计、地图表...     

基于模糊偏序关系评估决策的智能信息融合

针对信息融合系统应综合考虑获取信息所要求的资源、计算复杂度和时间所需要的最小成本的问题,提出了基于模糊偏序关系评估决策的智能信息融合系统,利用模糊偏序关系的排序方法,来对传感器进行评估决策和智能选择,并与证据理论相组合,应用于目标识别,仿真结果表明了该方法的有效性。     

快速信息融合Kalman滤波器

应用现代时间序列分析方法,在标量加权线性最小方差融合准则下,提出一种多传感器快速信息融合稳态Kalman滤波器.基于ARMA新息模型计算稳态Kalman滤波器增益,提出了计算传感器之间的滤波误差方差阵和协方差阵的Lyapunov方程,它可用迭代法求解,并证明了迭代解的指数收敛性.与基于Riccati方程按矩阵加权的信息融合Kalman滤波器相比,可明显减小计算负担,便于实时应用,可用于设计含未知噪声统计系统的信息融合自校正Kalman滤波器.最后以目标跟踪系统的一个仿真例子说明了其有效性.     

多特征分层融合的相关滤波鲁棒跟踪

目的 为提高目标跟踪的鲁棒性,针对相关滤波跟踪中的多特征融合问题,提出了一种多特征分层融合的相关滤波鲁棒跟踪算法。方法 采用多通道相关滤波跟踪算法进行目标跟踪时,从目标和周围背景区域分别提取HOG（histogram of oriented gradient）、CN（color names）和颜色直方图3种特征。提出的分层融合算法首先采用自适应加权融合策略进行HOG和CN特征的特征响应图融合,通过计算特征响应图的平滑约束性和峰值旁瓣比两个指标得到融合权重。将该层融合结果与基于颜色直方图特征获得的特征响应图进行第2层融合时,采用固定系数融合策略进行特征响应图的融合。最后基于融合后的响应图估计目标的位置,并采用尺度估计算法估计得到目标更准确的包围盒。结果 采用OTB-2013（object tracking benchmark 2013）和VOT-2014（visual object tracking 2014）公开测试集验证所提跟踪算法的性能,在对多特征分层融合参数进行分析的基础上,与5种主流基于相关滤波的目标跟踪算法进行了对比分析。实验结果表明,本文算法的目标跟踪精度有所提高,其跟踪精度典型值比Staple算法提高了5.9%（0.840 vs 0.781）,同时由于有效地融合了3种特征,在多种场景下目标跟踪的鲁棒性优于其他算法。结论 提出的多特征分层融合跟踪算法在保证跟踪准确率的前提下,跟踪鲁棒性优于其他算法。当相关滤波跟踪算法采用了多个不同类型特征时,本文提出的分层融合策略具有一定的借鉴性。     

双尺度分解和显著性分析相结合的红外与可见光图像融合

目的 针对图像融合中存在的目标信息减弱、背景细节不清晰、边缘模糊和融合效率低等不足,为了充分利用源图像的有用特征,将双尺度分解与基于视觉显著性的融合权重的思想融合在一起,提出了一种基于显著性分析和空间一致性的双尺度图像融合方法。方法 利用均值滤波器对源图像进行双尺度分解,先后得到源图像的基层图像信息和细节层图像信息;对基层图像基于加权平均规则融合,对细节层图像先基于显著性分析得到初始权重图,再利用引导滤波优化得到的最终权重图指导加权;通过双尺度重建得到融合图像。结果 根据传统方法与深度学习的不同特点,在TNO等公开数据集上从主观和客观两方面对所提方法进行评价。从主观分析来看,本文方法可以有效提取和融合源图像中的重要信息,得到融合质量高、视觉效果自然清晰的图像。从客观评价来看,实验验证了本文方法在提升融合效果上的有效性。与各种融合结果进行量化比较,在平均梯度、边缘强度、空间频率、特征互信息和交叉熵上的平均精度均为最优;与深度学习方法相比,熵、平均梯度、边缘强度、空间频率、特征互信息和交叉熵等指标均值分别提升了6.87%、91.28%、91.45%、85.10%、0.18%和45.45%。结论 实验结果表明,所提方法不仅在目标、背景细节和边缘等信息的增强效果显著,而且能快速有效地利用源图像的有用特征。     

Fusing navigation and vision information with the Transferable Belief Model: Application to an intelligent speed limit assistant

The present paper focuses on the fusion, based on imprecise and uncertain information, between a Geographic Information System (GIS) and a Speed Limit Sign Recognition System (SLSRS), performed on camera images. This study is dedicated to the development of a Speed Limit Assistant (SLA) in the context of vehicle driving aid. The proposed SLA is developed within the Evidence Theory framework. The information from the sources is interpreted as belief functions using a non-antagonistic basic belief assignment (bba) in the Transferable Belief Model (TBM) semantics. This bba ensures that the conflict which could appear after the global fusion is exclusively due to source discordances. The present paper proposes a way to manage these discordances by formalizing a conflict-related constraint decision rule. As far as the application is concerned, a two-level (decentralized) fusion architecture is developed. The sensor relevancy is estimated in a first step, followed by the GIS intra-sensor fusion with a maximum of Credibility decision which determines the context-compliant speed candidate considering the road information given by the digital map. This allows the detection of possible errors of the GIS. The multi-sensor fusion then combines the GIS and SLSRS information considering that the sensors are independent and specialized in one speed, each. For the decision, two strategies are adopted. The first one considers the conflict as a threshold for the final speed selection, and so allows the SLA to stay undecided in case of highly conflicting situations. The second strategy employs the 5th version of the Proportional Conflict Redistribution operator. The SLA has been tested in simulation and in real-time experiments by qualitative and quantitative performance evaluations.     

PCA与移动窗小波变换的高光谱决策融合分类

目的 高光谱数据具有较高的谱间分辨率和相关性,给分类处理带来了一定的困难.为了提高分类精度,提出一种结合PCA与移动窗小波变换的高光谱决策融合分类算法.方法 首先,利用相关系数矩阵对原始高光谱数据进行波段分组;然后,利用主成分分析对每组数据进行谱间降维;再根据提出的移动窗小波变换法进行空间特征提取;最后,采用线性意见池(LOP)决策融合规则对多分类器的分类结果进行融合.结果 采用两组来自不同传感器的数据进行实验,所提算法的分类精度和Kappa系数均高于已有的5种分类算法.与SVM-RBF算法相比,本文算法的分类精度高出了8％左右.结论 实验结果表明,本文算法充分挖掘了高光谱图像的谱间-空间信息,能有效提高分类正确率,在小样本情况下和噪声环境中也具有良好的分类性能.     

多目标粒子群优化PCNN参数的图像融合算法

目的 脉冲耦合神经网络（PCNN）在图像融合上往往因为参数设置问题而达不到最佳效果,为了提高图像融合的质量,提出了一种基于多目标粒子群优化PCNN参数的图像融合算法。方法 首先用多目标粒子群对PCNN模型参数进行优化得到最优PCNN参数模型,然后利用双复树小波（DTCWT）对图像多尺度分解,将高频分量通过优化好的PCNN模型进行高频融合,低频分量通过拉普拉斯分量绝对和（SML）来进行低频融合,最后通过DTCWT逆变换实现图像的融合。结果 分别与DTCWT,拉普拉斯金字塔变换（LP）以及非下采样Contourlet变换（NSCT）进行实验对比,融合图像Clock,Lab的融合结果在客观指标上的互信息（8.062 3,7.908 5）、图像的品质因数（0.716 2,0.714 2）和标准差（51.213,47.671）都优于其他方法,熵和其他方法差不多,融合结果能够获得更好的视觉效果以及较大的互信息值和边缘信息保留值。结论 该方法有较好融合图像的能力,可适用于计算机视觉、医学、遥感等领域。     

PSO-BP网络模型在温室数据融合中的应用研究

由于温室的众多要素之间是相互制约、互相配合的,为了形成一个准确、合理的判断,将PSO算法的全局优化能力和BP神经网络良好的非线性映射能力相结合,优化BP神经网络的权值和阈值,提出了一种基于PSO的BP网络数据融合算法,并利用该算法对温室多传感器(温度传感器、湿度传感器和光照度传感器)同时检测到的数据进行融合。仿真结果表明:基于PSO-BP网络的数据融合算法能够获得温室准确有效的信息,提高温室控制的有效性与准确性。     

Space and time sensor fusion using an active camera for mobile robot navigation

We propose a sensor-fusion technique where the data sets for previous moments are properly transformed and fused into the current data sets to allow accurate measurements, such as the distance to an obstacle or the location of the service robot itself. In conventional fusion schemes, measurements are dependent on the current data sets. As a result, more sensors are required to measure a certain physical parameter or to improve the accuracy of a measurement. However, in this approach, instead of adding more sensors to the system, the temporal sequences of the data sets are stored and utilized to improve the measurements. The theoretical basis is illustrated by examples, and the effectiveness is proved through simulations. Finally, the new space and time sensor fusion (STSF) scheme is applied to the control of a mobile robot in an unstructured environment and a structured environment.This work was presented in part at the 8th International Symposium on Artificial Life and Robotics, Oita, Japan, January 24–26, 2003