一种具有听觉功能的智能视频监控系统

基于图像的智能视频监控系统由于视角有限,当目标不在摄像头视场范围时,易出现监控盲区,为了解决该难题,利用声源定位的优点,提出一种具有听觉功能的智能视频监控系统。首先采集传声器线性阵列,采用时延估计技术对声源进行定位,然后根据声源位置驱动摄像头,使其转动到声源位置并采集视频信息,最后采用图像检测程序对目标进行实时定位和跟踪,并通过仿真测试验证该系统的可行性,结果表明,该系统具有较好的定位和跟踪精度。     

基于Kinect的声源定位时延获取及算法性能研究

声源定位已广泛地应用于视频会议和语音控制系统中,针对传统的声源定位系统中采集电路采集到的声音信号易受噪音和混响的影响,提出采用运动传感输入设备Kinect中集成的小型线性麦克风阵列采集音频信号,通过Kinect采集四通道音频信号,并应用互相关(CC)、相位变换(PHAT)、最大似然估计(ML)和平均平方差函数(ASDF)等四种时延算法对采集的音频信号进行处理分析,从而获取时延实现声源的定位。另外,从信号-噪音比(SNR)、峰值锐化两个方面分别利用MATLAB仿真和实测实验比较了四种算法的性能。实验结果表明,利用Kinect线性麦克风阵列采集定位能更有效地去除噪声,提高信噪比,并且四种算法中相位变换法拥有尖锐的峰值和较低的信噪比门限,从而能够适用于声源定位中获取精确时延。     

分布式交互方向拉格朗日乘子声源定位算法

如何实现高效的分布式声源定位是无线传感器网络研究的热点。通过一种基于声源信号能量的分布式声源定位算法,采用交互方向的拉格朗日乘子方法将最大似然声源定位问题拆分到单个传感器节点,通过桥接传感器节点实现传感器节点之间的信息融合。由于采用声源信号衰减模型,交互方向拉格朗日乘子方法中的最优化目标函数成为非凸函数,导致定位算法容易陷入局部最优,为此提出了多重网格搜索方法。仿真结果表明,新算法与现有的分布式声源定位算法相比,具有可并行实现,可应用于任意网络拓扑,不易陷于局部最优等优点。     

一种用于低空声源目标超视距被动声定位的新方法

该文提出了一种用于低空声源目标超视距被动声定位的新算法。该算法根据低空声源目标的声信号在定位反射点的基础上定位目标点,能有效降低声信号超视距传播误差的影响,提高定位精度,为雷达进一步跟踪和定位提供重要信息。仿真结果表明在时延估计精确的情况下,该方法对隐蔽于山后的低空声源目标的位置有较好的估计效果。     

基于FPGA和DSP的音视频采集处理系统设计

为了实时记录飞机飞行及作业过程中的各种信息,提出了一种基于FPGA和DSP的机载音视频采集处理系统。FPGA作为协处理器,完成对高清视频信号和音频信号的采集、解码以及格式的转换。DSP作为主处理器,在Linux系统的开发环境下,以视频H.264编码算法和音频G.711编码算法为核心完成了对音视频信号的压缩和存储。该系统性能稳定,实用性强,能够满足飞机飞行6小时的5路视频和2路音频信号的采集、存储和回放,达到了设计要求,具有一定的参考价值。     

数字传声器阵列声源定位FPGA实现

在FPGA系统上实现了一个实时的数字传声器声源定位系统,包括信号预处理、语音活动检测、信号互相关运算三部分.FPGA实现声源定位,运算速度快,采用同样的算法可以完成多对传声器阵列的实时信号处理.该系统在15 dB信噪比的环境中能够检测出声源入射的方向.     

扩频通信中PN码序列的捕获

扩频信号的捕获与跟踪是扩频接收机进行定位解扩的基础,文中基于FPGA进行了扩频信号捕获与跟踪的设计实现。分析了该方案的匹配滤波器、载波跟踪环、码跟踪环的设计与实现方法。并通过BPSK调制,使用非相干扩频通信的PN码并行捕获算法实现信号的捕获。     

基于改进On-line Boosting算法的视频目标跟踪

针对目前基于在线学习的On-line Boosting 算法用于视频目标跟踪时对于快速移动的目标,容易引起跟踪漂移的问题,提出一种将Surf算法融合于On-line Boosting的Surf-Boosting视频目标跟踪算法。该算法在原先的On-line Boosting算法的基础上增加跟踪漂移判断,对已跟踪漂移的视频帧使用Surf算法进行目标定位,将Surf定位到的目标作为正样本放到后续On-line Boosting算法中继续跟踪学习。实验结果表明,该方法能够很好地抑制原有算法的跟踪漂移问题,在跟踪过程中的正确率达到98%,实现对快速移动目标的正确跟踪,并具有很好的鲁棒性。     

基于FPGA的数据采集与存储技术研究

使用现场可编程门阵列FPGA作微控制器,通过传感器采集音频信号,再由AD转换器将其转换并存储于芯片AT45DB041B中,以实现对音频信号的采集与存储。对于前端信号使用Matlab设计滤波器对其进行处理,并利用Altera公司的综合开发软件Quartus Ⅱ对数据采集系统进行了仿真,研究表明：该设计能够得到比较理想的数字音频信号。     

基于小波回声状态网络的声源定位算法

为了解决传统声源定位算法存在定位误差大的问题,提出了一种小波回声状态网络的声源定位算法。首先建立声源定位的阵列信号处理模型,并采集声源信号数据,然后采用小波分解将声源信号分解成为高频与低频两部分,并采用回声状态网络分别对高频与低频数据进行建模,最后采用小波重构对高频与低频估计结果进行融合,并对算法性能进行仿真测试。结果表明,本文算法可以精确对声源进行定位,相对于其它声源定位算法,具有更好的适用性和可靠性。     

基于统计的近场声源定位方法

基于麦克风阵列的声源定位技术可以广泛应用于音视频会议、说话人跟踪与识别以及助听器等众多场合中。根据语音信号的短时平稳特性,文中提出了一种改进的基于MUSIC算法进行声源二维定位的方法。该方法按帧交叉进行声源数估计和声源方位估计,最后对多帧信号的估计值进行统计、平均得到最终的方位估计和较准确的声源数估计。仿真结果表明,这种方法能有效解决由于声源数估计不准确导致的峰值搜索时偏差较大的问题,并且具有良好的抗噪性能。     

PROMETHEUS: heterogeneous sensor database in support of research on human behavioral patterns in unrestricted environments

The multi-modal multi-sensor PROMETHEUS database was created in support of research and development activities [PROMETHEUS (FP7-ICT-214901): http://www.prometheus-FP7.eu] aiming at the creation of a framework for monitoring and interpretation of human behaviors in unrestricted indoor and outdoor environments. The distinctiveness of the PROMETHEUS database comes from the unique sensor sets, used in the various recording scenarios, but also from the database design, which covers a range of real-world applications, correlated to smart-home automation and indoors/outdoors surveillance of public areas. Numerous single-person and multi-person scenarios, but also scenarios with interactions between groups of people, motivated by these applications were implemented with the help of skilled actors and supernumerary personnel. In these scenarios, the actors and personnel were instructed to implement a range of typical and atypical behaviors, and simulations of emergency and crisis situations. In summary, the database contains more than 4 h of synchronized recordings from heterogeneous sensors (an infrared motion detection sensor, thermal imaging cameras, overview/surveillance video cameras, close-view video cameras, a 3D camera, a stereoscopic camera, a general-purpose camcoder, microphone arrays, and motion capture equipment) collected in common setups, simulating smart-home environment, airport, and ATM security environment. Selected scenes of the database were annotated for the needs of human detection and tracking. The entire audio part of the database was annotated for the needs of sound event detection, sound source enumeration, emotion recognition, etc.     

Real-Time Automated Video and Audio Capture with Multiple Cameras and Microphones

This work presents the acoustic and visual-based tracking system functioning at the Harvard Intelligent Multi-Media Environments Laboratory (HIMMEL). The environment is populated with a number of microphones and steerable video cameras. Acoustic source localization, video-based face tracking and pose estimation, and multi-channel speech enhancement methods are applied in combination to detect and track individuals in a practical environment while also providing an improved audio signal to accompany the video stream. The video portion of the system tracks talkers by utilizing source motion, contour geometry, color data, and simple facial features. Decisions involving which camera to use are based on an estimate of the head's gazing angle. This head pose estimation is achieved using a very general head model which employs hairline features and a learned network classification procedure. Finally, a beamforming and postfiltering microphone array technique is used to create an enhanced speech waveform to accompany the recorded video signal. The system presented in this paper is robust to both visual clutter (e.g. ovals in the scene of interest which are not faces) and audible noise (e.g. reverberations and background noise).     

基于ADSP-BF561的视频跟踪系统的研究与实现

设计了基于ADSP-BF561的视频跟踪系统,通过控制摄像机姿态实现对运动目标的自动识别和跟踪。系统采用三帧间差分法与图像分割相结合进行目标识别,利用卡尔曼滤波算法进行目标定位,辅以云台运动控制算法完成目标跟踪。经室内测试,该系统能对运动目标进行有效识别与跟踪,且具有一定的实时性及稳定性。     

一种教室节能照明系统的人员识别算法

室内人员识别是教室照明节能系统中的关键技术。为确定教室内人员分布情况,对摄像头采集到的视频图像进行灰度化、二值化、中值滤波等处理。提出采用形态学的方法进行边界提取,结合改进的边界跟踪算法实现人物头部判别的算法。将该算法应用于教室节能照明系统,获得人员位置信息,然后对教室照明灯光进行控制,以节省电能。     

RSS协助的ray-tracing室内定位算法

针对室内定位,当信号受到非视距(non-line-of-sight, NLOS)和多径传播的影响时,本文提出一种接收信号强度(Received Signal Strength, RSS)协助的Ray-tracing室内定位算法,改进已经提出的基于虚拟基站方法的信号到达时间 (Time of Arrival, TOA)和信号到达角度(Direction of Arrival, DOA)室内无线信号Ray-tracing模型,利用信号RSS测量值优化算法,实现TOA、DOA和RSS协同定位,提高室内多径及非视距环境下,无线定位的精度,降低算法复杂度,提高算法处理信号多重散射的能力并降低了对基站的依赖性适用环境更为广泛。首先通过RSS得到信号源可能存在的位置,随后利用Ray-tracing原理并使用虚拟基站,将非视距路径定位问题转化为视距路径定位问题,利用TOA和DOA对直射、透射、反射和绕射情况进行分析建模,最后使用最小二乘法对可能的位置进行筛选,得到信号源的最终位置。仿真结果表明,本算法较改进前拥有更高的定位精度。      

D类音频功率放大器的研究与实现

介绍了采用D类放大器来完成音频信号变换与放大的电路设计。D类放大器采用了改进的方案,即用FPGA作为逻辑控制器实现对PWM H全桥功率放大电路的控制。设计的D类放大器可对数字音源输出的音频信号进行直接放大,为数字音源和功率放大的整合提供了完整的解决方案。他具有比其他类型放大器更高的效率和更低的转换失真,正越来越多地应用在便携式器件中,因此设计课题具有很好的现实意义。     

基于DSP+FPGA的实时视频信号处理系统设计

实时视频信号处理的实时性和跟踪算法的复杂性是一对矛盾,为此采用DSP+FPGA的架构设计,同时满足实时性和复杂性的要求,提高了系统的整体性能。DSP作为主处理器,利用其高速的运算能力,快速有效地处理复杂的跟踪算法;FPGA作为协处理器,完成视频图像的接收、存储、预处理,使设计具有更大的灵活性。系统采用了形心跟踪和相关跟踪两种算法。实验证明,该系统可以稳定地实时跟踪运动目标。     

引入注意力机制的视频声源定位

在日常生活中视觉事件通常伴随着声音的产生。这表明视频流与音频之间存在某种潜在的联系,本文称之为音视频同步的联合表达。本文将视频流与音频融合并通过训练所设计的神经网络预测视频流和音频是否在时间上同步来学习这种联合表达。与传统音视频信息融合方法不同,本文引入注意力机制,利用视频特征与音频特征的皮尔森相关系数在时间维度和空间维度同时对视频流加权,使视频流与音频关联更加紧密。基于学习到的音视频同步的联合表达,本文进一步利用类激活图方法进行视频声源定位。实验结果表明,所提出的引入注意力机制的音视频同步检测模型可以更好地判定给定视频的音视频是否同步,即更好地学习到音视频同步的联合表达,从而也可以有效地定位视频声源。