基于FPGA与Sobel算法的实时图像处理

如今,图像处理算法的复杂度越来越高,图像处理的数据量越来越大,图像处理的实时性显得十分重要。为了解 决图像预处理、视频流数据实时性存在的问题,给出了一种基于FPGA和OV5640以Sobel算子进行边缘检测的图像采集与处 理系统设计方法,FPGA将OV5640摄像头采集到的视频流数据传送至SDRAM,由Sobel算子模板处理后通过VGA显示视频 图像。该设计基于Intel公司的Cyclone IV系列FPGA芯片EP4CE10F17C8进行了验证。实验结果表明,基于FPGA和Sobel边 缘检测算法,使用流水线设计和乒乓操作,可实现视频流数据处理的实时性。     

基于GPU的视频流拼接算法研究

为解决视频流的稳定实时拼接,结合图形处理器GPU强大的并行计算能力,提出了一种基于GPU的视频流拼接算法.提取视频流的帧图像,利用尺度不变特征变换(scale invariant feature transform,SIFT)算法在GPU上实现帧图像的特征提取与匹配,实现图像拼接,进而实现视频流的稳定实时拼接.基于GPU的SIFT算法充分利用了GPU的并行处理能力,加快了视频流拼接算法执行的速度,真正意义上实现了几个差异较大但具有公共视野的视频流快速稳定的拼接.     

Metric sensing and control of a quadrotor using a homography-based visual inertial fusion method

The combination of a camera and an Inertial Measurement Unit (IMU) has received much attention for state estimation of Micro Aerial Vehicles (MAVs). In contrast to many map based solutions, this paper focuses on optic flow (OF) based approaches which are much more computationally efficient. The robustness of a popular OF algorithm is improved using a transformed binary image from the intensity image. Aided by the on-board IMU, a homography model is developed in which it is proposed to directly obtain the speed up to an unknown scale factor (the ratio of speed to distance) from the homography matrix without performing Singular Value Decomposition (SVD) afterwards. The RANSAC algorithm is employed for outlier detection. Real images and IMU data recorded from our quadrotor platform show the superiority of the proposed method over traditional approaches that decompose the homography matrix for motion estimation, especially over poorly-textured scenes. Visual outputs are then fused with the inertial measurements using an Extended Kalman Filter (EKF) to estimate metric speed, distance to the scene and also acceleration biases. Flight experiments prove the visual inertial fusion approach is adequate for the closed-loop control of a MAV.     

基于DM642的纬斜检测系统设计及实现

目前国内普遍采用的整纬装置为光电整纬,依靠采集透射过织物的光强度来检测纬斜,但这种方式对织物的厚度及纹理程度具有一定制约性;针对这个问题设计了一种基于DM642的摄像式的纬斜检测系统,充分利用DM642的高速运算能力,对织物的纹理进行图像处理,来实现纬斜角度实时的检测;该系统以TMS320DM642处理器为核心,包括视频采集、视频显示、视频存储、视频处理、外部通信5个模块,并在该硬件平台基础上实现了基于投影映射的纬斜检测算法;映射算法的阈值采用20,根据统计的大于阈值的数目来得到纬线偏移的角度;应用结果表明本系统具有良好的实时性并且精度可达到95％,可用于工业现场的实时纬斜检测.     

Terrain‐based vehicle orientation estimation combining vision and inertial measurements

A novel method for estimating vehicle roll, pitch, and yaw using machine vision and inertial sensors is presented that is based on matching images captured from an on‐vehicle camera to a rendered representation of the surrounding terrain obtained from a three‐dimensional (3D) terrain map. U.S. Geographical Survey Digital Elevation Maps were used to create a 3D topology map of the geography surrounding the vehicle, and it is assumed in this work that large segments of the surrounding terrain are visible, particularly the horizon lines. The horizon lines seen in the captured video from the vehicle are compared to the horizon lines obtained from a rendered geography, allowing absolute comparisons between rendered and actual scene in roll, pitch, and yaw. A kinematic Kalman filter modeling an inertial navigation system then uses the scene matching to generate filtered estimates of orientation. Numerical simulations verify the performance of the Kalman filter. Experiments using an instrumented vehicle operating at the test track of the Pennsylvania Transportation Institute were performed to check the validity of the method. When compared to estimates from a global positioning system/inertial measurement unit (IMU) system, the roll, pitch, and yaw estimates from vision/IMU Kalman filter show an agreement with a (2σ) bound of 0.5, 0.26, and 0.8 deg, respectively. © 2008 Wiley Periodicals, Inc.     

基于CPLD芯片控制的视频图像处理系统设计

针对当前连续视频图像的空间冗余性较高,图像数据处理及时性较差的问题,设计了基于CPLD芯片控制的视频图像处理系统。将CPLD存储模块内提取的数据信息,平均分配至视频图像采集元件及图像边缘检测元件中,再借助信息传输信道,建立与VGA视频图像显示模块的物理连接,实现视频图像处理系统的硬件执行方案设计。利用分数像素差优化结果,规范子窗口的动态显示权限,控制连续视频图像在空间范围内的冗余化程度,完成图像源路数的智能控制处理。联合视频进程与多线程控制原理,实施数据包缓冲区的信息排序,再建立全新的视频流存储模式,实现视频流的完整播放。对比实验结果表明,与多路视频处理手段相比,应用CPLD芯片控制处理系统后,图像数据帧缓存速率明显提升,而VGA信息转换指标却大幅下降,在抑制连续视频图像空间冗余能力的同时,解决了图像数据处理不及时的问题。     

基于多传感器数据融合的室内行人航位推算法

针对惯性测量单元(IMU)本身存在测量漂移,很难获得精确的室内行人轨迹的问题,提出了使用多个传感器信息融合的方案,包括IMU和视频摄像头,并结合卡尔曼滤波和零速检测算法进行参数优化,以提高行人运动轨迹的精度.仿真结果表明:算法可以有效降低行人轨迹的误差.     

用Simulink实现基于FPGA的像素流视频图像边缘检测算法

基于FPGA实现高清、大容量的视频处理的算法具有一定的复杂性,为了更好的用VerilogHDL描述图像处理算法,采用了一种在Simulink中搭建视频图像处理模型,利用MathWorks最新推出的VisionHDLToolbox进行帧到像素流的转化,然后再对图像的实现边缘检测,最后把该算法自动生成VerilogHDL代码的方法,通过利用Simulink和ModelSim进行联合仿真,验证了这种方法的可行性,即可以快速的生成更加准确HDL代码,提高了用HDL描述图像处理算法的速度.     

基于Ov6620的图像采集系统的设计

数字图像处理技术在电子与通信领域得到了飞速发展,视频图像的出现极大的提高了工程实现的效率。本文设计了基于飞思卡尔MC9S12XS128单片机及OV6620数字摄像头的视频图像采集系统,实现了无线监测系统的图像采集、图像处理及图像显示。文中针对图像去噪处理功能,对相应的图像滤波算法进行了阐述。实验表明,该系统可以满足图像监测的需要。     

Adaboost算法及其在实时视频流中的应用

针对Adaboost算法在实时视频流中的应用,本文基于Adaboost算法的人脸检测原理,即通过提取图像中的haar特征,在训练过程中选出最优特征,转换成弱分类器,优化组合于人脸检测。最终,利用opencv的开发包,通过VC++软件编程实现基于Adaboost算法实时视频流中的人脸检测。     

Adaboost算法及其在实时视频流中的应用

针对Adaboost算法在实时视频流中的应用,本文基于Adaboost算法的人脸检测原理,即通过提取图像中的haar特征,在训练过程中选出最优特征,转换成弱分类器,优化组合于人脸检测.最终,利用opencv的开发包,通过VC++软件编程实现基于Adaboost算法实时视频流中的人脸检测.     

基于OpenCV的输送带跑偏自动检测算法研究

为提高输送带跑偏检测方法的实时性和精度,结合OpenCV函数库的优点,提出了一种输送带跑偏自动检测算法。该算法利用CCD摄像机实时采集输送带视频流图像,并对图像进行预处理,然后使用改进的Canny边缘检测算法检测图像边缘,最后利用Hough直线变换提取输送带跑偏特征,通过输送带图像的几何特征来判断其是否跑偏,如跑偏则报警。实验结果表明,该算法简单有效,运算速度快,实现了输送带跑偏的自动检测。     

Fusing Visual and Inertial Sensors with Semantics for 3D Human Pose Estimation

International Journal of Computer Vision - We propose an approach to accurately estimate 3D human pose by fusing multi-viewpoint video (MVV) with inertial measurement unit (IMU) sensor data,...     

基于FPGA的实时视频处理平台设计

为了能够实时地采集、处理、显示视频,设计并实现了一种基于双PowerPC硬核架构的实时视频处理平台;用硬件实现视频的预处理算法,并以用户IP核的形式添加到硬件系统中,上层的视频处理软件程序则直接从存储器中调用预处理后的图像数据;重点介绍了在FPGA上构建双PowerPC硬核架构的硬件系统;采用乒乓控制算法缓存一行图像数据;用DMA的方式将图像数据保存在存储器中;以边缘检测作为视频预处理算法的一个实例,在平台上实现,实验结果表明,用本平台实现仅需40ms;本平台能够实时处理视频,具有较高的实用价值。     

基于全方位视觉传感器的泊车诱导系统

交通泊车诱导是智能交通管理（ITS）中一个重要组成部分。探讨了采用全方位视觉传感器采集停车场内的停车位视频信息,研究了基于颜色模型的算法、边缘检测算法等图像处理方法用于视频车位检测,从停车诱导发布角度出发提出了视频车位检测空间与各种泊车信息发布空间之间的映射关联方法。     

基于OpenCL与FPGA异构模式的Sobel算法研究

随着计算机科学技术的迅速发展,嵌入式领域实时图像处理应用越来越广泛,然而传统硬件因为自身架构导致并行化程度不高,针对在视频监控、机器视觉、视频压缩、医疗影像分析等领域需要对图像进行高性能计算的问题,提出一种以OpenCL软件模型和FPGA异构模式的高性能图像处理解决方案,实现了图像显示和OpenCL加速功能,以Sobel边缘检测算法为研究对象,进行了算法并行性分析,并在系统中运用OpenCL加速内核算法,与基本的ARM平台和OpenCL共享内存加速机制相比较,展开性能测试,对加速效果进行了研究。实验数据表明,使用该系统处理不同分辨率的图像,OpenCL加速子系统的处理较基于片上ARM硬核的软件处理,实现相同功能上有100倍左右的性能提升。     

双目视觉辅助的激光惯导SLAM算法

激光同步定位与地图构建(simultaneous localization and mapping, SLAM)算法在位姿估计和构建环境地图时依赖环境结构特征信息,在结构特征缺乏的场景下,此类算法的位姿估计精度与鲁棒性将下降甚至运行失败.对此,结合惯性测量单元(inertial measurement unit, IMU)不受环境约束、相机依赖视觉纹理的特点,提出一种双目视觉辅助的激光惯导SLAM算法,以解决纯激光SLAM算法在环境结构特征缺乏时的退化问题.即采用双目视觉惯导里程计算法为激光扫描匹配模块提供视觉先验位姿,并进一步兼顾视觉约束与激光结构特征约束进行联合位姿估计.此外,提出一种互补滤波算法与因子图优化求解的组合策略,完成激光里程计参考系与惯性参考系对准,并基于因子图将激光位姿与IMU数据融合以约束IMU偏置,在视觉里程计失效的情况下为激光扫描匹配提供候补的相对位姿预测.为进一步提高全局轨迹估计精度,提出基于迭代最近点匹配算法(iterative closest point, ICP)与基于图像特征匹配算法融合的混合闭环检测策略,利用6自由度位姿图优化方法显著降低里程计漂移误...     

基于运动矢量的行车障碍自动检测算法研究

为了实现对车辆前方行人及车辆等威胁车辆正常安全行驶的危险障碍的检测,达到保证行车安全的目的,文章根据MPEG视频码流中运动矢量的特点,提出了一种新的行车障碍自动检测算法。该算法利用成熟的MPEG编解码技术对车辆前端摄像机所采集的视频图像序列进行编解码,输出MPEG码流格式的视频图像序列,通过分析解码的MPEG视频码流中运动矢量的规律,来制定判别行车前方障碍物的规则,并最终确定危险区域的范围。算法仿真结果表明,该算法具有较好的实践效果和一定的实用价值。     

互补滤波和卡尔曼滤波的融合姿态解算方法

针对捷联惯性测量单元(IMU)噪声大、精度低的缺点和常规的姿态解算算法精度不高等问题,提出了一种互补滤波和卡尔曼滤波相结合的融合算法.该算法基于姿态角微分方程建立系统的状态方程模型,利用互补滤波后的姿态角作为系统的观测量,再应用扩展卡尔曼滤波(EKF)算法融合了陀螺仪、加速度计和电子罗盘的测量数据.为验证该算法有效性,用带有传感器的开发板依次进行静态和动态测试,实验结果表明:结合了互补滤波和卡尔曼滤波的融合算法,在静态时能够抑制姿态角漂移和滤出噪声,在动态时能够快速跟踪姿态的变化,提高了姿态角的解算精度.     

基于UKF的水下航行器IMU故障检测与诊断方法研究

惯性测量单元（IMU）作为水下航行器导航系统关键传感器,其可靠性直接影响航行器的导航性能。为了提高IMU的容错能力,本文提出一种基于无迹卡尔曼滤波（UKF）算法的IMU故障诊断技术。首先根据水下航行器的动力学方程和导航系统特点,建立描述IMU故障与导航状态量关系的解析模型;接着基于UKF非线性滤波的特点,进行导航滤波解算,基于此,提出了解耦矩阵法以实现IMU的故障检测;并且根据无迹卡尔曼滤波器新息正交原理,提出了实时估计IMU故障的方法,从而完成水下航行器IMU故障的在线检测与诊断。最后,通过实际航行数据验证了所提出算法的有效性。