Development of a machine vision system: real-time fabric defect detection and classification with neural networks

In this study, a machine vision system is developed to achieve fabric inspection and defect classification processes automatically. The system consists of an image acquisition hardware and an image processing software. A simple and portable system was designed so that it can be adapted easily to all types of the fabric inspection machines. The software of the system consists of defect detection and classification algorithms. The defect detection algorithm is based on wavelet transform, double thresholding binarization, and morphological operations. It was applied real time via a user interface prepared by using MATLAB^® program. The defect classification approach is based on gray level co-occurrence matrix and feed forward neural network. Five commonly occurring defect types, warp lacking, weft lacking, soiled yarn hole, and yarn flow, were detected and classified. The defective and defect-free regions of the fabric were detected with an accuracy of 93.4% and the defects are classified with 96.3% accuracy rate.     

Fabric defect detection based on the saliency map construction of target-driven feature

In inspection of fabric surface quality in production line, small defects have to be detected in a large background. In this paper, a new method is put forward to detect fabric surface defect by target-driven features. First of all, surface defect feature of fabric is analyzed; and then, area feature of and number feature of defects are used as tasks, which drive to enhance saliency of defective regions and to form feature saliency maps; finally, by using threshold segmentation, fusion, and filtering, fabric defect is gained from the feature saliency maps. Experiments show that the detection algorithm, compared with classic defect algorithm, can achieve accurate segmentation of the surface defects, better anti-noise ability, higher detection accuracy, which has a strong applicability on the fabric defect detection, and provides the possibility for realizing automatic detection of textile industrial product surface defect.     

基于神经网络的织物疵点识别技术

因织物组织繁多,表面特征各异,很难建立一个统一的织物疵点识别模型。为了解决这一问题,实现自动验布,提出采用双层神经网络和小波变换来识别织物疵点的方法。先对正常织物进行训练,得到织物的特征,应用第1层简单BP网络来分辨正常织物和疵点。然后对疵点图像进行二维离散小波变换,并去除织物本身的特征,利用已训练的BP网络进行具体疵点识别。试验证明,这种方法的准确性较高,速度快,基本接近自动验布系统的要求。     

织物自动检测系统设计与实现

应用4片DSP+FPGA流水阵列结构,用现场可编程门阵列FPGA对采集的视频数字图像信息进行处理,实现了织物疵点自动检测。设计了以4片TMS320C62x为数字图像信息处理核心,由FPGA实现系统控制互连的织物疵点自动检测系统,设计了基于直方图统计和基于支撑矢量机的织物疵点分类识别算法。实验结果表明,当样布传送速度达到100、120 m/min时,该织物疵点自动检测系统对样布的疵点识别准确率分别达到80%和60%。     

基于相似性定位和超像素分割的织物疵点检测

为解决周期性纹理织物图像的疵点检测及其轮廓精确分割问题,提出一种基于相似性定位和超像素分割的织物疵点检测方法。将待检测图像进行中值滤波和对数增强,并利用FT算法估计增强图像的显著图实现待检测图像的预处理;将基于归一化局部均值差分的灰度相似性检测参量和结构相似性检测参量结合,构建可测量更多类型周期性纹理织物图像的相似性度量函数,通过阈值化增强图像分块的相似性测量值实现疵点在显著图中的粗定位;最后对显著图粗定位图像分块进行超像素细分割及其二值化处理,并借助连通域分析剔除孤立点,获得完整的疵点轮廓。结果表明,本方法与常规3种方法相比,对周期性纹理织物图像的疵点检测准确率更高,且提取出的疵点轮廓更精确。     

应用最优Gabor滤波器的经编织物疵点检测

针对经编织物疵点自动检测问题,提出了一种新的基于最优Gabor滤波器的经编织物疵点检测方法。具体可分为学习阶段和检测阶段;在学习阶段,对于无疵点的经编织物图像构造可调制的二维Gabor滤波器,采用量子行为粒子群优化(QPSO)算法对Gabor滤波器的参数进行优化,得到与无疵点的织物图像纹理特征最匹配的Gabor滤波器参数;在检测阶段,由学习阶段得到的最佳参数构造Gabor滤波器,用该滤波器对待检测织物图像进行卷积处理,然后再对得到的卷积图像进行二值化处理,最终识别出待检测织物是否有疵点存在。结果表明,该方法的检测率可以达到96.67%,具有很好的稳定性和鲁棒性,适合应用于工业生产。     

Identification of fabric defects based on discrete wavelet transform and back-propagation neural network

Detection of fabric defects can be considered as a texture segmentation and identification problem, since textile faults normally have textural features that are different from features of the original fabric. A feasible approach for the recognition of fabric defects based on discrete wavelet transform and back-propagation neural network is proposed in this article, the indispensable processes of which are defect image preprocessing, wavelet transform, feature extraction, principal component analysis of the extracted feature parameters, and defect identification. Under the experimental condition, the average recognition accuracy of defects and nondefects are 99.2% and 100%, respectively. Experimental results show the advantages with high identification correctness and high inspection speed.     

基于深度学习的布匹疵点检测方法

为快速、准确检测布匹疵点,提出以深度学习目标检测框架YOLOv4为基础的布匹疵点检测方式,首先将5种常见疵点图像(吊经、百脚、结点、破洞、污渍)进行预处理,然后将图像输入到YOLOv4算法中进行分类。YOLOv4采用CSPDarknet53作为主干网络提取疵点特征,SPP模块、FPN+PAN的方式作为Neck层进行深层疵点特征提取,预测层采用3种尺度预测方式,对不同大小的疵点进行检测。研究结果表明:经600个测试集样本的验证,该方法对疵点图像的检测准确率达95%,检测单张疵点图像的速率为33 ms。与SSD、Faster R-CNN、YOLOv3方法进行比较,采用YOLOv4方法准确率更高,速度更快。     

纹理织物疵点窗口跳步形态学法检测

针对纹理织物疵点自动检测时因生产速度快造成的织物抖动以及检测速度难以匹配问题,提出窗口跳步形态学法纹理织物疵点检测算法。使用该算法对图像进行窗口分割及预处理后,首先对纹理织物图像的纹理特征进行分析,然后设计形态学算子进行腐蚀操作,最后使用连通域分析来确定疵点大小及位置。仿真实验及工厂实际应用表明,该算法可有效克服工业生产中纹理织物抖动造成的图像明暗不均,可检测出纹理织物中存在的破洞、经纬疵点、污渍、断线、折痕和结头等各种疵点,而且检测速度明显优于快速傅里叶变换特征点算法以及传统形态学检测算法。实时检测速度超过80 m/min,疵点检测精度为0.1 mm,满足实际生产需求。     

基于遗传规划的织物自适应正交小波基的构造和优化

 为了实现机织物疵点的自动检测,文章在构造织物自适应正交小波库的基础上,运用遗传规划算法,将构造的小波库作为群体规模,对遗传规划算法四种不同的适应度函数进行优选后,从群体规模中优化出与织物纹理相匹配的小波基。研究结果表明,以织物纹理波动为适应度函数得到的小波基与织物的匹配性较好。试验验证了该方法对相关疵点检测的有效性,并采用窗口分割法对织物疵点进行定位,表明采用遗传规划算法结合适应度函数优选的方法,能够找到与织物纹理相适应的最优小波基,实现织物疵点的自动检测。     

基于深度信念网络的织物疵点检测

为提高织物疵点检测精度和效率,提出了一种基于深度信念网络的织物疵点检测方法。用改进的受限玻尔兹曼机模型对深度信念网络进行训练,完成模型识别参数的构建。利用同态滤波方法对图像进行预处理,使疵点图像更加清晰,同时抑制了背景图像。以Python语言,基于TensorFlow框架构建深度信念网络模型,对织物疵点图像进行处理得到学习样本,确定模型激活函数后,分析了各模型参数对织物疵点检测准确率的影响规律,得到激活函数为Relu, Dropout值为0.3,预训练学习率为0.1,微调学习率为0.000 1,批训练个数为64时,模型参数值达到最优。最后,利用在无缝内衣机上采集到的各类疵点图像,对深度信念网络织物疵点检测模型进行验证。结果表明：所提出的织物疵点检测方法能够快速、有效地对织物疵点进行检测和分类识别,准确率达到98%。     

应用单演小波分析的织物疵点检测

为了解决现有织物疵点检测算法对种类繁多的疵点形式尤其是对微弱纹理变化疵点的适应性较弱问题,提出以单演小波分析工具为基础的织物疵点检测算法。通过拉普拉斯分数阶算子与多重调和样条构建各向同性拉普拉斯小波后,对其进行Riesz变换构建Riesz–拉普拉斯小波,实现了织物图像的单演小波分析。对单演小波分析结果中的多分辨率方向与振幅子带,分别设计了最优响应子带判断标准以及最优响应子带分割方法。实验结果表明,本文提出的检测算法可有效分割不同织物纹理中的多种类疵点,分割结果可反映疵点位置与轮廓,对342幅实验样本图像实现了97.37%的检出率,具有较好的自适应性与鲁棒性。     

织物表面疵点检测方法的设计与实现

针对传统织物生产企业中,人工检测织物存在瑕疵检出效率低、误检率高的问题,提出了一种织物表面疵点检测方法。该方法首先采用高斯滤波、线性归一化以及限制对比度自适应直方图均衡化对织物表面图像进行预处理,从而有效增强图像中的疵点表现细节,然后通过改进的Gabor优化选择,再对选择后的图像进行初分解,从中挑选出最优滤波图像进行二值化处理,最后运用统计学方法进行疵点判断并获得最终结果。该方法实现简便、硬件要求低、适应性广,可用于判断织物表面是否含有疵点,并定位疵点。实验证明,织物表面疵点检测准确率高达95.38%。     

织物疵点自动检测方法及应用进展

织物疵点是影响织物价格的重要因素,一直以来都备受关注.随着科学技术的发展,对智能化需求的提高,织物疵点的自动检测成为纺织行业的热门话题.织物疵点自动检测系统在市场上已经有了较为成熟的产品,国内的主流方式仍为机下检测,对平整布面检测效果较好.根据图像处理的方法可将检测算法分为结构法、统计法、频谱分析法、基于模型的方法、基...     

基于机器学习的布匹瑕疵识别研究

纺织工业是我国制造业出口的重要组成部分。布匹的质量控制在纺织工业中尤为重要,而布匹瑕疵是影响布匹质量控制的重要因素之一。在中小企业中,布匹瑕疵识别主要依靠人工流水线作业,存在着人工成本高、人眼识别准确度低等问题。因此,一个有效的布匹瑕疵检验系统是十分必要的,布匹瑕疵分类算法是保证疵点判决效率的核心。基于布匹生产企业存在的问题,有针对性地研究了机器学习与计算机视觉的布匹瑕疵识别算法的基本原理,介绍了各类布匹瑕疵识别中的检测与分类算法,将最近发展迅速的机器学习的理论研究引入布匹瑕疵识别中,对涉及机器学习的模式识别算法进行了介绍。     

应用积分图的织物瑕疵检测快速算法

为解决现有基于图像处理的织物瑕疵检测算法实时性较差、正确率偏低等问题,提出一种包含学习和检测2个阶段的瑕疵检测算法。通过对无瑕疵模板图像的梯度能量特征及其分布特性的学习,自适应获得检测阶段所需的参数。一方面利用积分图原理将任意大小的图像块内的求和运算化简为三次加法运算,快速提取织物图像的梯度能量特征,实现织物瑕疵的实时检测,另一方面利用核函数拟合特征参数分布,结合均值漂移法求解分布峰值获得自适应的瑕疵判定阈值参数,实现织物瑕疵的准确分割。通过实验将本文算法与现有基于局部二值模式特征、小波特征、规则带特征等算法进行对比,针对包含3种纹理6类瑕疵的织物图像数据集的测试结果显示,本文算法平均处理时间为56ms,正确率为97%。     

Fabric defect delaminating detection based on visual saliency in HSV color space

Due to a large variety of fabric defects, the traditional detection method is difficult to meet the needs of dynamic detection that include all kind of defects. In order to enhance the effect of fabric defects detection, this paper proposed a dynamic delaminating detection method that fabric defects in the HSV color space are detected according to the fabric defect saliency. The idea is simulating the human visual system, and gradually enhancing the saliency of fabric defects through the data-driving. By the way, different types of defects are highlighted in different layers. At the same time, some task factors are used to drive form detection interest region in each layer. Then all kinds of defects are delaminated detection by setting a threshold in different layers. Experiments show that the proposed algorithm can accurately detect all kinds of defects, and have a strong universality for various types of defect detection. It can provide a possibility for the realization of fabric defects automatic detection.     

基于Criminisi算法的非周期性印花织物缺陷检测

由于非周期印花织物颜色多变、花型复杂、印花缺陷纹理及背景纹理之间对比度低,导致织物缺陷不易被识别,因此给出一种Criminisi算法。首先,采用频率谐调(frequency-tuned,FT)显著性算法对印花织物缺陷图像进行显著性增强,突出缺陷的边缘轮廓;其次,利用大津阈值法对显著图进行二值化处理,并将得到的二值图作为图像修复时的Mask掩码图;最后,运用Criminisi算法对原印花织物缺陷图像进行修复,将修复的印花图像减去原印花缺陷图像,获得缺陷区域。实验结果表明,该方法能准确分割出非周期性印花织物的缺陷区域,如漏墨、污渍等,且检测准确率达97.39%。同时,实验过程中不涉及参数的调节。     

织物表面疵点自动检测方法研究

针对织物表面质量检测仍处于人工检测的现状,根据织物疵点破坏织物固有纹理组织结构,体现为灰度值纵向或横向频率变异的特点,提出一种疵点自动检测方法。该方法先由织物组织循环结构确定大小两个检测窗口的尺寸,然后通过合适的离散小波基把试样分解成含经向细节和纬向细节的两个子图,分别统计两者能量和后分离出低频的疵点信息。该方法简单易行,漏检率低,适应于大多数方向性、块状类疵点的检测。     

应用上下文视觉显著性的色织物疵点检测

为实现色织物疵点的有效检测,提出一种应用上下文视觉显著性的疵点检测方法。根据上下文视觉显著性的原则,将织物图像分为大小相同的图像块;然后针对每个图像块,选取K个与其最相似的图像块计算与该图像块的差异值之和,用该差异值之和表示该图像块中心像素的显著性;从而生成一幅视觉显著性图;最后对显著性图进行阈值分割,得到色织物疵点的检测结果。为验证该算法的有效性,将带有纬缩、破洞和跳花等区域性疵点的素色、条纹和格子色织物图像作为样本进行检测。结果表明:该方法可较好地抑制不同种类织物的纹理背景,突出疵点区域,实现疵点的有效检测,该方法在色织物疵点检测上具有一定的可行性。