服装CAD中三维人体模型的参数化研究

针对三角网格曲面表示的3D人体模型缺少语义信息，提出一种3D人体模型的参数化方法：首先通过三角面片求交的采样策略得到采样点，然后使用B样条曲线构造人体轮廓线，最后由用户交互得到3D人体模型的参数化信息，建立3D人体模型的参数化模板．这样，在参数化人体模型模板的基础上，可以根据用户所输入的特定人体参数信息，动态地调整轮廓线和重建人体模型体表曲面，快速生成逼真的3D人体模型，从而满足服装CAD中根据用户身材尺寸大小定制服装的应用需求．     

基于空间特征提取和注意力机制的双路径语义分割

针对现阶段语义分割网络存在的空间和通道特征不匹配、小目标物体像素丢失等问题,设计了一种基于空间特征提取和注意力机制的双路径语义分割算法。空间信息路径利用四倍下采样来保留高分辨率特征,并引入空间特征提取模块融合多尺度空间信息,加强网络对小目标物体的识别能力;采用一条结合双阶通道注意力的语义上下文路径提取判别特征,使深层特征能够指导浅层特征捕捉更精确的语义信息,从而降低精度损失。在CamVid和Aeroscapes数据集上验证该算法,平均交并比分别可达70.5%和51.8%,相比于当前主流的双路径语义分割模型有所提升,结果验证了所提算法的有效性。     

结合自注意力和特征自适应融合的语义分割算法

针对场景图像语义分割任务中存在多尺度目标以及特征提取网络缺乏对全局上下文信息的获取等问题,设计了一种嵌入改进自注意力机制以及自适应融合多尺度特征的双路径分割算法。在空间路径利用双分支的简易下采样模块进行4倍下采样提取高分辨率的边缘细节信息,使网络对目标边界分割更精确。在语义路径嵌入上下文捕获模块和自适应特征融合模块,为解码阶段提供具有丰富多尺度的高语义上下文信息,并采用类别平衡策略进一步提升分割效果。经过实验验证,该模型在Camvid和Aeroscapes数据集上的MIOU(mean intersection over union)指标分别为59.4％和60.1％,具有较好的分割效果。     

三维服装参数化设计技术

通过拓展传统参数化,在三维服装设计中引入曲线曲面作为参数化的基本元素,提出包括模型构建、模型驱动与模型联动的三维服装参数化设计技术框架及其实现.利用特征信息分层次构建服装模型,得到具有非精确表达的服装几何模型;利用混合维度输入信息,对服装多层次几何模型进行多因素驱动;基于模型层次关联信息,对服装模型进行多层次联动和混合维度联动,并能得到系列化产品.相应的实例表明,文中方法能有效地实现人体、衣片和裁片的参数化设计,从而为三维服装大规模定制提供设计方法与技术支持.     

融合生成模型和判别模型的双层RBM运动捕获数据语义识别算法

对人体运动捕获数据底层特征和高层语义之间常常存在语义鸿沟的问题,结合深度学习思想,提出一种融合受限玻尔兹曼机生成模型和判别模型的运动捕获数据语义识别算法.该算法采用双层受限玻尔兹曼机,分别对运动捕获数据进行判别性特征提取(特征提取层)和风格识别(语义判别层),首先考虑到自回归模型对时序信息具有出色的表达能力,构建一种基于单通道三元因子交互的条件限制玻尔兹曼机生成模型,用于提取运动捕捉数据的时空特征信息;然后将提取出的特征与对应的风格标签相耦合,作为语义判别层中受限玻尔兹曼机判别模型的当前帧数据层输入,进行单帧风格识别的训练;最后在获得各帧参数的基础上,在模型顶部加入投票空间实现对运动捕捉序列的风格语义的有效识别.实验结果表明,文中算法具有良好的鲁棒性和可扩展性,能够满足多样化运动序列识别的需求,便于数据的有效重用.     

结合边缘轮廓和姿态特征的人体精确解析模型

针对着装场景中由于人体姿态、边缘轮廓、服装配饰的复杂性以及着装部位关节点被遮挡等因素导致人体解析精度较低的问题,提出一种结合边缘轮廓和姿态特征的人体精确解析模型.首先采用残差网络ResNet-101作为主干网络表征输入人体图像进行初步人体解析,得到粗解析特征;然后构建边缘轮廓模块,结合上采样后的全局和局部特征得到人体边缘轮廓;再基于着装姿态定义着装姿态损失函数,通过姿态估计模块提取人体姿态特征;最后联合粗解析特征、边缘轮廓和姿态特征,并定义结构损失和人体解析损失的组合函数输出精确的解析结果.在多个数据集上的实验结果表明,该模型的mIoU评测指标提高了1.96％,在人体的着装姿态和部位遮挡等方面获得了更准确的语义分割结果,能有效地提高着装人体解析的精度.     

变形图驱动的人体与脸部网格模板拟合系统

为了建立统一的人体模型数据库/人脸模型数据库,实现了一个用标准三维人体/人脸网格模型拟合扫描数据的系统.该系统为人体模型构建特征点候选区域,用马尔可夫网络对候选区域进行概率预测得到人体特征点的位置;对于人脸模型,采用基于回归树的算法在多幅不同角度的人脸图像上分别检测其二维特征点,融合得到准确的三维特征点位置;得到特征点后,使用相似变换对标准模板和扫描模型的位置朝向以及尺度进行统一;通过特征点引导的变形图算法对标准模板和扫描模型的形状和姿态进行粗配准;最后使用基于稠密点对应的顶点仿射变换拟合得到变形后的标准模板.对CAESAR数据集中的人体模型以及扫描得到的人体和人脸模型均进行了拟合,实验结果表明,该系统能够精确地捕捉扫描数据的几何形状.     

eMTM系统中三维人体模板优化方法的研究

eMTM（electronic made-to-measure）电子化量身定制是二十一世纪出现的数字服装技术。三维人体模板是生成个性化三维人体的核心部分,该文通过对三维人体结构、虚拟人体部件选配算法的研究,提出了对三维人体模板进行分割和组合的优化方法,使不同三维人体模板身段能够进行组合,生成的个性化三维人体更加精确。     

基于改进Deeplab v3+的服装图像分割网络

在服装图像分割领域,现有算法存在服装边缘分割粗糙、分割精度差和服装深层语义特征提取不够充分等问题。将Coordinate Attention机制和语义特征增强模块（SFEM）嵌入到语义分割性能较好的Deeplab v3+网络,设计一种用于服装图像分割领域的CA_SFEM_Deeplab v3+网络。为了加强服装图像有效特征的学习,在Deeplab v3+网络的主干网络resnet101中嵌入Coordinate Attention机制,并将经过带空洞卷积池化金字塔网络的特征图输入到语义特征增强模块中进行特征增强处理,从而提高分割的准确率。实验结果表明,CA_SFEM_Deeplab v3+网络在DeepFashion2数据集上的平均交并比与平均像素准确率分别为0.557、0.671,相较于Deeplab v3+网络分别提高2.1%、2.3%,其所得分割服装轮廓更为精细,具有较好的分割性能。     

门控多层融合的实时语义分割

针对语义分割任务中因模型下采样过程中的像素损失而导致的上采样像素难以精确还原的问题,提出一种基于门控多层融合的实时语义分割方法.考虑分割的实时性,采用轻量级模型作为基础网络进行特征信息的提取.为解决像素难以精确还原问题,设计了一种横向连接的门控注意力结构,此结构可以对目标特征进行筛选,并通过横向传递增强上采样特征图信息的多样性,从而提高特征图的还原精度.此外,还提出采用多层融合结构来整合不同网络层的语义信息,利用不同网络层间的语义表达差异对缺失像素进行补充.实验以CamVid和VOC为数据集,以512×512大小的图像为输入,测试结果表明,方法的图像语义分割精度达到72.9%,平均分割速度为43.1帧/s.     

An efficient human model customization method based on orthogonal-view monocular photos

Human body modeling is a central task in computer graphics. In this paper, we propose an intelligent model customization method, in which customer’s detailed geometric characteristics can be reconstructed using limited size features extracted from the customer’s orthogonal-view photos. To realize model customization, we first propose a comprehensive shape representation to describe the geometrical shape characteristics of a human body. The shape representation has a layered structure and corresponds to important feature curves that define clothing size. Next, we identify and model a novel relationship model between 2D size features and 3D shape features for each cross-section using real subject scanned data. We predict a customer’s cross-sectional 3D shape based on size features extracted from the customer’s photos, and then we reconstruct the customer’s shape representation using predicted cross-sections. We develop a new deformation algorithm that deforms a template model into a customized shape using the reconstructed 3D shape representation. A total of 30 subjects, male and female, with varied body shapes have been recruited to verify the model customization method. The customized models show high degree of resemblance of the subjects, with accurate body sizes; the accuracy of the models is comparable to scan. It shows that the method is a feasible and efficient solution for human model customization that fulfills the specific needs of the clothing industry.     

基于图像的人体特征点提取与尺寸测量

人体特征点提取和尺寸测量一直是虚拟服装试衣的关键内容.本文在人体图像基础上,通过对ASM算法进行改进实现人体特征点提取以及特征点尺寸测量.首先,算法计算待测图片中人脸和身体两个中心点欧式距离与对应模板进行匹配,改变传统ASM算法单一模板局部模板匹配模式,提高了初次模型匹配的准确率和效率;接着,以特征点为中心选择较少有效邻域点在其灰度训练模型中目标搜索,解决传统ASM方法匹配时间长且特征点易匹配失败问题;另外,针对人体胯部以下区域易出现仅单侧拟合效果较好问题,利用马氏距离公式选择特定矩阵大小邻域范围内点的灰度与灰度模型比较,并且结合人体体型分布及对称性特点进行拟合处理.实验结果表明了该方法能适应复杂背景下人体图像的特征点提取与尺寸测量,提高人体特征点提取和尺寸测量精度.     

Parameterization and parametric design of mannequins

This paper presents a novel feature based parameterization approach of human bodies from the unorganized cloud points and the parametric design method for generating new models based on the parameterization. The parameterization consists of two phases. First, the semantic feature extraction technique is applied to construct the feature wireframe of a human body from laser scanned 3D unorganized points. Secondly, the symmetric detail mesh surface of the human body is modeled. Gregory patches are utilized to generate G¹ continuous mesh surface interpolating the curves on feature wireframe. After that, a voxel-based algorithm adds details on the smooth G¹ continuous surface by the cloud points. Finally, the mesh surface is adjusted to become symmetric. Compared to other template fitting based approaches, the parameterization approach introduced in this paper is more efficient. The parametric design approach synthesizes parameterized sample models to a new human body according to user input sizing dimensions. It is based on a numerical optimization process. The strategy of choosing samples for synthesis is also introduced. Human bodies according to a wide range of dimensions can be generated by our approach. Different from the mathematical interpolation function based human body synthesis methods, the models generated in our method have the approximation errors minimized. All mannequins constructed by our approach have consistent feature patches, which benefits the design automation of customized clothes around human bodies a lot.     

Image-based virtual exhibit and its extension to 3D

In this paper we introduce an image-based virtual exhibition system especially for clothing product.It can provide a powerful material substitution function,which is very useful for customization clothing-built.A novel color substitution algorithm and two texture morphing methods are designed to ensure realistic substitution result.To extend it to 3D,we need to do the model reconstruction based on photos.Thus we present an improved method for modeling human body.It deforms a generic model with shape details extracted from pictures to generate a new model.Our method begins with model image generation followed by silhouette extraction and segmentation.Then it builds a mapping between pixeis inside every pair of silhouette segments in the model image and in the picture.Our mapping algorithm is based on a slice space representation that conforms to the natural features of human body.     

基于多特征融合的多尺度服装图像精准化检索

为了充分挖掘服装图像从全局到局部的多级尺度特征,同时发挥深度学习与传统特征各自在提取服装图像深层语义特征和底层特征上的优势,从而实现聚焦服装本身与服装全面特征的提取,提出基于多特征融合的多尺度服装图像精准化检索算法.首先,为了不同类型特征的有效融合,本文设计了基于特征相似性的融合公式FSF(Feature Similarity Fusion).其次,基于YOLOv3模型同时提取服装全局、主体和款式部件区域构成三级尺度图像,极大减弱背景等干扰因素的影响,聚焦服装本身.之后全局、主体和款式部件三级尺度图像分别送入三路卷积神经网络(Convolutional Neural Network,CNN)进行特征提取,每路CNN均依次进行过服装款式属性分类训练和度量学习训练,分别提高了CNN对服装款式属性特征的提取能力,以及对不同服装图像特征的辨识能力.提取的三路CNN特征使用FSF公式进行特征融合,得到的多尺度CNN融合特征则包含了服装图像从全局到主体,再到款式部件的全面特征.然后,加入款式属性预测优化特征间欧氏距离,同时抑制语义漂移,得到初步检索结果.最后,由于底层特征可以很好的对CNN提取的深层语义特征进行补充,故引入传统特征对初步检索结果的纹理、颜色等特征进行约束,通过FSF公式将多尺度CNN融合特征与传统特征相结合,进一步优化初步检索结果的排序.实验结果表明,该算法可以实现对服装从全局到款式部件区域多尺度CNN特征的充分提取,同时结合传统特征有效优化排序结果,提升检索准确率.在返回Top-20的实验中,相比于FashionNet模型准确率提升了16.4%."     

一种基于视频数据的服装显著性预测方法

人眼视觉注意机制表明当人眼观察目标时,注意力只会放在少数感兴趣的区域, 而自动忽略视野中大部分不感兴趣的其他区域。研究人类视觉注意机制,并构建有效的服装显 著性预测模型,可在后期用于指导更加逼真有效的服装运动建模,提高模拟效率。为此,对着 装人体运动视频数据进行分析,构造了种类多样的视频样本,并利用眼动技术采集真实人眼的 注视数据,采用高斯卷积生成视频帧的显著图作为训练模型所需的 Ground-truth。在进行视频特 征提取时,结合了底层图像特征、高层语义特征以及运动特征,共同构造特征向量和标签,并 通过支持向量机(SVM)训练得到基于服装视频的显著性预测模型。通过实验验证,该方法的性 能在服装显著性预测时,优于传统的显著性预测算法,具有一定的鲁棒性。     

航空影像上线状地物的半自动提取

提出了一种顾及操作性、稳定性、精度和速度的从航空影象半自动撮线状地物的策略和算法。在人工依次输入的每两个初始点之间，提取连续的抛物线。该方法先通过二模板快速相关和优化计算得到剔除了错误匹配后的初始抛物线参数，然后以其为初值，基于整体最小二乘法模板匹配，解求参数的精确值，以获得更高的定位精度。通过自适应的模板克服了线特征的对比度和线宽度的变化对定位带来的影响。实验结果表明，该算法有较强的抗干扰能力和较高的精度，有较好的实用价值。     

细粒度民族服饰图像检索的全局-局部特征提取方法

民族服饰图像具有不同民族风格的服装款式、配饰和图案,导致民族服饰图像细粒度检索准确率较低.因此,文中提出细粒度民族服饰图像检索的全局-局部特征提取方法.首先,基于自定义的民族服饰语义标注,对输入图像进行区域检测,分别获得前景、款式、图案和配饰图像.然后在全卷积网络结构的基础上构建多分支的全局-局部特征提取模型,对不同区域的服饰图像进行特征提取,分别获得全局、款式、图案和配饰的卷积特征.最后,先对全局特征进行相似性度量,得到初步检索结果,再使用Top-50检索结果的局部特征与查询图像的局部特征进行重排序,优化排序并输出最终的检索结果.在构建的民族服饰图像数据集上的实验表明,文中方法有效提高民族服饰图像检索的准确率.     

多特征融合与残差优化的点云语义分割方法

目的 当前的大场景3维点云语义分割方法一般是将大规模点云切成点云块再进行处理。然而在实际计算过程中,切割边界的几何特征容易被破坏,使得分割结果呈现明显的边界现象。因此,迫切需要以原始点云作为输入的高效深度学习网络模型,用于点云的语义分割。方法 为了解决该问题,提出基于多特征融合与残差优化的点云语义分割方法。网络通过一个多特征提取模块来提取每个点的几何结构特征以及语义特征,通过对特征的加权获取特征集合。在此基础上,引入注意力机制优化特征集合,构建特征聚合模块,聚合点云中最具辨别力的特征。最后在特征聚合模块中添加残差块,优化网络训练。最终网络的输出是每个点在数据集中各个类别的置信度。结果 本文提出的残差网络模型在S3DIS （Stanford Large-scale 3D Indoor Spaces Dataset）与户外场景点云分割数据集Semantic3D等2个数据集上与当前的主流算法进行了分割精度的对比。在S3DIS数据集中,本文算法在全局准确率以及平均准确率上均取得了较高精度,分别为87.2%,81.7%。在Semantic3D数据集上,本文算法在全局准确率和平均交并比上均取得了较高精度,分别为93.5%,74.0%,比GACNet （graph attention convolution network）分别高1.6%,3.2%。结论 实验结果验证了本文提出的残差优化网络在大规模点云语义分割的应用中,可以缓解深层次特征提取过程中梯度消失和网络过拟合现象并保持良好的分割性能。