基于双注意力机制和元迁移学习的个性化图像美学评价方法

个性化图像美学评价针对不同用户之间的个性化审美差异进行感知评估,取得了广泛的应用。然而,目前存在的大众化图像美学模型无法很好地适应小样本个性化图像美学评价任务。为解决该问题,提出了一种融合双注意力机制的EfficientNet网络和元学习的PIAA方法（DA-EBLG-PIAA）,将单个用户的个性化打分分别组成不同的单个任务,使用EfficientNet网络作为主干网络,适应小样本学习任务,并融合了双注意力机制,更好地捕捉了空间和通道维度中的全局特征依赖关系。实验结果表明提出的个性化美学评价方法性能优于许多当前存在的模型,可以有效地应用于个性化图像美学感知评价。     

基于深度学习的自适应水墨画计算美学评估

近几年艺术作品的计算美学评估已成为一个热门的研究方向.但现有工作主要研究照片和油画,关于水墨画的定量审美评估却鲜有尝试.水墨画通过水墨相调和笔法变化来表现画面,因而在视觉特征、语义特征和审美准则上与照片和油画有显著不同.针对此问题,采用深度学习技术,提出一种自适应的水墨画计算美学评估框架.该框架首先构建水墨画图像美学评价基准数据集;然后根据水墨画审美标准提取全局与局部图像块作为多路输入,并设计一种多视角并行深度卷积神经网络来提取深度审美特征;最后基于水墨画的题材查询机制,构建自适应深度审美评估模型.实验结果表明,文中包含6个并行题材卷积组的多视角网络架构相较基础VGG16架构有较高的审美评估性能,提取的深度审美特征明显优于传统手工设计特征,其自适应模型评估结果与人工审美评价之间达到0.823的皮尔森高度显著相关,且均方误差为0.161.此外,干扰实验表明,文中的网络对构图、墨色和纹理3个绘画要素较为敏感.该研究将不仅为国画计算美学评估提供了一个基于深度学习的参考框架,而且有助于进一步探索人类审美感知与水墨画中深度学习特征之间的关系.     

基于语义感知的图像美学质量评估方法

当前图像美学质量评估的研究主要基于图像的视觉内容来给出评价结果,忽视了美感是人的认知活动的事实,在评价时没有考虑用户对图像语义信息的理解。为了解决这一问题,提出了一种基于语义感知的图像美学质量评估方法,将图像的物体类别信息以及场景类别信息也用于图像美学质量评估。运用迁移学习的思想,构建了一种可以融合图像多种特征的混合网络。对于每一幅输入图像,该网络可以分别提取出其物体类别特征、场景类别特征以及美学特征,并将这三种特征进行高质量的融合,以达到更好的图像美学质量评估效果。该方法在AVA数据集上的分类准确率达到89.5%,相对于传统方法平均提高了19.9%,在CUHKPQ数据集上的泛化性能也有了很大提升。实验结果表明,所提方法在图像美学质量评估问题上,能够取得更好的分类性能。     

可计算图像美学研究进展

可计算图像美学研究目的是希望计算机能够模拟人类的视觉系统与审美思维对图像进行美学价值的判断。其研究成果可以应用到融合主观感知的基于语义的图像检索、图像美学质量评估、图像的美学修正、摄影的美学预测、艺术作品风格分析、人机交互等方面。该研究涉及美学、艺术、认知科学、计算机科学、心理学等多个学科,属于多学科交叉的创新性前沿研究课题,具有重要的理论研究价值和应用前景。总结国际上最新研究成果,对该研究的常用方法和存在问题进行了系统的分析及综述,给出了可计算图像美学分析研究的一般框架,对图像的审美度量、美学视觉特征提取和美学推导等关键技术,以及图像美学的应用与发展前景等进行了详细讨论,并且针对当前研究存在的问题提出关键的解决方案。     

绘画图像美学研究方法综述

图像美学作为当前情感计算和计算机视觉领域的研究热点,为数字化绘画图像的美学研究提供了理论基础和有效方法,而且在人类绘画艺术作品的研究与保护方面具有重要的应用价值。为了更好地研究绘画图像的美学特性,本文主要针对现阶段国内外的绘画美学研究相关文献,进行详细的整理与分析。以大量文献研究为基础,分析中西方绘画的不同表现形式及形成原因;归纳总结了两种绘画图像美学研究方法：实验美学与计算美学,并概述两类方法的相关性。概括了当前绘画图像研究中的常用数据集;然后,以绘画图像样本数量、受试者人数、审美等级及眼动指标等为依据,详细归纳了绘画图像实验美学方法的研究现状及发展;基于图像数量、特征、分类数量、分类算法和准确率,主要从绘画图像分类的角度（包括情感、复杂度、画家和风格等）详细综述了绘画图像计算美学方法的研究现状及发展;其次,简要梳理了绘画图像美学研究中常用的评价方法,并分析了当前研究中的常用评价指标;最后,提出了当前绘画图像美学研究中存在的问题和挑战,并探讨了存在问题的应对之策。     

可计算的图像美学分类与评估

可计算图像美学的研究目的是希望计算机能够模拟人类的视觉系统与审美思维,对图像进行美学价值的判断.以摄影图像为研究对象,首先通过显著区域检测将图像划分为整体区域和关键区域,提取有效的低层视觉特征、高层美学特征和区域特征;然后以人对图像的主观美感评分为基础,采用机器学习的方法建立图像美感等级分类器和美学分数评估模型,实现了高、低美感图像的自动分类,并能对图像的美学分数进行自动评估.在美学图像数据库上的实验测试结果显示,高、低美感分类模型的平均分类准确率为75.37%;美学分数自动评估模型的结果与人的主观审美评分之间的相关性为0.790,均方根误差为0.244;该结果符合人类对图像的审美感知.同时,通过与其他算法进行对比实验,结果表明文中算法更为有效.     

深度卷积神经网络在图像美学评价的应用综述

随着近年来深度学习的日益发展,图像美学评价逐渐成为一个新的热门研究课题,深度卷积神经网络在图像美学评价的应用成功地取得了可观的发展成果,并引起了广泛的关注。为了解决现有综述存在的文献概括不全、对该技术的发展情况认识不足的问题,先后从全局感知和局部感知、个性化查询、手工特征提取与深度卷积神经网络结合等角度对其发展情况进行了详细地阐述,对图像美学评价、图像裁剪、工具应用等应用情况作了分析,并从充分结合多场景、巧用构图规则、提前建立美学图像数据集等角度进行了未来工作展望。     

基于情境感知的移动阅读个性化推荐服务模式探析

为了满足移动阅读用户在不同阅读情境中的服务需求，提高移动阅读平台的服务质量，文章将情境感知理论融入移动阅读个性化推荐服务中，对基于情境感知的移动阅读个性化推荐服务模式进行探析。首先阐述基于情境感知的移动阅读个性化推荐服务流程，然后构建基于情境感知的移动阅读个性化推荐服务模型，并详细介绍模型中的各个构成模块，最后对如何科学、有效地评估基于情境感知的移动阅读个性化推荐服务效果进行讨论，介绍三类推荐服务效果评估方式。     

绘画艺术图像的计算美学: 研究前沿与展望

绘画艺术是人类艺术创作的重要组成部分, 绘画艺术图像的计算美学是利用机器实现可计算的人类审美过程, 其在大规模绘画的自动化分析和机器对感性的计算建模上具有重要的应用价值和科学意义. 针对其交叉学科的特点, 本文首次从人类审美的感知、认知和评价三个关键过程出发, 将绘画艺术图像的计算美学研究完整地归纳为属性识别、内容理解和美学评价三方面研究内容, 对其中的问题建模、数据获取和前沿方法等关键科学问题进行了归纳总结, 并对绘画计算美学的三方面研究内容进行了对比、思考和展望.     

基于情境感知和终端适配的个性化信息推送模型构建

提出了基于情境感知和终端适配的个性化信息推送系统模型.基于无线传感器网络技术,搭建用户情境感知模型,实时获取用户情境信息.基于RFID技术,实现终端设备信息的自动获取,并建立终端设备信息库及其关联机制,从而推送与终端适配的个性化信息.该研究将为个性化信息推送提供一种新的方法.     

群智感知中基于社交属性及有效用户计算的任务分发机制

随着无线传感器网络的高速发展和多种移动智能设备的普及,移动群智感知(mobile crowd sensing,MCS)成为移动计算的核心。利用群智感知可完成大规模、复杂环境及社会感知任务,其中任务分发是这种应用中的一个重要环节。针对任务分发过程中存在感知环境复杂、用户数量达不到要求、收集数据质量低等问题,提出一种基于社交属性及有效用户计算的任务分发机制(effective user calculation,EUC),该机制具有根据任务来筛选用户的特点,从用户角度看,EUC考虑了用户的社会性,由用户的社交网络传递相关信息来增加平台的有效用户数;从平台的角度看,EUC可根据任务的接收和提交情况,动态调整有效用户的积分,从而保障整个系统的有效用户数。理论分析和实验结果表明,所提出的机制可提高系统的任务分发效率,并改善了收集数据的质量。     

反映人的认知习惯的商品检索方法

目的 便捷的商品检索是用户网络购物体验良好的关键环节。由于电商对商品描述方式的规范性要求以及用户对商品属性理解差异等问题，基于关键词的检索方法在商品检索的应用并不理想。近年来，以图搜图的检索方式在各大电商平台上得到越来越多的应用，但检索结果往往不尽如人意。为此，提出了一种新的检索思路，从商品外观设计特征出发，将人们对商品的认知模式引入到商品图片的检索过程，从而获得更符合人们预期的检索结果。方法 以时尚女包商品为例，在分析设计师的设计规范的基础上，将外观设计特征分解为形状特征、颜色特征和设计元素特征。利用深度卷积神经网络建模、提取特征，并使用哈希方法和Top3类内检索算法加快检索速度。结果 利用建立的商品数据集构建3个对应的特征模型，并进行分类识别和图像检索实验。结果表明，各个模型Top1的识别准确率均小于95%，而Top3的识别准确率均在98.5%以上；商品检索速度加快了将近3.5倍。实验及用户调查结果表明，本文提出的检索方法与淘宝、百度图片等基于图像的检索工具相比，检索结果更为多样，与原图像相似度更高。结论 本文提出的从商品外观设计规范出发、与人的认知模式相结合的商品检索方法，更能满足用户的检索意图，可用于时尚女包商品检索，对基于图像的其他商品的检索方法的研究具有借鉴意义。     

Beyond the User Preferences: Aligning the Prototype Design to the Users’ Expectations

It is important for practitioners to conceptualize and tailor a prototype in tune with the users’ expectations in the early stages of the design life cycle so the modifications of the product design in advanced phases are kept to a minimum. According to user preference studies, the aesthetic and the usability of a system play an important role in the user appraisal and selection of a product. However, user preferences are just a part of the equation. The fact that a user prefers one product over the other does not mean that he or she would necessarily buy it. To understand the factors affecting the user's assessment of a product before the actual use of the product and the user's intention to purchase the product we conducted a study, reported in this article. Our study, a modification of a well‐known protocol, considers the users’ preferences of six simulated smartphones each with different combination of attributes. A sample consisting of 365 participants was involved in our analysis. Our results confirm that the main basis for the users’ pre‐use preferences is the aesthetics of the product, whereas our results suggest that the main basis for the user's intention to purchase are the expected usability of the product. Moreover, our analysis reveals that the personal characteristics of the users have different effects on both the users’ preferences and their intention to purchase a product. These results suggest that the designers should carefully balance the aesthetics and usability features of a prototype in tune with the users expectations. If the conceptualization of a product is done properly the redesign cycles after the usability testing can be reduced and speed up the process for releasing the product on the market.     

用户多维感知的3D图像体验质量评价

目的 符合用户视觉特性的3维图像体验质量评价方法有助于准确、客观地体现用户观看3D图像或视频时的视觉感知体验,从而给优化3维内容提供一定的思路。现有的评价方法仅从图像失真、深度感知和视觉舒适度中的一个维度或两个维度出发对立体图像进行评价,评价结果的准确性有待进一步提升。为了更加全面和准确地评价3D图像的视觉感知体验,提出了一种用户多维感知的3D图像体验质量评价算法。方法 首先对左右图像的差异图像和融合图像提取自然场景统计参数表示失真特征;然后对深度图像提取敏感区域,对敏感区域绘制失真前后深度变换直方图,统计深度变化情况以及利用尺度不变特征变换（SIFT）关键点匹配算法计算匹配点数目,两者共同表示深度感知特征;接下来对视觉显著区域提取视差均值、幅值表示舒适度特征;最后综合考虑图像失真、深度感知和视觉舒适度3个维度特征,将3个维度特征归一化后联合成体验质量特征向量,采用支持向量回归（SVR）训练评价模型,并得到最终的体验质量得分。结果 在LIVE和Waterloo IVC数据库上的实验结果表明,所提出的方法与人们的主观感知的相关性达到了0.942和0.858。结论 该方法充分利用了立体图像的特性,评价结果优于比较的几种经典算法,所构建模型的评价结果与用户的主观体验有更好的一致性。     

Instructional manipulation of users' mental models for electronic calculators

A mental model for a calculator or computer refers to the user's conception of the “invisible” information processing states and transformations that occur between input and output. This paper explores the following ideas concerning users' mental models for electronic calculators: (1) users differ greatly in their mental models in spite of similar “hands-on” experience; (2) users often tend to develop either impoverished or incorrect models; (3) users can be encouraged to develop more useful mental models through instructional intervention.     

基于改进Transformer的广告点击率预估模型

针对现有的广告点击率预估模型未能精准挖掘用户历史兴趣及历史兴趣对目标广告点击与否的影响,提出了一种基于改进Transformer的广告点击率预估模型.该模型采用Transformer网络捕捉隐藏在用户点击序列背后的潜在历史兴趣;同时针对Transformer建模用户历史兴趣无法有效关联目标广告的问题,提出了一种改进的Transformer网络.改进后的Transformer不但有效建模用户历史兴趣,而且考虑了跟目标广告的关联.新模型采用辅助损失函数来监督改进的Transformer对用户历史兴趣的抽取过程,然后采用注意力机制进一步建模用户的历史兴趣和目标广告的相关性以提升模型的预估性能.实验结果表明新模型有效提升了广告点击率的预估效果.     

Modeling users' task performance on the mobile device: PC convergence system

This study aims to establish a model-based approach for user interface design that simultaneously considers the system's information hierarchy, users' task procedure knowledge, and system interfaces. The approach is based on a framework that contains multiple interaction models to express both system elements and users' knowledge. The framework evaluates system interface through the interaction between user's knowledge on interface, task procedure and information structure perceived by the user in the system. The interface is evaluated by its contribution to the users' task performance and system navigation.These three factors were defined as design factors that affect users' task performance. Through the crosscheck process of models, the relation between information, interface, and task procedure is calculated into combined difficulty index (CDI) that expresses the difficulty of a system interface that users would experience during the use of system. A user test was conducted for the validation of the CDI. The difficulties of the interface of a mobile healthcare system were predicted with the CDI, and the predictions were compared with the experimental results, where the users' performance showed consistence with the prediction.     

Using event related potentials to investigate visual aesthetic perception of product appearance

Visual aesthetic directly affects the user's purchase decision and results from the user's analysis and judgment after perceiving product appearance. Therefore, understanding the neural mechanisms of visual experience is critical for product design. This study combined subjective evaluation with ERPs (event‐related potentials) to investigate the user's aesthetic experience as evoked by smartphones. A visual aesthetic scale was constructed, and the results from the questionnaire were used to verify the reliability of the aesthetic scale. Before the ERPs experiment was constructed, smartphones were divided into higher visual aesthetic and lower visual aesthetic based on subjective evaluation according to the aesthetic scale. An amended oddball paradigm was then used in the ERPs experiment. Landscapes were presented as rare targets, while smartphone pictures were presented as frequent nontarget stimuli. The ERPs were then averaged separately for each aesthetic type. Two negative components were recorded and compared with respect to two aesthetic types on the participants’ prefrontal, frontal, and central sites. The smartphone pictures with lower scores of visual aesthetic elicited larger amplitudes of N100/N200 than those with higher scores according to the within‐subjects, repeated‐measures analysis of variance. The exploring of neural responses correlated with visual aesthetic can provide an accurate method of measuring the user's perception and can help marketers know which product gives the user a higher visual aesthetic experience. The difference of ERPs may be taken as an evaluating indicator of product design.     

面向人机对话意图分类的混合神经网络模型

随着人机对话的不断发展,让计算机能够准确地理解用户查询意图,对整个人机对话领域都有着重要意义.意图分类的主要目标是在人机对话的过程中判断用户的意图,提升人机对话系统的准确度与自然度.首先分析多个分类模型在意图分类任务上的优缺点.在此基础上,提出一种混合神经网络模型,综合利用多个深度网络模型的多样性输出.在输入特征预处理上,采用语言模型词向量,将语言模型拥有的语义挖掘能力应用到混合网络中,可以进一步提升模型的表达能力.所提出的混合神经网络模型相对于最好的基准模型在两份数据集上分别取得了2.95%和3.85%的性能提升.新模型在该数据上取得了最优的性能.     

Application of improved clustering algorithm in investment recommendation in embedded system

The user's investment behaviour is individual, and group-oriented, which can reflect the user's cognitive background and interest on a certain extent. The user investment group can help users to find similar investment partners. Users can view the investment or other related people's interests. With the development of the Internet financial industry, people's demand for Internet financial knowledge services has become increasingly strong. Accessing financial information and conducting financial transactions through online financial platforms has become normal for investors. As a popular research area, the recommendation system can help users to better use Internet information, improve user loyalty, and promote products. In this paper, an improved kernel cluster-based incremental clustering method is proposed, and the stock information of the Shanghai Stock Exchange is used as the experimental data for cluster mining. The experimental results show that the improved kernel-based incremental clustering algorithm proposed in this paper can complete the investment recommendation for financial users. For a certain extent, it reduces the risk of financial investment, enhances the stability of the financial market, and has a strong positive effect.