基于机器学习的手绘卡通画语义分类及应用

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:wangxiaoxiao880523
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
基于机器学习的图片分类是指,利用机器学习生成一个神经网络,该网络可以给出相应图片的类别,这种方法相较于传统的图像识别方法更加快捷高效,也越来越多的应用于实际的应用系统中。但是基于机器学习的手绘卡通画分类系统十分稀少,本文针对如何构建这类系统以及其可能的应用前景开展了研究并实现。目前绝大部分可用于训练图像分类网络的数据集都是真实世界采集的图片,但是神经网络的分类能力与网络使用的数据集密不可分,实验结果也表明,若使用真实图片训练生成神经网络,得到的神经网络是无法分类卡通画图片的。不仅如此,现有的先进的分类神经网络也都是针对真实图片数据集进行优化的,并没有针对卡通画设计的神经网络结构。针对卡通数据集稀少以及没有针对卡通画的分类神经网络的现状,本文提出了一个基于机器学习方法的手绘卡通画语义分类系统。本文的研究成果如下:(1)实现了手绘卡通画数据集生成系统。我们通过从互联网收集的包含11个不同类别的4000个图像构建我们的基准数据集,并通过采用三种方法使我们的数据集扩充至10000张卡通画图片。这些方法包括:第一,使用自定义的卡通着色器,通过特殊的光照模型与边缘检测着色器相结合,使渲染的3D模型拥有手绘风格,最后进行多角度拍摄生成卡通画;第二,利用卡通画建模应用,将2D图片建模成3D模型,再利用自定义着色器渲染手绘风格,最后多角度拍摄,实现了一个2D-3D-2D的升维再降维的生成卡通画方法;第三,使用手绘风格化过滤器,将原始卡通图像转化为多种不同卡通风格,实现了彩铅风格、蜡笔风格等图像风格化方法,进一步提升了卡通画数据集的数据多样性。(2)实现了针对手绘卡通画的分类神经网络系统。本文采用的神经网络架构共有三项创新性的策略。通过利用这三项技术,系统的分类准确率较于目前最好的网络有5%的提升。这些策略包括:第一,输入统一风格化策略,该策略的主要思想是,通过对网络结构的输入图片作预处理,在不减少图片信息的情况下降低图片的复杂程度,以此来提升分类准确率;第二,特征插入型神经网络结构,该方法通过往神经网络特定位置插入全局特征,利用卡通画背景复杂度低,且前景大部分都是大色块的特点,插入颜色直方图等统计学信息,来提升网络的分类能力;第三,叠加型神经网络架构,该方法先通过预训练多个单一的网络,分离并提取网络主题,叠加特定位置的特征层作为新的混合网络,最后再训练成一个全新的网络,获得更强大的特征层,进一步提升了系统的分类能力。(3)本文还提出了基于卡通画语义分类的应用程序扩展。比如在卡通画建模时加入与卡通画语义分类匹配的声音或骨骼动画,还实现了结合语义信息的骨架提取方法,给之后的工作提供了参考。
其他文献
<正> 随着望子成龙的父母越来越注重孩子早期智力的开发、幼儿教育便越来越引起人们的重视。顺应这个潮流,灞桥区各级党委、政府十分重视幼教事业的发展,他们以对国家和民族
在科学技术飞速发展和普及的今天,人类社会已进入了信息技术时代.信息处理技术对各行各业都起着不可低估的重要作用.遵照邓小平同志关于"计算机普及要从娃娃做起"重要指示精
由中国医院协会血液净化中心管理分会主办的首届《血液净化通路论坛》将于2011年9月1-3日在北京召开。血液净化通路是透析患者的生命线,但透析通路相关的感染、狭窄和血栓形
维持性血液透析(maintain hemodialysis,MHD)是终末期肾脏病(end-stage renal disease,ESRD)患者主要的肾脏替代治疗手段,随着近年来血液透析设备的改进和技术的进步,血液透析患
富营养化现象会导致水中藻类过度繁殖,水中溶解氧降低,水体发臭,影响水体质量。导致此类现象产生的原因,主要为水中总磷未经污水处理厂有效去除。序批式活性污泥法(Sequencing Batch Reactor,SBR)污水处理工艺是一种常见的除磷工艺,在除磷过程中由于总磷在线仪表价格昂贵且存在大滞后,无法对总磷含量实时检测,不能建立有效的控制系统,且又不能将总磷超标排放,所以导致除磷剂过量投加,对活性
徐渭(1521-1593)作为明代文艺领域最受瞩目的人物,在诗文、书画、戏剧、军事理论等方面均取得了极高的成就,与汤显祖、李贽并成为“明代浪漫主义三巨头”。他上承复古,下启性灵,是转变时期杰出的文人,是文学史和艺术史上的一座丰碑,其艺文思想是等待后人挖掘的一座宝库。本文针对徐渭的文艺观展开研究探讨,在心学蓬勃发展、市民阶层兴起的背景之下分析讨论徐渭的文艺观和审美取向,从徐渭的传世作品之中找出文艺观
目的:初步探讨寒区新兵适应期训练伤低场磁共振表现及损伤分布规律。方法:对寒区某部2011年度所有参训新兵适应期训练有损伤者进行MR检查,观察其MR表现及损伤规律。结果:某部
在全球化和市场竞争日趋激烈的大背景下,专利信息的重要性越来越明显,已被提升到国家发展战略的高度。专利信息集技术、法律、经济信息于一体,它对于企业创新活动、市场竞争
对于无法建立自体动静脉内瘘或不能耐受自体动静脉内瘘建立的患者,以中心静脉长期留置导管建立透析通路是一种较为理想的选择,目前在临床上运用较为广泛。武警湖北总队医院血
<正> 评语是大家很熟悉的字眼,在教师、学生及家长的眼里,它似乎是班主任的“专利”。过去的评语像八股文,干瘪乏味,千人一面。在教育改革的浪潮中,评语也在改革。近年来,在