基于生成对抗网络的仿真假体视觉图像优化研究

来源 :内蒙古科技大学 | 被引量 : 0次 | 上传用户:zifeng_ok
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视觉假体是为了使盲人恢复部分视力而产生的一种视觉重塑系统。它利用外置的实时图像获取装置将外界信息采集并通过微型计算机处理并编码成特殊信号,再通过无线传输的方式使植入到盲人视觉通路中的装置接收到这些信号,并控制装置上的微型电极阵列产生合适的刺激电流,最终诱发植入者感知到带有外界信息的光幻视。光幻视点是植入者能感知到的假体视觉的最小单位,通过图像处理以及计算机编码技术来控制诱发光幻视点的刺激电流强度,微电极阵列位置等微型装置,从而帮助植入者能够获得一种外界信息与有序的光幻视点排列之间的映射关系。因此,向植入者如何解释由光幻视点构成的信息,寻找微电极数量有限的情况下帮助植入者进行日常活动的最小视觉信息需求,优化摄像机拍摄的图像转换成微电极中的电刺激之间的映射关系等问题具有重要意义且急需解决。由于向盲人被试植入视觉假体需要多个学科紧密配合并且还需进行繁杂的临床手术,借助计算机仿真来模拟光幻视点特性并在此基础上开展大量工作成为视觉假体研究领域一个重要分支,为进行更加深入地研究视觉假体图像处理技术提供了更加多样化的手段。本课题针对上述问题分别进行了研究和讨论,主要包括三个方面:首先建立了仿真假体视觉实时模拟系统,并根据该系统设计了心理物理学实验探究模拟光幻视点的分辨率,近距离目标的尺寸以及目标颜色与背景之间的对比度这三种参数对被试完成眼手协同定位任务的影响。其次针对临床实验中植入者接收到的光幻视点缺失现象提出了一种基于生成对抗网络进行光幻视点增补的图像处理策略,在自建图像集中训练并得到图像生成模型,在此基础上重新设计了全局损失函数,当输入一张存在缺失的像素化图像时,生成模型可以对像素化图像中缺失的模拟光幻视点增补,并通过心理物理学实验验证了在仿真假体视觉情景中此方法是有效的。最后,将U-net和Pix2pix两个神经网络应用到仿真假体视觉中对图像进行前景目标提取和像素化,首先通过图像分割数据集训练一个U-net网络得到前景提取后的结果,将其像素化之后与提取前的原图配对,再利用配对后的数据集训练一个Pix2pix网络从而实现了将彩色图像“翻译”为像素化图像的目标。在测试集中对此模型与传统像素化处理策略进行了量化比较,并得到了更好的像素化结果。通过上述的研究与结果,证明了心理物理实验和生成对抗网络来优化仿真条件下的假体视觉表现是可行的。希望通过本研究为视觉假体的设计与制造提供新的思路与方法,并帮助到更多的盲人。
其他文献
商品房的地段及其宏观、微观环境,基地的开发强度以及建筑内部空间和功能,是确保社会效益、环境效益、经济效益的主要因素。作者凭在房地产开发公司的多年工作经验,用大量实证,阐
逶迤数百公里的祁连山,是河西人民赖以生存的基础,祁连山的生态环境能否建设好、保护好,能否保证祁连山青山常在、绿水长流,是关系到甘肃经济能否有大的发展和河西几百万人生
进口替代工业化发展模式的局限性。到上个世纪50年代末和60年代初,墨西哥进口替代工业化发展模式的局限性越来越突出。保护主义政策促进了进口替代简易阶段的完成,到1950年墨西
随着我国经济的快速发展和买方市场的变化,市场需求也在不断发生改变,因此未来市场发展的趋势将以细分化为主,以此来适应消费者需求。我国彩电行业的领军品牌是TCL电子,从最初的后来者到领军者的蜕变,见证了其品牌的成长历程,期间一直保持着先进的战略思维,以此来面对国际化竞争。TCL彩电一直保持着良好的工作状态,在国际化运营、营销渠道改革、互联网技术等层面都处于该行业的领先地位,也一直保持着先进的创新理念。
目的对透明质酸钠(sodium hyaluronate,SH)的结构进行表征。方法采用傅里叶变换红外光谱(FTIR)、圆二色谱(CD)和核磁共振(NMR)对 SH 的结构进行分析。结果 SH 的 FTIR、cD 及
在五代《花间集》所载的十八位词人中,无论从人品看,还是从词品看,鹿虔扆都堪称为佼佼者。这位在后蜀后主孟昶手下任过永泰军节度使、检校太尉、太保等职的词人,据《乐府纪闻
<正>引言Z公司是国内矿用变压器行业龙头企业,专业生产矿用隔爆型移动变电站和矿用隔爆型干式变压器两大系列产品,同时是电线电缆的生产企业,是全国煤炭行业机电设备定点生产
鲁迅校本《岭表录异》是在武英殿聚珍本的基础上校勘而成。该校本体现了鲁迅对岭南少数民族宗教文化本质和边疆少数民族传统宗教自然观的准确把握。该书之中的“铜柱”条记载
政治生态是全面从严治党的重要内容,建设一个好的政治生态,有利于加强党的建设,保证党的肌体康健,固本清源,有助于夯实从严治党管党的基础,正风肃纪,营造风清气正的从政环境
【单元目标概说】本单元是古诗文单元 ,亦可称之为表现“理想”主题的单元。本单元的文章或描叙了理想的社会模式 ,传达一种憧憬 ;或吟咏理想的人格 ,抒写一种追求。文章凝练