论文部分内容阅读
视觉假体是为了使盲人恢复部分视力而产生的一种视觉重塑系统。它利用外置的实时图像获取装置将外界信息采集并通过微型计算机处理并编码成特殊信号,再通过无线传输的方式使植入到盲人视觉通路中的装置接收到这些信号,并控制装置上的微型电极阵列产生合适的刺激电流,最终诱发植入者感知到带有外界信息的光幻视。光幻视点是植入者能感知到的假体视觉的最小单位,通过图像处理以及计算机编码技术来控制诱发光幻视点的刺激电流强度,微电极阵列位置等微型装置,从而帮助植入者能够获得一种外界信息与有序的光幻视点排列之间的映射关系。因此,向植入者如何解释由光幻视点构成的信息,寻找微电极数量有限的情况下帮助植入者进行日常活动的最小视觉信息需求,优化摄像机拍摄的图像转换成微电极中的电刺激之间的映射关系等问题具有重要意义且急需解决。由于向盲人被试植入视觉假体需要多个学科紧密配合并且还需进行繁杂的临床手术,借助计算机仿真来模拟光幻视点特性并在此基础上开展大量工作成为视觉假体研究领域一个重要分支,为进行更加深入地研究视觉假体图像处理技术提供了更加多样化的手段。本课题针对上述问题分别进行了研究和讨论,主要包括三个方面:首先建立了仿真假体视觉实时模拟系统,并根据该系统设计了心理物理学实验探究模拟光幻视点的分辨率,近距离目标的尺寸以及目标颜色与背景之间的对比度这三种参数对被试完成眼手协同定位任务的影响。其次针对临床实验中植入者接收到的光幻视点缺失现象提出了一种基于生成对抗网络进行光幻视点增补的图像处理策略,在自建图像集中训练并得到图像生成模型,在此基础上重新设计了全局损失函数,当输入一张存在缺失的像素化图像时,生成模型可以对像素化图像中缺失的模拟光幻视点增补,并通过心理物理学实验验证了在仿真假体视觉情景中此方法是有效的。最后,将U-net和Pix2pix两个神经网络应用到仿真假体视觉中对图像进行前景目标提取和像素化,首先通过图像分割数据集训练一个U-net网络得到前景提取后的结果,将其像素化之后与提取前的原图配对,再利用配对后的数据集训练一个Pix2pix网络从而实现了将彩色图像“翻译”为像素化图像的目标。在测试集中对此模型与传统像素化处理策略进行了量化比较,并得到了更好的像素化结果。通过上述的研究与结果,证明了心理物理实验和生成对抗网络来优化仿真条件下的假体视觉表现是可行的。希望通过本研究为视觉假体的设计与制造提供新的思路与方法,并帮助到更多的盲人。