论文部分内容阅读
【摘 要】在生物科学研究“行为的神经环路基础”问题时，科研人员提出了微型荧光显微镜的概念，本文介绍我们开发的一款微型荧光显微镜，并结合STM32F407微控制处理器与CMOS图像传感器设计了相应的图像采集系统。
【关键词】微型荧光显微镜；图像采集；CMOS图像传感器；STM32
一、引言
“行为的神经环路基础”是神经科学和认知科学研究中的一项重大问题[1]，而受传统荧光显微镜的尺寸及质量的限制，科研人员在研究这一问题时必须把动物固定住观测，这就严重影响了观测的结果。因此，研发一种微型的、重量极轻的安装在无束缚动物的头部观测神经活动的荧光显微镜将极大推动生物科学的研究。现代微集成技术和数字电路技术是一项重要的进步，利用这项技术容易得到低廉的产品、优良的效果和创新性的应用，其影响力已经出现在多个研究领域，包括通讯，计算和基因组学等。[2]此技术的发展使得研制微型荧光显微镜成为现实。本文简单介绍了研制的微型荧光显微镜的镜体，着重研究了微型荧光显微镜图像采集系统，提出了以stm32f407和cmos图像传感器为核心的解决方案。
二、微型荧光显微镜简介
其中： 1.图像传感器、2A～B. 固定半圆环、3. 调节螺母、4. 消色差透镜、5. 滤光片、6. LED安装体、7. 聚光透镜体、8. LED模块、9. 聚光透镜、10. 激发滤光片、11. 物镜、12. 物镜体、13. 分色镜、14. 镜体、15. 内支架、16. 消色差透镜体、17. 螺杆、18.图像传感器安装接口
微型荧光显微镜可以实现对自由活动的动物（譬如小鼠，头部大小在1到3个厘米见方，身体重量在几十克）进行大脑神经活动成像研究。其只需安装在动物的头部，并不需要进行动力传输，也不承担外部负载，在进行结构设计时不需要考虑机械强度，即不需要进行强度计算，只需要做结构的微型化、轻量化、合理化设计。如图1所示，是我们实验室研制的微型荧光显微镜的机械结构，其体积只有10.5mm×9.5mm×19.5mm，质量仅1.5g，完全可以达到使用需求。整个光学成像过程是：LED模块发出的光线通过聚光透镜，聚光透镜将光进行聚光；聚光后的光照射到激发滤光片上，能够激发荧光的光透过激发滤光片，剩余的光被激发滤光片反射；能够激发荧光的光照射到分色镜上，其他对成像有影响的光直接透过分色镜，剩余的光被反射到物镜上；反射到物镜上的光通过物镜照射到被测细胞上；细胞表面的反射光再通过物镜照射到分色镜上，某些特定的光可以通过分色镜照射到滤光片上，滤光片对光进行滤光；滤光后的光照射到消色差透镜上，消色差透镜将两种不同波长的光聚焦到一点，形成光学图像。光学图像照射到图像传感器上转换成数字图像，然后上传至显示器显示图像。
三、图像采集系统基本设计方案
本文设计的针对于微型荧光显微镜的图像采集系统如图2所示分为4个模块：图像采集模块、LED模块、主控制模块和USB传输模块。LED模块主要实现LED灯的亮度控制及闪烁频率的控制，负责为荧光显微镜提供光源。图像采集模块负责显微图像数据的采集。主控制模块是整个系统的核心，负责图像数据的接收与上传，并能够通过USB模块接受上位机的命令以控制图像采集模块和LED模块的工作状态。
四、图像采集模块及LED模块
图像采集模块和LED模块都是直接安装在微型荧光显微镜的镜体上，在这合为一体介绍。图像采集模块的设计主要是图像传感器与数据传输的方式的选择。图像传感器主要分为两大类：CCD和CMOS。虽然CCD的成像质量更高，但CMOS芯片一般都集成有AD转换电路、驱动电路、时钟控制电路及微控制和处理电路，具有高度的集成性，[3]适用与小型化设计。本文中选用APTINA公司生产的MT9V024 CMOS图像传感器。MT9V024在752×480分辨率下可以达到最高60fps，支持串行LVDS和并行数据输出。LED模块选用高亮度的LXML-PB01-0023，其最高工作电流可达700mA。
采用并行数据输出时，图像传感器和主控制模块必须在一块PCB板上，无法远距离传输，因此本文采用LVDS串行数据传输，这样MT9V024距离主控制模块最远可达8米，满足了动物自由活动的空间，并减轻了镜体的质量。如图3所示是两个模块的示意图。
MT9V024串行输出的数据经过芯片DS92LV1212A解串，串行数据转为并行数据，然后上传至主控制模块。主控制模块通过I2C总线对MT9V024进行初始化及控制通信。数据采集后存储在主控芯片STM32F407的内存中。
DD311是单通道大功率LED驱动器，最高驱动电流可达1A。通过主控模块产生的PWM信号调节LED灯的亮度，同时通过MT9V024的LED_OUT引脚配合图像采集输出的高低电平信号控制LED灯的闪烁频率。和图像采集模块一样，LED灯的驱动电路也设计在主控制PCB板上。
五、主控制模块及USB模块
目前数字图像采集系统都是基于各种微控制处理器的嵌入式系统开发，如FPGA、DSP+CPLD、ARM或者STM32。[4]本文选择STM32F407为核心微控制处理器。STM32F407有丰富的接口及时钟资源，可扩展性强。如图4所示是主控制模块和USB模块的示意图。
STM32F407通过DCMI接口采集经DS92LV1212A解串的图像数据。DCMI接口是专用视频图像采集接口，支持8位、10位、12位并行数据输入，数据直接通过DMA进入内存，然后再经USB模块上传至PC。在采集图像时，在内存中至少要缓存两帧图像，以实现图像采集的连续性。STM32F407的内存只有196Kb ，用芯片IS61WV102416BLL扩展1M内存。STM32F407支持全速与高速USB接口，由于图像数据在15Mb/s，本设计中采用ULPI高速USB接口。同时主控芯片还通过USB接收上位机命令，再通过I2C总线配置图像传感器。USB控制芯片采用USB3300。在上位机上，可以实现图像的实时观测及处理。
六、结束语
本文实现了以STM32F407为核心的针对于微型荧光显微镜的图像采集系统。整个系统，电路集成度高、信噪比低、功耗低、成本低。图像传感器与LED灯独立于主控制PCB板之外，其间通过导线连接，采用LVDS串行数据传输，在640×480分辨率下可以达到46fps，实现了高帧率采集，同时实现了微型显微镜的微型化与轻量化要求。
参考文献：
[1]曹河圻，朱元贵，董而. 丹科学基金重视神经环路领域的基础研究——国家自然科学基金“情感和记忆的神经环路基础”重大研究计划项目启动[J].中国科学基金，2013，（1）：11-13.
[2]Kunal K Ghosh， Laurie D Burns， Eric D Cocker， Axel Nimmerjahn， Yaniv Ziv， miniaturized integration of a fluorescence microscope[J]. Nature Methods ，2011，（8）：871–878
[3]司骞. 数码显微镜图像采集处理系统的研制[C]. 硕士学位论文， 天津大学，2006：1-2.
[4]祝长峰 肖铁军 基于FPGA的视频图像采集系统的设计[J].计算机工程与设计，2008，29（17）：4404-4407.
【关键词】微型荧光显微镜；图像采集；CMOS图像传感器；STM32
一、引言
“行为的神经环路基础”是神经科学和认知科学研究中的一项重大问题[1]，而受传统荧光显微镜的尺寸及质量的限制，科研人员在研究这一问题时必须把动物固定住观测，这就严重影响了观测的结果。因此，研发一种微型的、重量极轻的安装在无束缚动物的头部观测神经活动的荧光显微镜将极大推动生物科学的研究。现代微集成技术和数字电路技术是一项重要的进步，利用这项技术容易得到低廉的产品、优良的效果和创新性的应用，其影响力已经出现在多个研究领域，包括通讯，计算和基因组学等。[2]此技术的发展使得研制微型荧光显微镜成为现实。本文简单介绍了研制的微型荧光显微镜的镜体，着重研究了微型荧光显微镜图像采集系统，提出了以stm32f407和cmos图像传感器为核心的解决方案。
二、微型荧光显微镜简介
其中： 1.图像传感器、2A～B. 固定半圆环、3. 调节螺母、4. 消色差透镜、5. 滤光片、6. LED安装体、7. 聚光透镜体、8. LED模块、9. 聚光透镜、10. 激发滤光片、11. 物镜、12. 物镜体、13. 分色镜、14. 镜体、15. 内支架、16. 消色差透镜体、17. 螺杆、18.图像传感器安装接口
微型荧光显微镜可以实现对自由活动的动物（譬如小鼠，头部大小在1到3个厘米见方，身体重量在几十克）进行大脑神经活动成像研究。其只需安装在动物的头部，并不需要进行动力传输，也不承担外部负载，在进行结构设计时不需要考虑机械强度，即不需要进行强度计算，只需要做结构的微型化、轻量化、合理化设计。如图1所示，是我们实验室研制的微型荧光显微镜的机械结构，其体积只有10.5mm×9.5mm×19.5mm，质量仅1.5g，完全可以达到使用需求。整个光学成像过程是：LED模块发出的光线通过聚光透镜，聚光透镜将光进行聚光；聚光后的光照射到激发滤光片上，能够激发荧光的光透过激发滤光片，剩余的光被激发滤光片反射；能够激发荧光的光照射到分色镜上，其他对成像有影响的光直接透过分色镜，剩余的光被反射到物镜上；反射到物镜上的光通过物镜照射到被测细胞上；细胞表面的反射光再通过物镜照射到分色镜上，某些特定的光可以通过分色镜照射到滤光片上，滤光片对光进行滤光；滤光后的光照射到消色差透镜上，消色差透镜将两种不同波长的光聚焦到一点，形成光学图像。光学图像照射到图像传感器上转换成数字图像，然后上传至显示器显示图像。
三、图像采集系统基本设计方案
本文设计的针对于微型荧光显微镜的图像采集系统如图2所示分为4个模块：图像采集模块、LED模块、主控制模块和USB传输模块。LED模块主要实现LED灯的亮度控制及闪烁频率的控制，负责为荧光显微镜提供光源。图像采集模块负责显微图像数据的采集。主控制模块是整个系统的核心，负责图像数据的接收与上传，并能够通过USB模块接受上位机的命令以控制图像采集模块和LED模块的工作状态。
四、图像采集模块及LED模块
图像采集模块和LED模块都是直接安装在微型荧光显微镜的镜体上，在这合为一体介绍。图像采集模块的设计主要是图像传感器与数据传输的方式的选择。图像传感器主要分为两大类：CCD和CMOS。虽然CCD的成像质量更高，但CMOS芯片一般都集成有AD转换电路、驱动电路、时钟控制电路及微控制和处理电路，具有高度的集成性，[3]适用与小型化设计。本文中选用APTINA公司生产的MT9V024 CMOS图像传感器。MT9V024在752×480分辨率下可以达到最高60fps，支持串行LVDS和并行数据输出。LED模块选用高亮度的LXML-PB01-0023，其最高工作电流可达700mA。
采用并行数据输出时，图像传感器和主控制模块必须在一块PCB板上，无法远距离传输，因此本文采用LVDS串行数据传输，这样MT9V024距离主控制模块最远可达8米，满足了动物自由活动的空间，并减轻了镜体的质量。如图3所示是两个模块的示意图。
MT9V024串行输出的数据经过芯片DS92LV1212A解串，串行数据转为并行数据，然后上传至主控制模块。主控制模块通过I2C总线对MT9V024进行初始化及控制通信。数据采集后存储在主控芯片STM32F407的内存中。
DD311是单通道大功率LED驱动器，最高驱动电流可达1A。通过主控模块产生的PWM信号调节LED灯的亮度，同时通过MT9V024的LED_OUT引脚配合图像采集输出的高低电平信号控制LED灯的闪烁频率。和图像采集模块一样，LED灯的驱动电路也设计在主控制PCB板上。
五、主控制模块及USB模块
目前数字图像采集系统都是基于各种微控制处理器的嵌入式系统开发，如FPGA、DSP+CPLD、ARM或者STM32。[4]本文选择STM32F407为核心微控制处理器。STM32F407有丰富的接口及时钟资源，可扩展性强。如图4所示是主控制模块和USB模块的示意图。
STM32F407通过DCMI接口采集经DS92LV1212A解串的图像数据。DCMI接口是专用视频图像采集接口，支持8位、10位、12位并行数据输入，数据直接通过DMA进入内存，然后再经USB模块上传至PC。在采集图像时，在内存中至少要缓存两帧图像，以实现图像采集的连续性。STM32F407的内存只有196Kb ，用芯片IS61WV102416BLL扩展1M内存。STM32F407支持全速与高速USB接口，由于图像数据在15Mb/s，本设计中采用ULPI高速USB接口。同时主控芯片还通过USB接收上位机命令，再通过I2C总线配置图像传感器。USB控制芯片采用USB3300。在上位机上，可以实现图像的实时观测及处理。
六、结束语
本文实现了以STM32F407为核心的针对于微型荧光显微镜的图像采集系统。整个系统，电路集成度高、信噪比低、功耗低、成本低。图像传感器与LED灯独立于主控制PCB板之外，其间通过导线连接，采用LVDS串行数据传输，在640×480分辨率下可以达到46fps，实现了高帧率采集，同时实现了微型显微镜的微型化与轻量化要求。
参考文献：
[1]曹河圻，朱元贵，董而. 丹科学基金重视神经环路领域的基础研究——国家自然科学基金“情感和记忆的神经环路基础”重大研究计划项目启动[J].中国科学基金，2013，（1）：11-13.
[2]Kunal K Ghosh， Laurie D Burns， Eric D Cocker， Axel Nimmerjahn， Yaniv Ziv， miniaturized integration of a fluorescence microscope[J]. Nature Methods ，2011，（8）：871–878
[3]司骞. 数码显微镜图像采集处理系统的研制[C]. 硕士学位论文， 天津大学，2006：1-2.
[4]祝长峰 肖铁军 基于FPGA的视频图像采集系统的设计[J].计算机工程与设计，2008，29（17）：4404-4407.