Nature Methods | 深度学习：二维图片到三维的变换
荧光显微镜在生命科学等学科中有重要作用。通过激发样本的特异性荧光标记，荧光显微镜可以准确揭示生物内部特定的组织，结构和活动。
2019年11月4日，来自UCLA的Aydogan Ozcan教授科研团队在Nature Methods上发表题为“Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning” 的研究文章，提出了一种增强荧光显微镜功能的方法。该方法利用人工智能从二维的荧光图片计算生成对应的三维荧光样本，并由此揭示生物体内部荧光标记的神经活动。【1】。（本文第一作者为武绎宸博士，Aydogan Ozcan教授为本文的通讯作者，并任UCLA电子电气工程的校长教授，及加州纳米研究中心CNSI的副董事）在此之前，该研究小组还提出过用深度学习提升显微镜图像分辨率和对比度的方法【2-4】。
文章作者们将此方法命名为 Deep-Z。除了模拟样本三维信息以外，Deep-Z还可以以数字方式修正成像过程中引入的像差，比如样片的倾斜或者弯曲造成的离焦误差。另外，作者们还展示了用Deep-Z将样本的宽场显微镜图像转化为对应的高端显微镜（如共聚焦显微镜）图像的跨模式变换。
武绎宸博士指出：“利用深度学习，Deep-Z提供了一种非常强大的三维荧光样本成像方法 。相比于机械三维扫描，虚拟三维重建的方式极大提升了成像速度，减少了对样本的重复曝光和由此产生的光损伤。” 因此，Deep-Z为生物学家和生命科学研究者提供了一种非常简洁，快速，有效和高性价比的荧光显微成像方法。另一方面，Deep-Z对相差的数字矫正可以用于活体成像中常见的样本离焦和倾斜等情况。Deep-Z支持的跨模式变换也为研究工作者提供了通过较低端显微镜图像生成较高端显微镜图像的一种方式。
Deep-Z利用深度学习将二维荧光图像中离焦的三维特征提取出来，并由此对样本进行三维深度重构。Deep-Z利用了类似于条件生成对抗网络的结构【5-7】，并利用扫描荧光显微镜得到实验图像作为训练集来训练神经网络。训练集包含不同样本在不同的深度平面得到的荧光图像，以获得在焦面以及离焦的样本荧光特征。训练好的神经网络可以用于盲测独立于训练集的测试集，利用单张的二维荧光图像来重建样本的三维特征。
UCLA的科学家们将Deep-Z用于秀丽线虫（C. elegans）神经的荧光成像。秀丽线虫是一种圆形线虫，其神经系统被广泛研究，是神经科学中最常见的一种标准模型。科学家通过用荧光显微镜记录一个二维的视频，利用Deep-Z重构其三维视频，进一步可以重建线虫体内的三维的神经活动。传统的方式需要在视频的每一帧进行深度的机械扫描以获得三维视频。相比之下，Deep-Z的模拟三维视频方式很大程度上提升了视频记录速度，同时减少了对线虫样本的曝光量和光损伤。
值得一提的是，神经网络的训练集只包含显微镜拍到的二维图像；但是因为使用了全卷积的网络结构，测试集可以包含三维曲面图像而不用重新进行训练，比如倾斜或者弯曲的样本。本文的共同一作Yair Rivenson博士指出，该特征使得Deep-Z可以提升弯曲或者更复杂的结构的样本的成像质量。Yair Rivenson博士现任UCLA的助理客座教授。
在跨模式变换的实验中，Deep-Z的训练集使用了两种荧光显微镜的图像：宽场显微镜和共聚焦显微镜。通常，共聚焦显微镜图像有更高的分辨率和对比度，但是共聚焦显微镜的成像过程需要对样本进行逐点曝光扫描，而宽场显微镜则可以通过一次曝光得到整个二维图像。而利用训练过的Deep-Z神经网络，二维的宽场显微镜图像可以被用来重构三维的共聚焦显微镜图像，进一步提升了图像的质量，同时减少了对样本扫描和曝光的时间。
Ozcan教授说，Deep-Z本质上提供了一种普适性的跨模式转换方法。Deep-Z不仅可以用于宽场显微镜到共聚焦显微镜的变换。每一种显微镜都有各自的优势和不足。这种深度学习的方法使得我们可以在各种显微镜之间取长补短，利用人工智能结合不同显微镜的优势。
本研究论文的其他作者包括UCLA的博士生王宏达，骆依林，博士后研究员Eyal Ben-David，和加州纳米研究中心科学指导Laurent A. Bentolila，以及来自以色列希伯来大学的Christian Pritz。
参考文献
1.Wu, Y. et al. Three-dimensional virtual refocusing of fluorescence microscopy images using deep learning. Nat. Methods 1–9 (2019) doi:10.1038/s41592-019-0622-5.
2.Rivenson, Y. et al. Deep learning microscopy. Optica 4, 1437–1443 (2017).
3.Wu, Y. et al. Bright-field holography: cross-modality deep learning enables snapshot 3D imaging with bright-field contrast using a single hologram. Light Sci. Appl. 8, 25 (2019).
4.Wang, H. et al. Deep learning enables cross-modality super-resolution in fluorescence microscopy. Nat. Methods 16, 103 (2019).
5.Goodfellow, I. J. et al. Generative Adversarial Networks. (2014).
6.Mirza, M. & Osindero, S. Conditional Generative Adversarial Nets. ArXiv14111784 Cs Stat (2014).
7.Isola, P., Zhu, J.-Y., Zhou, T. & Efros, A. A. Image-To-Image Translation With Conditional Adversarial Networks. in IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 1125–1134 (2017).
