深度学习加快了3D微观神经成像的速度
德克萨斯州奥斯汀和圣地亚哥Salk研究所的研究人员使用深度学习技术，开发了一种新的显微方法，可以使用于大脑成像的显微技术快16倍。研究人员使用德克萨斯大学奥斯汀分校（UT Austin）德克萨斯高级计算中心（TACC）的数据训练了他们的深度学习系统。索尔克生物学研究所Waitt先进生物光子学核心设备的负责人Uri Manor认为，深度学习可用于提高显微图像的分辨率，类似于用于提高卫星和MRI图像分辨率的方法。他与图像分析专家Linjing Fang共同开发了一种使用图形处理单元（GPU）来加快显微图像处理速度的方法。
Manor与UT奥斯汀分校的Kristen Harris教授合作，为深度学习培训开发了大量数据。他使用德克萨斯高级计算中心的Maverick超级计算机，创建了高分辨率显微图像的低分辨率类似物，并在这些图像上训练了深度学习网络。他最初创建低分辨率图像的超分辨率版本的尝试均未成功。曼诺说：“当我们尝试在比低分辨率训练数据大得多的真实、低分辨率数据上测试系统时，网络效果不佳。”Manor和Fang一直在通过计算降低训练对图像的分辨率，但是它们的图像仍然不够低。他们正在使用一种称为生成对抗网络（GAN）的深度学习架构。
Fast.ai的创始人Jeremy Howard和来自Wicklow AI Medical Research Initiative（WAMRI.ai）的Fred Monroe来到Salk寻找可以从深度学习中受益的研究问题。霍华德和门罗向Manor及其小组建议，他们要添加一些模糊和不同种类的噪点，以使其图像真正劣质。Salk研究人员将其图像变得劣质，直到它们看上去与在“真实世界”条件下获取的低分辨率图像相似（在某些情况下更差）。在Howard和Monroe的建议下，Salk团队还从GAN切换到U-Net架构，该团队发现该架构更易于训练，并且在消除噪音方面更胜一筹。Manor使用新的图像和深度学习架构对他的人工智能（AI）系统进行了重新训练，发现他的系统可以创建高分辨率图像，该图像与最初以更大的放大倍率创建的图像非常相似。此外，训练有素的专家能够在原始图像中无法检测到的低分辨率样本的老版本中找到脑细胞特征。
一张并排显示的电子显微图像，由Salk研究所提供。
研究人员将他们的方法应用于在其他实验室中使用不同的显微镜和制剂制作的图像，从而对系统进行测试。“通常在深度学习中，您必须为不同的数据集重新训练和微调模型，” Manor说。“我们很高兴我们的系统能够很好地适用于各种样本和图像集。”成功的意思是可以对样本进行成像而不会造成损坏的风险，并且它们的获取速度至少是传统方法的16倍。“以全分辨率对整个大脑成像可能需要一百多年，” Manor说。“通过将吞吐量提高16倍，它可能会变成10年，这更加实用。”
根据Manor所说，他的小组培训模型快速且易于使用。任何想要使用该工具的人都将很快能够登录3DEM.org，这是一个由国家科学基金会支持的基于Web的研究平台，用于开发和传播用于增强分辨率显微的新技术。Salk研究人员已通过GitHub提供了其工具的代码。Manor希望开发可以即时进行图像重建的软件，以便研究人员可以立即看到超分辨率图像，而不是在后处理过程中看到。他相信，通过他的工具，有可能改善世界各地实验室已使用的数百万个显微镜的性能，并有可能利用AI功能构建新的显微镜。
有了概念验证设计，Manor和他的团队开发了一种可以促进神经科学的工具。但是，如果没有与Harris，Howard，Monroe和TACC进行偶然的合作，他的工具可能永远无法实现。“您需要让专家愿意与来自世界各地的人们一起努力，以实现某些目标，” Manor说。 “我能够与所有这些世界一流的队友进行交流，我感到非常幸运。”
