陈良怡实验室开发混合物理模型与深度学习的结构光超分辨重构算法

  近年来,超分辨率荧光显微镜的发展极大地推动了人类对亚细胞结构的研究。其中,基于结构光照明的超分辨率荧光显微镜(SR-SIM)凭借其光子转化效率高等优点,非常适合活细胞的超分辨率成像。然而,陈良怡实验室2018年的工作提出,尽管结构光的光子转化成为超分辨的效率比其他类型的超分辨率显微镜更高,但是由于它存在的反卷积重建过程会放大图像中噪声产生伪影,从而影响超分辨率图像的可信度和定量化分析。在其提出利用时空连续性作为先验知识开发的基于海森正则化项的迭代重建方法后,其他许多研究组也开发了不同的抑制伪影的方法。已有的基于物理模型或通用先验知识的方法能够抑制噪声导致的伪影,但背景失焦引起的蜂窝状伪影、光照散射引起的伪影等不能完全抑制。而深度神经网络重建方法虽然能够更好地抑制重建超分辨率图像导致的各种伪影,但可能会产生局部失真和分辨率降低。

  近日,北京大学未来技术学院、IDG麦戈文脑科学研究所陈良怡团队结合了物理模型和深度学习两种重建方法的优点,通过利用全深度变分(TDV)网络作为重构目标函数的正则化项,将其与SIM物理模型相结合,提出了一种混合重建方法(TDV-SIM),能够在抑制伪影的同时保持分辨率。在处理不同细胞结构的图像时,TDV-SIM较单纯的深度学习方法能够更好地保留真实信号,同时比基于物理模型的方法能够更有效地去除伪影。相关工作以题为“Hybrid reconstruction of the physical model with the deep learning that improves structured illumination microscopy”的论文发表于《Advanced Photonics Nexus》上。



图1 TDV-SIM在保持分辨率的同时抑制伪影和幻觉方面优于其他重建算法

图2 TDV-SIM在抑制伪影和幻觉方面优于rDL SIM

  北京大学软件与微电子学院硕士王建勇(已毕业)、重庆邮电大学计算机学院范骏超副教授、北京大学未来技术学院博士生周博为本文的共同第一作者。北京大学未来技术学院陈良怡教授和北京大学跨学部生物医学工程系黄小帅研究员担任本文通讯作者。本研究受到国家科技重大专项计划、国家自然科学基金、北京市自然科学基金、临港实验室等经费支持。

  原文链接

  DOI : 10.1117/1.APN.2.1.016012