北京时间2023年12月12日，清华大学成像与智能技术实验室戴琼海/王好谦/吴嘉敏团队在《自然—计算科学》（Nature Computational Science）发表题为“Spatial redundancy transformer for self-supervised fluorescence image denoising”的论文。

该成果开发一种基于空间冗余采样的自监督显微图像增强方法，利用荧光图像固有的邻接相似性，同时设计先进的轻量级视觉自注意力网络架构，无需任何高信噪比数据即可实现高性能的图像去噪。

该技术不依赖于高成像速度，在多种成像模态和多种生物样本上均取得了目前最佳的去噪性能。

图1. 实现超灵敏的单分子定位和双光子钙成像

光学成像技术的快速发展使得研究人员能够在微米甚至纳米尺度上观察生物体的结构和活动。荧光显微镜作为一种广泛使用的成像方法，由于其高时空分辨率和分子特异性的独特优势，有助于发现一系列新的生理和病理机制。荧光显微镜的基本目标是获得包含足够样本信息的高信噪比图像，以保证准确的下游分析并得出令人信服的结论。然而，受多种生物物理、生物化学、物理光学因素(如标记浓度、探针亮度、光毒性、光漂白、光子噪声等)的限制，荧光成像通常难以获得足够高信噪比的图像，特别是在低照明强度和高成像速度时。

为了解决这个广泛且长期存在的难题，文章提出一种利用空间冗余性的视觉自注意力模型（简称SRDTrans）来去除图像中剧烈的噪声。通过设计空间冗余三维正交采样策略，该方法摆脱了对时间冗余的依赖，在高速动态场景和低成像速度上具有天然优越的性能。相较前一代方法【1, 2】，SRDTrans所需的成像速度降低两个数量级。与此同时，为了进一步提升性能并加快处理速度，文章设计了一种轻量级的时空融合自注意力模型，以充分利用数据中的远距离相关性。与经典的卷积网络相比， SRDTrans具有更强的全局感知能力和高频修复能力，能够恢复其他方法无法辨别的精细时空活动，带来大幅度的性能提升。

图2. 空间冗余采样策略和轻量级视觉自注意力网络架构

SRDTrans首先被用于单分子定位荧光显微镜（SMLM），这种成像技术所拍摄的图像是随机闪烁的荧光分子，相邻两帧之间的信号不具备时间相关性。实验结果表明，使用SRDTrans去噪之后的数据信噪比得到了显著的提升，被噪声淹没的单分子发射图案能够被清晰地恢复出来，平均信噪比增益超过20dB。噪声的去除对于下游的单分子定位和超分辨重建同样带来了巨大的提升，有效降低单分子定位的假阳性和假阴性，重建出的亚细胞结构也因此具有更高的分辨率。SRDTrans不仅能用于信噪比超低的示例数据，在其他实验室采集的中高信噪比的数据上依然能带来显著提升，噪声的去除有效提升了微管结构的定位精度，重建分辨率提升约三倍。

图3. SRDTrans实现超灵敏的单分子定位成像

在多光子成像中，三维成像速度随着扫描平面数量的增加而线性下降。因此，观察大范围神经活动所能达到的三维采样率往往很低，这使得依赖于时间冗余的去噪方法不再可行，SRDTrans则为增强三维钙成像中微弱的荧光信号提供了新的方法。实验结果表明，SRDTrans由于克服了对高成像速度的依赖，在低至0.3Hz的钙成像数据上依然具有目前最优的去噪性能，并且不会导致荧光信号的展宽和变形。该工作首次实现了三维钙成像数据的去噪，在小鼠大脑皮层500×500×200 μm3的脑组织上进行了0.3Hz的双光子钙成像，增强后的数据能够清晰揭示神经元的空间轮廓和发放状态，避免了噪声对神经信号提取的干扰。由于哺乳动物大脑中的神经回路在空间上是三维分布的，解析大规模神经元群落的功能需要高信噪比的三维成像，SRDTrans优越的性能将为实现超高灵敏度的神经记录提供新的工具。

图4. SRDTrans实现超灵敏三维双光子钙成像

随着荧光探针朝着更快的动力学方向发展，以监测毫秒级的生命活动，记录这些快速活动所需的成像速度也在不断增长【3】，获得足够的成像速度变得越来越具有挑战性。SRDTrans由于克服了对高成像速度的依赖，将在高速动态生命活动的研究中发挥重要的作用。此外，SRDTrans不依赖于特定的成像机制、噪声模型、样品形貌等，可以很容易地扩展到其他生物样本和成像方式，如电压成像、宽场成像、光片显微镜、共聚焦显微镜、光场显微镜和超分辨率显微镜等各种模态。

清华大学自动化系博士后李欣阳、清华大学深圳国际研究生院博士生胡小婉、清华大学博士后陈星晔（现为北京航空航天大学前沿科学技术创新研究院副教授）为该文章共同第一作者。清华大学脑与认知科学研究院/清华大学自动化系戴琼海教授、清华大学深圳国际研究生院王好谦教授、清华大学自动化系吴嘉敏副教授为该论文共同通讯作者。

相关论文信息：

https://www.nature.com/articles/s43588-023-00568-2

论文代码链接：

https://github.com/cabooster/SRDTrans

参考文献：

1. Li, X. et al. Real-time denoising enables high-sensitivity fluorescence time-lapse imaging beyond the shot-noise limit. Nat Biotechnol 41, 282-292 (2023).

2. Li, X. et al. Reinforcing neuron extraction and spike inference in calcium imaging using deep self-supervised denoising. Nat Methods 18, 1395-1400 (2021).

3. Zhang, Y. et al. Fast and sensitive GCaMP calcium indicators for imaging neural populations. Nature 615, 884-891 (2023).