光学显微成像是生命科学和生物医学的重要观测手段。由于物理设备极限、成像条件、样本制备流程等诸多因素的限制，直接获取的显微图像通常无法充分揭示样本信息。近些年来，深度学习在计算成像和图像变换方面取得了很大的进展。作为一种数据驱动的方法，具有海量参数的深度神经网络理论上可以逼近从输入域到输出域的任意映射，这为生物医学成像中的图像变换提供了一个很有前景的解决方案。显微图像变换的目的是将一类图像转换成另一类图像，以充分揭示样本信息、进行特征提取，从而使难以察觉的结构和潜在的生物医学特征变得可见，有利于下游的生物医学分析和疾病诊断。

目前深度学习算法的优越性能很大程度上依赖于大量配对的训练数据。在传统的有监督学习范式中，获取训练所必须的配对真值需要进行大量的耗时费力的配准和标注。在显微成像中，由于生物活动的高速动态特性，或者成像模式的非兼容性，以及样本制备的不可逆性，获取配对的训练数据在很多场景下是不可行的，推进深度学习图像变换在生物医学成像领域走向实用，必须破除对配对训练数据的依赖。

近日，清华大学脑与认知科学研究院、清华大学自动化系戴琼海院士团队提出一种基于无监督学习的内容保持的显微图像变换方法（Unspervised content-preserving Transformation for Optical Microscopy , UTOM），无需配对的显微数据集，就能学习两个图像域之间的映射关系，并在变换过程中保证图像语义信息不失真，在缺乏配对训练数据的情况下，实现了人类结直肠组织的虚拟病理染色、显微图像修复（去噪、各向同性分辨率恢复、超分辨率重建）以及虚拟荧光标记等任务。

图1 无监督显微图像变换技术原理图

研究背景

当前显微成像领域的图像变换通常以有监督的方式实现，近年来已有多种网络结构被用于图像变换。U-Net是最流行的卷积神经网络之一，已被用于细胞分割检测、显微图像修复。一些特殊设计的卷积神经网络可以提升光学成像分辨率、实现成像模态迁移等。此外，生成对抗网络（GAN）是一种基于对抗优化的新兴框架，它同时训练生成模型和对抗判别模型，可以使变换后的图像更加真实。然而在应用方面，这些有监督学习方法在数据集的建立上存在着费时费力和标签易出错等问题。尤其对于显微成像而言，当活体样本经历快速的动态变化时，同一场景无法被成像系统捕捉两次；当样本的制备和成像过程会损坏样本时，样本无法重复使用，这些普遍存在的情况均无法获取配对数据，导致传统的有监督学习方法不再适用。循环一致对抗生网络（CycleGAN）是为了实现图像风格迁移而产生的一种无监督网络架构。循环一致对抗生网络可以在没有配对数据的情况下将图像从一个域转换到另一个域，并表现出与有监督方法相近的性能。该框架已用于自然图像的风格转换和医学图像分析。在光学显微镜方面，一些有前瞻性的研究利用CycleGAN去除光学衍射层析成像中的相干噪声，以及对明场图像和X射线计算机层析成像图像的分割。

创新研究

该工作提出UTOM显微图像变换方法，在缺失配对真值时实现无监督的图像内容转换。该方法基于循环一致对抗网络，通过引入显著性约束，解决固有的图像内容错乱的问题，这在显微图像变换中是不能接受的，会误导生物医学分析，甚至会造成严重的医学诊断错误。在执行跨域转换时，UTOM可以定位并保持图像内容，有效避免图像语义信息的失真，从而大幅提升图像变换的精确。借助该方法，输入图像中具有重要语义信息的内容，如腺体内腔、杯状细胞、细胞间隙、淋巴细胞等，可以被清晰的解析出来。

图2 UTOM可以有效避免图像内容错乱

该方法被应用于无标记的病理成像，即将无标记的自发荧光图像转换为标准的苏木精-伊红(H&E)染色图像。在诊断中，H&E染色的组织病理学切片提供了关于样本的丰富的表型信息，是当前肿瘤诊断的“金标准”。然而，传统的组织病理学检查需要对切片进行染色，涉及许多复杂的化学步骤和有毒试剂，阻碍了术中诊断和快速的癌症筛查。从无标记成像方法获得标准的H&E染色图像是生物医学研究人员长期的目标。本文展示了一种简易可行的图像变换方法，首先将切除的人体组织进行固定和切片，这些切片被分成两组，一组不经过染色直接进行自发荧光成像，另一组进行标准的H&E染色和明场成像，这两种成像模式获取的图像由于不是相同的结构，无法得到配对的训练数据。然而借助UTOM，即使没有配对的真值，依然可以完成深度神经网络的训练，实现高保真度的虚拟荧光染色，得到具有医学意义的标准H&E染色图像。

图3 无监督学习仅借助非配对切片即可实现病理切片虚拟染色

此外，由于活体样本的脆弱性和光漂白、光毒性的存在，荧光图像的信噪比通常很低，而样本的动态性又导致配对真值的获取极其困难。借助此方法，即使无法获取配对真值，依然可以训练出效果显著的去噪网络。类似地，该方法还被展示用于轴向分辨率恢复、宽场超分辨重建、虚拟荧光标记等。

图4 无监督学习实现荧光图像修复

应用与展望

本文提出的方法有望促进深度神经网络在显微成像领域的训练范式从传统的监督学习到无监督方式的转变。在光学显微镜中，无监督学习具有独特的优势，可以完成有监督学习无法胜任的任务，特别是当样本具备快速动态特性或成像过程对样本具有破坏性。此外，如果结合成像过程的物理模型，网络参数将进一步减少，性能可以进一步提高。可以预期，一旦消除了对配对训练数据的依赖，更多更困难的显微图像变换任务都将成为可能。

文章信息：该研究成果以"Unsupervised content-preserving transformation for optical microscopy"为题在线发表在Light: Science & Applications。

本文通讯作者为清华大学脑与认知科学研究院、清华大学自动化系戴琼海院士；清华大学深圳国际研究生院王好谦教授。本文第一作者为清华大学博士生李欣阳、张国勋和博士后乔晖。该项目得到了国家自然科学基金委、科技部、深圳科技创新项目、中国博士后创新项目的支持。

论文全文下载地址：https://doi.org/10.1038/s41377-021-00484-y