随着智慧社会的发展，图像传输成为日常生活各个领域的基本需求。例如，即时播放一部蓝光电影需要每秒几千兆比特的传输吞吐量。传输链路需要同时满足大量此类终端的吞吐量，这给图像传输带来了极大的挑战。此外，图像传输通常对视觉效果要求较高，因此预处理和后处理，例如具有大运算数的压缩和纠错在图像传输中必不可少。

然而，尽管如今全球超过95%的数字信息通过光纤传输，图像处理仍然主要依靠电子处理器。处理传输的大量光学图像信号，例如加密和压缩，给当前的电子计算平台带来了沉重的负担。最先进的电子电路和光纤传输线之间的工作频率呈现数量级的差距，因此成为高通量传输中最耗时的部分之一。

近期智能光子计算的兴起被认为有望通过直接在光子域中处理图像来提供克服电子瓶颈的解决方案。然而，现有的全光神经网络主要集中在分类任务上，例如手写数字和字母的识别。图像传输中的处理不仅需要特征提取，还需要压缩和加密后的重建。

电子生成模型的最新进展证明了它们在逼真图像重建方面的能力，例如变分自编码器 (VAE) 模型可以在大规模数据集和低维表示（隐空间）之间进行可控转换，在数据编码和生成中已经得到了应用。然而，现有的光子智能处理器无法实现全光端到端生成神经网络，因此无法完全突破光电转换的掣肘，实现传输中的超低延迟复杂图像处理。

近日，清华大学戴琼海院士、方璐副教授教授团队。提出了一种无监督的光子变分自编码器，称为光子编解码器 (PED)，实现了图像传输中的全光端到端处理，和全光生成神经网络的首次演示。

与先进的中央处理器 (CPU) 相比，光子编解码器将图像传输的系统延迟降低了四个数量级以上。在医疗数据集上，光子编解码器的通量比常见的PAM-8方法提升了两个数量级，比传统的DCT处理方法提高了87倍。

该成果发表在Science Advances，题为“Photonic unsupervised learning variational autoencoder for high-throughput and low-latency image transmission”。清华大学的陈一彤博士生和周天贶博士生为论文的共同第一作者。

值得一提的是，2022年9月焦点访谈也曾报道过相关科研成果和该课题组其他重大科研进展。

光子编解码器原理

所提出的光子编解码器原理架构如图1所示，输入信息被编码到带有光学人工神经网络编码器的隐空间中，然后相应地耦合到单模光纤束中。传输期间的噪声被建模为基于 VAE 架构的隐空间的变化。光学人工神经网络解码器读取并解码所传输的隐空间，即准直镜后的高斯散斑组合，忠实重建输入信息。由于隐空间对输入信息进行了高度加密，防止窃听并保证传输的安全性。

图1：全光编解码器的原理架构图

在由可训练衍射层组成的全光编码器之后，光子编解码器通过透镜阵列将光场被动耦合到光纤束中，并使用全光解码器将隐空间解码回原始数据。透镜阵列中的每个透镜将光场的一个相应区域耦合到光纤束中的一根单模光纤。耦合效率取决于光场以及光纤和透镜的特性。光纤中的光场可以被认为是具有各自耦合系数的不同空间频率的线性叠加。

通用传输模式和专用传输模式

光子编解码器允许两种工作模式：通用传输模式和专用传输模式。通用传输模式为任意图像提供了基础的安全和抗噪声传输，如图2所示。实验和仿真表明，通用传输模式成功实现了与现有纠错码相近或更低的误码率，但计算功耗和速度上却实现了数量级的优化。

图2：通用传输模式示意图

而当获得一些先验信息时，专用传输模式还允许显著压缩以提高传输通量。这种先验信息不局限于是标签或者其他信息，光子编解码器可以非监督训练，自己寻找较优的编码压缩隐空间。

加密和通量提升

图3展示了光子编解码器在二进制图像（清华大学校徽）上加密的实验结果。光纤束中传输的可能被窃听的信息，被加密成了无法识别的图像，判错率远高于重建后的结果（标注在每张小图的左上角）。字母（“VER”）、数字（“191”）和汉字都被有效加密，无法识别。

图3：通用传输模式加密效果

论文作者进一步在临床采集的CT图像来验证光子编解码器的性能。如图4所示，当压缩比为31倍和87倍时，光子编解码器成功重建了肾上腺的形状和特征（第二和第四列），而DCT在相同压缩倍率下未能保留任何细节（第三和第五列）。即使在相当大的压缩比（87倍）下，光子编解码器 的重建质量也能保持稳定的高水平，压缩和重建后可以很容易地区分不同类别（class1和class2），这是DCT无法实现的（第五列）。它不仅展示了光子编解码器强大的传输和压缩能力，而且表明其在传输过程中进行疾病诊断和语义理解等智能计算的潜力。

图4：全光编解码器（PED）与传统方法（DCT）的重建质量对比。C.R.：压缩率

总结与展望

论文作者还计算了光纤通信系统中光子编解码器的端到端系统延迟，包括计算、光电转换和模数转换器，比起先进CPU（英特尔酷睿i7 6500U CPU @2.5 GHz），光子编解码器将系统延迟降低了四个数量级。它表明光子编解码器优化了限制吞吐量提高的耗时瓶颈，而不是一些已经足够快的部分。即使与具有超高算力（约47 TOPS/S）的最先进的图形处理单元（GPU）相比，光子编解码器仍能在系统延迟方面实现一个数量级的改进。

通过在光域中对编码器、解码器和光纤系统进行协同设计，论文作者的工作在无监督学习架构和光纤通信系统的物理模型之间建立了内在联系，启发了具有更高吞吐量、准确性的下一代全光通信系统。

论文作者相信，所提出的生成光子计算系统和端到端无监督光子学习方法将促进广泛的人工智能应用，包括6G、医疗诊断、机器人和边缘计算。

论文信息

Chen et al., Sci. Adv. 9, eadf8437(2023)https://doi.org/10.1126/sciadv.adf8437