2024深度学习发论文&模型涨点之——光学神经网络
光学神经网络（Optical Neural Networks, ONNs）是一种利用光学器件（如激光、光学调制器、滤波器、探测器等）来模拟和实现神经网络推理功能的计算模型。这种网络通过利用光信号的传播特性，如干涉、衍射等现象，加速神经网络的运算过程，提高计算速度和效率。
清华大学戴琼海院士、方璐教授的研究团队在光学神经网络（ONN）领域取得了突破性成果，该成果以“Fully forward mode training for optical neural networks”为题，荣登Nature。这项研究的核心是全前向智能光计算训练架构，以及“太极-II”光训练芯片的研制，这使得大规模神经网络的高效精准训练成为可能，同时摆脱了原有光计算系统对GPU离线建模的依赖。
我整理了一些光学神经网络【论文+代码】合集，需要的同学公人人人号【AI创新工场】自取。
论文精选
论文1：
Fully forward mode training for optical neural networks
光学神经网络的全前向模式训练
方法
全前向模式（FFM）学习：开发了一种称为全前向模式（FFM）学习的方法，该方法在物理系统上实现了计算密集型的训练过程。
空间对称性和洛伦兹互易性：通过利用空间对称性和洛伦兹互易性，消除了梯度下降训练中反向传播的必要性，从而直接在原始物理系统上设计光学参数。
创新点
FFM学习方法：提出了FFM学习方法，实现了光学系统的自我学习和目标导向的设计。
性能提升：在自由空间和集成光子学中展示了具有最先进性能的光学系统，实验测试结果显示，FFM学习方法能够将网络性能提升至接近理想模型的准确性。
自动搜索非平凡点：证明了FFM学习可以自动搜索非厄米特系统的非平凡点，无需分析模型，这在实验中表现为系统输出能够从互易状态切换到非互易状态。
论文2：
Single-chip photonic deep neural network with forward-only training
单芯片光子深度神经网络的前向训练
方法
光子集成电路：实现了一个可扩展的光子集成电路，单片集成了多个相干光学处理器单元，用于矩阵代数和非线性激活函数。
前向训练：实验展示了这种完全集成的相干光学神经网络架构，用于具有六个神经元和三层的深度神经网络，能够以410皮秒的延迟光学计算线性和非线性函数。
创新点
首次实现：首次展示了端到端的相干光学深度神经网络，实现了线性和非线性操作的光学域处理。
原位训练：实现了无需反向传播的原位训练，达到了与数字计算机相当的准确性（92.5%）。
超快速处理：为超快速、直接处理光信号的应用开辟了新途径，处理延迟为410皮秒。
论文3：
Image sensing with multilayer, nonlinear optical neural networks
多层非线性光神经网络的图像感知
方法
多层非线性光神经网络（ONN）预处理器：实现了一种多层ONN预处理器，用于图像感知，通过使用商用图像增强器作为并行光电非线性激活函数。
光学编码：通过光学编码将图像数据压缩到低维潜在空间，减少了像素和光子的数量，提高了吞吐量和降低了延迟。
实验验证：在多个代表性计算机视觉任务中验证了非线性ONN预处理器的性能，包括机器视觉基准、流式细胞图像分类和实际场景中对象的测量和识别。
创新点
压缩比提升：实现了高达800:1的压缩比，显著优于线性ONN编码器。
性能提升：在多个图像感知任务中，非线性ONN预处理器的性能优于线性ONN编码器，特别是在高压缩比下。
多任务适用性：展示了非线性ONN预处理器在多种图像感知任务中的应用潜力，证明了其多功能性和有效性。
论文4：
Experimentally realized in situ backpropagation for deep learning in photonic neural networks
在光子神经网络中实验实现的原位反向传播用于深度学习
方法
原位反向传播：实验性地训练了一个三层四端口的硅光子神经网络，使用“原位反向传播”方法，通过光干涉测量前向和反向传播光的相位偏移电压梯度。
模拟和实验验证：通过模拟和实验验证了64端口光子神经网络在MNIST图像识别任务中的训练效果。
能量和延迟分析：系统分析了原位反向传播的能量和延迟优势，指出了其在更大规模（64×64）PNN系统中的可扩展性。
创新点
训练效率提升：实验性地在光子神经网络中实现了反向传播算法，训练效率与数字训练模拟相当。
能效提升：通过避免显式嵌入到Krein空间和基于特征分解的构建新的内积，提高了算法的计算效率。
分类准确性：在多个分类任务中，实现了高于94%的测试准确率，证明了方法的有效性。
