深入解析ENAS中的共享权重机制

在神经网络架构搜索（NAS）领域，ENAS（Efficient Neural Architecture Search）通过引入共享权重机制（Weight Sharing），大幅降低了计算开销，使得在有限资源下的神经网络搜索成为可能。本文将围绕ENAS共享权重的更新过程、时间节约机制和损失函数设计进行全面解析。

1. ENAS中的共享权重机制

ENAS提出了共享权重的概念：在庞大的搜索空间中，所有候选子模型（子网络）共享一个超级网络（Supernet）的参数。这一设计使得每个子模型不需要独立训练，而是直接继承超级网络的权重进行评估。

核心思想

超级网络的定义：超级网络包含了搜索空间中的所有可能架构，其节点代表计算操作（如卷积、池化），边表示数据流的连接。
共享权重的意义：每次训练一个子模型时，其优化的权重会被共享到超级网络中，其他子模型可以复用这些权重，避免从零开始训练。

2. 权重的更新过程

ENAS通过交替优化的方式，训练共享权重和控制器的参数：

（1）共享权重 $\omega$ 的更新

固定控制器参数 $\theta$ ，采样出子模型架构。
使用采样出的子模型在训练数据集上计算损失并通过反向传播更新共享权重 $\omega$ 。
每次训练只更新采样子模型相关的部分权重，未采样部分的权重保持不变。

具体步骤：

控制器生成一个子模型。
在当前批次训练数据上前向传播计算损失。
反向传播更新 $\omega$ 中与该子模型相关的参数。
重复上述过程，逐步优化整个超级网络的权重。

（2）控制器参数 $\theta$ 的更新

固定共享权重 $\omega$ ，通过强化学习训练控制器。
控制器根据当前采样架构的性能调整采样概率，使其倾向采样高性能子模型。
损失函数采用策略梯度方法（Policy Gradient），目标是最大化子模型在验证集上的性能。

通过上述交替优化，ENAS实现了共享权重 $\omega$ 和控制器 $\theta$ 的协同进步。

3. 节约时间的核心机制

传统的NAS需要为每个候选架构从零开始训练，这会带来巨大的计算开销。ENAS的共享权重机制通过以下方式显著节约时间：

（1）避免重复训练子模型

在传统NAS中，每个架构都需要单独训练多个 epoch 才能进行性能评估。ENAS通过共享权重，子模型可以直接继承超级网络的参数进行评估，无需从头训练。
示例：
- 若搜索空间中有 1000 个架构，传统NAS需要训练 1000 次，而ENAS仅需训练一个超级网络。

（2）增量式权重更新

每次采样的子模型仅更新共享权重中与其相关的部分，未采样部分的权重保持不变。这种局部优化显著减少了计算量。
效果：减少了全模型梯度计算的次数，使得每次训练更高效。

（3）控制器的强化学习优化

控制器逐渐倾向采样高性能架构，避免了大量无效的随机采样过程。
传统NAS：依赖随机搜索或穷举，时间复杂度高。
ENAS：强化学习让采样逐渐聚焦于潜在优质架构，加速搜索过程。

（4）权重共享的“迁移学习”特性

当一个子模型训练时，其优化的权重能够被其他子模型复用。这种跨模型的权重共享类似于迁移学习，使得未被直接训练的模型也能快速适应任务。

4. 损失函数设计

ENAS的损失函数由两个部分组成：共享权重的损失和控制器的损失。

（1）共享权重的损失

共享权重的损失直接来源于采样的子模型在训练集上的性能。

子模型损失：
$L_{\text{shared}} = \frac{1}{N} \sum_{i=1}^N \mathcal{L}(f(x_i; \omega), y_i)$
其中：
- $x_i, y_i$ ：训练样本及其标签。
- $\mathcal{L}$ ：常用的交叉熵或均方误差损失。
- $\omega$ ：超级网络的共享权重。