目录
- 1.概述
- 2.Attention
- 2.1 Matrix multiplication (ciphertext-plaintext).
- 2.2 Matrix multiplication (ciphertext-ciphertext)
- 2.3 Placement of bootstrapping
- 3.SIMD密文压缩和解压缩
- 4.SIMD槽折叠
- 5.实验结果
1.概述
我们提出了NEXUS，这是第一个用于安全变压器推理的非交互式协议，其中客户端只需要提交加密输入并等待服务器的加密结果。NEXUS的核心是两种创新技术:SIMD密文压缩/解压缩和SIMD槽折叠。因此，与标准普尔24年提出的最先进的解决方案相比，我们的方法实现了2.8倍的加速和368.6倍的显著带宽减少。
- 第一个用于安全变压器推理的非交互式协议比最先进的带宽减少368倍;
- 用于密文打包的SIMD密文压缩和解压缩技术;
- SIMD插槽折叠技术，有效地操作SIMD密文的插槽;
- 全面的实施和评估。
2.Attention
2.1 Matrix multiplication (ciphertext-plaintext).
2.2 Matrix multiplication (ciphertext-ciphertext)
Q
=
[
[
E
n
c
(
q
00
)
,
E
n
c
(
q
01
)
,
E
n
c
(
q
02
)
]
,
[
E
n
c
(
q
10
)
,
E
n
c
(
q
11
)
,
E
n
c
(
q
12
)
]
]
Q = [[Enc(q₀₀), Enc(q₀₁), Enc(q₀₂)],[Enc(q₁₀), Enc(q₁₁), Enc(q₁₂)]]
Q=[[Enc(q00),Enc(q01),Enc(q02)],[Enc(q10),Enc(q11),Enc(q12)]]
K
T
=
[
[
E
n
c
(
k
00
)
,
E
n
c
(
k
10
)
]
,
[
E
n
c
(
k
01
)
,
E
n
c
(
k
11
)
]
,
[
E
n
c
(
k
02
)
,
E
n
c
(
k
12
)
]
]
K^T = [[Enc(k₀₀), Enc(k₁₀)],[Enc(k₀₁), Enc(k₁₁)],[Enc(k₀₂), Enc(k₁₂)]]
KT=[[Enc(k00),Enc(k10)],[Enc(k01),Enc(k11)],[Enc(k02),Enc(k12)]]
对于 Q 的第一行和 K^T 的第一列：
- 计算逐元素乘积:
E n c ( u 0 ) = [ E n c ( q 00 ) ⊙ E n c ( k 00 ) , E n c ( q 01 ) ⊙ E n c ( k 00 ) , E n c ( q 02 ) ⊙ E n c ( k 00 ) ] Enc(u₀) = [Enc(q₀₀) ⊙ Enc(k₀₀), Enc(q₀₁) ⊙ Enc(k₀₀), Enc(q₀₂) ⊙ Enc(k₀₀)] Enc(u0)=[Enc(q00)⊙Enc(k00),Enc(q01)⊙Enc(k00),Enc(q02)⊙Enc(k00)] - 对逐元素乘积结果进行累加:
s 0 = E n c ( u 00 ) + E n c ( u 01 ) + E n c ( u 02 ) s₀ = Enc(u₀₀) + Enc(u₀₁) + Enc(u₀₂) s0=Enc(u00)+Enc(u01)+Enc(u02)
2.3 Placement of bootstrapping
NEXUS 是基于 RNS-CKKS 的，这是一种分层同态加密方案，允许在任何计算路径上最多进行 𝐿 次乘法操作。一旦密文的级别变得太低，就需要进行bootstrapping以将其刷新到更高的级别，从而使更多的乘法操作成为可能。由于引导操作代价高昂，因此其放置对整体性能至关重要。
3.SIMD密文压缩和解压缩
我们将 C 打包成多项式并将其发送给 S。通过这种方式，我们将通信成本从
N
′
N^{'}
N′个密文减少到一个单独的密文。
p
(
x
)
=
a
0
+
a
1
x
+
a
2
x
2
+
.
.
.
+
a
N
′
−
1
X
N
′
−
1
p(x)=a_0+a_1x+a_2x^2+...+a_{N^{'}-1}X^{N^{'}-1}
p(x)=a0+a1x+a2x2+...+aN′−1XN′−1
4.SIMD槽折叠
因此，我们的解决方案只需要
l
o
g
N
−
1
logN - 1
logN−1个旋转
5.实验结果
矩阵乘法。图7显示了局域网中多个输入的MatrixMul(参见算法6)的平摊代价。考虑到ChatGPT经常在单个响应中生成数百个单词，𝑡= 256将是合理的输入数量。NEXUS的平摊运行时间(256个输入)为2.26秒，比Iron快15.9倍，比BOLT快3.3倍。当输入的数量增加到1024个时(这也是很常见的)，NEXUS表现出更大的性能优势。具体来说，它在运行时和通信方面的性能分别比BOLT高4.8倍和2.6倍。
端到端性能大致上是微基准的汇总。另外，Iron 和 BOLT 需要执行安全截断来防止溢出，因为它们将浮点数缩放为整数。相比之下，NEXUS 利用 RNS-CKKS 避免了截断的需要，后者支持浮点数，但会导致bootstraping操作。具体来说，NEXUS 的端到端工作流程如图 3 所示。图 8 显示了端到端性能（针对 128 个输入进行摊销）。值得注意的是，NEXUS 仅消耗 164MB 带宽，比 Iron 减少了 1737.5 倍，比 BOLT 减少了 368.6 倍。就端到端运行时间而言，NEXUS 仍然比 Iron 快高达 11.6 倍，比 BOLT 快 2.8 倍。
表 4 列出了 NEXUS 中每个单独操作的运行时间，以及它们对应的比例。引导操作是整个过程中最耗时的部分，需要 315 秒，占总运行时间的 37.72%。在引导操作之后，Softmax 和 GELU 是接下来最耗时的部分，分别占总运行时间的 21.72% 和 20.92%。
准确性。我们使用来自 GLUE 基准 [50] 的 4 个数据集进行准确性评估，GLUE 基准是对于 BERT 和基于 GPT 的转换器广泛采用的评估指标。其中三个数据集涉及到 BERT-base：RTE、SST-2 和 QNLI，都涉及分类任务。剩下的数据集，儿童图书测试(CBT)，属于GPT，通过让GPT从完形测试的10个选项中预测正确的单词来评估准确性。如表5所示，与明文推理相比，NEXUS达到了相当的精度水平。
