Vision Mamba
从公式推导切入,介绍一下Vision Mamba,论文的第一个公式中表达了连续状态空间方程
在之后加入 步长∆后,h(t+∆)如何表示呢? 可以在h(t)处做一个切线,此时的h(t+∆)就由红色加蓝色的虚线相加得到了。那蓝色的虚线是h(t)。
红色的虚线如何表示呢?红色的虚线可以表示为 函数在t位置的导数,其实可以表示为tanθ
那红色虚线就可以表示为 ∆·h’(t),那么h(t+∆)可以表示为:
论文拿 Ā 和 B拔来 代替 h(t)和 x(t) 前面的参数
最后得到下式,是不是和 论文公式三一样呢?
我们整体的推导过程是以连续情况下进行推导的,所以我们需要使用ZOH(Zero-order hold)技术来将连续状态打散为离散状态。
不需要关注这两个式子是什么意思,只需要知道这两个式子是将连续状态打散为离散状态,最终得到公式4.对应于Vision Mamba论文中的公式3.
在Mamba论文中它的block就是这样的,根据这两个公式构建的,h代表状态,x代表输入,y代表输出