论文地址:https://arxiv.org/abs/2205.00159
notes:
论文2.5中说的N nodes,就是输出的类别数量,英文37,中文6625,英文37说的是最简单的英文文字识别任务,不区分大小写,就是26个字母+10个数字+空格;
BN就是BatchNorm,LN就是layer norm;
高度下降为一半,宽度不降,是因为高度为度上采用stride=2,宽度上stride=1;
Global Mixing就是全局的自注意,类似与transformer,添加全局的信息;
Local Mixing 就是一个窗口内的Global Mixing,局部的自注意,添加局部范围的信息;
loss: BILSTM loss + CTC loss