碰到了这个问题:输入是正常的,输出全是NaN
网上办法不多,找了半天终于看到问题所在,但是没有说在哪里改的,故记录一下。
改一下模型精度就正常了,默认的是fp16,改为fp32即可
具体步骤如下:
1、找到你加载clip模型的文件,比如我的是在这
2、进入clip.py文件,找到函数load,在return之前加一个.float()转为fp32即可
因为他默认的是加载fp16
3、如果找不到文件在哪,就debug,断点打在clip.load()这一行,然后一行一行走就进去了
参考资料:https://github.com/openai/CLIP/issues/144