wuyougg opened this issue 4 months ago · 1 comments
我的750ti在开启cuda自定义算子之后出现乱码(用的是1.5b模型)，如果关闭的话差不多7s一个字(即使我使用最低精度)，我曾经在ollama使用llama3.1的7b版本，大约2s一个字，现在没有资金换显卡，请问有什么办法既可以开启cuda自定义算子，又不会出现乱码，或者怎么在ollama上使用rwkv模型
可以用WebGPU后端试试