切换模型失败
lodyke opened this issue · 8 comments
用WebGPU模式
用WebGPU模式
使用 WebGpu 模式 需要转化Safetensors 模式 ,转化提示:bad CPU type in executable: ./backend-rust/web-rwkv-converter
我切换为 WebGpu(python)时 进行转化成功,但是启动时报错信息为: {"detail":"failed to load: failed to request device"}
您好,同样的问题:bad CPU type in executable: ./backend-rust/web-rwkv-converter,macos 14.5 ,AMD Radeon Pro 5700 XT 16 GB,无法使用webgpu转化,请问是不支持吗?
您好,同样的问题:bad CPU type in executable: ./backend-rust/web-rwkv-converter,macos 14.5 ,AMD Radeon Pro 5700 XT 16 GB,无法使用webgpu转化,请问是不支持吗?
用webGPU(Python) 版转换,普通WebGPU转换器是arm架构的
@lodyke failed to request device我也不知道是什么原因,看看 @mianayo 能不能使用成功
还是不行,去https://github.com/Ai00-X/ai00_server
这里用网页上的各种办法,有一个可以转换,但是转换出来的.st无法加载,但是可以用webGPU(Python)模式直接加载这个:RWKV-x060-7B-World-v2.1.st。大佬看看是否可以帮忙直接转一个x060-14B的.st的模型,我们直接下载使用。(可能Mac电脑不支持转换?)感谢。