1066显卡32G内存报错
Closed this issue · 5 comments
thread 'main' panicked at 'Error in Queue::submit: Validation Error
Caused by:
Parent device is lost
', C:\Users\runneradmin.cargo\registry\src\index.crates.io-6f17d22bba15001f\wgpu-0.16.2\src\backend\direct.rs:2252:30
note: run with RUST_BACKTRACE=1
environment variable to display a backtrace
CPU 5600X,显卡1060 6G,内存32G
D:\dist>chat --model RWKV-4-World-CHNtuned-7B-v1-20230709-ctx4096.st
AdapterInfo {
name: "NVIDIA GeForce GTX 1060 6GB",
vendor: 4318,
device: 7171,
device_type: DiscreteGpu,
driver: "NVIDIA",
driver_info: "527.41",
backend: Vulkan,
}
ModelInfo {
num_layers: 32,
num_emb: 4096,
num_vocab: 65536,
}
这是爆内存了吗?
这个配置 3B应该没问题 等一下量化版本吧
6G独显跑不了7B。
这个配置 3B应该没问题 等一下量化版本吧
3B很快,嗖嗖的,就是命令行,输入中文比较麻烦,等API或者GUI
6G独显跑不了7B。
好吧,不折腾了。。。