读取模型ggml-model-q8_0.gguf出错

[phoenixlucky]

提交前必须检查以下项目

• 请确保使用的是仓库最新代码（git pull）
• 已阅读项目文档和FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案。
• 第三方插件问题：例如llama.cpp、text-generation-webui等，建议优先去对应的项目中查找解决方案。

问题类型

模型量化和部署

基础模型

Llama-3-Chinese-8B-Instruct（指令模型）

操作系统

Windows

详细描述问题

读取模型ggml-model-q8_0.gguf出错

Traceback (most recent call last):

File "F:\text-generation-webui\modules\ui_model_menu.py", line 248, in load_model_wrapper


shared.model, shared.tokenizer = load_model(selected_model, loader)

                                 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "F:\text-generation-webui\modules\models.py", line 94, in load_model


output = load_func_map[loader](model_name)

         ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "F:\text-generation-webui\modules\models.py", line 275, in llamacpp_loader


model, tokenizer = LlamaCppModel.from_pretrained(model_file)

                   ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "F:\text-generation-webui\modules\llamacpp_model.py", line 38, in from_pretrained


Llama = llama_cpp_lib().Llama

        ^^^^^^^^^^^^^^^^^^^^^
AttributeError: 'NoneType' object has no attribute 'Llama'

依赖情况（代码类问题务必提供）

# 请在此处粘贴依赖情况（请粘贴在本代码块里）

运行日志或截图

# 请在此处粘贴运行日志（请粘贴在本代码块里）

[ymcui]

从HuggingFace下载的话可以核对一下SHA256，检查模型是否完整。llama.cpp下加载没有问题。

[github-actions]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.

[github-actions]

Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.