Impossible d'executer Vigogne Chat avec Google Colab ou Hugging Face

[LeMoussel]

Hi !

Que ce soit sous Colab (Compte free) ou sous Hugging Face App bofenghuang/vigogne-chat, il y a l'erreur de type Memory limit exceededlors de l’exécution de Vigogne Chat avec les modèles suivants:

    base_model_name_or_path: str = "huggyllama/llama-7b",
    lora_model_name_or_path: str = "bofenghuang/vigogne-chat-7b",

Auriez vous des suggestions pour pouvoir executer Vigogne Chat sous Colab ou HF App ?

[bofenghuang]

Hi @LeMoussel ,

Pour contourner la contrainte de mémoire, vous pourriez utiliser une version sharded comme https://huggingface.co/decapoda-research/llama-7b-hf

[LeMoussel]

Hi @bofenghuang,

j'ai appliqué la solution indiquée dans l'Issue #21, en supprimant la ligne torch_dtype=torch.float16
De la sorte, plus de contrainte mémoire sous Colab. avec l'utilisation du modéle "huggyllama/llama-7b".

if device == "cuda":
    model = AutoModelForCausalLM.from_pretrained(
        base_model_name_or_path,
        load_in_8bit=load_8bit,
        torch_dtype=torch.float16,
        device_map="auto",
    )
    model = PeftModel.from_pretrained(
        model,
        lora_model_name_or_path,
-      torch_dtype=torch.float16,
    )

Merci pour ton aide.