Gibberish output

Question

Gibberish output

Aradhye2002 opened this issue 8 months ago · 6 comments

Aradhye2002 commented 8 months ago

Hi,

I tried finetuning the 7B model on math10k dataset and then running evaluate.py. However, I get the following response for the question:

Instruction: Tell me about alpacas.
Response: 1ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ~~ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ~~ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ~~ÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ~~ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ~~ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ~~~~~~~~~~

~~Can you tell me what's going wrong?~~

Answer 1 · 2024-04-08T16:54:00.000Z

The same question...

Answer 2 · 2024-04-08T18:34:01.000Z

Hi,

I tried finetuning the 7B model on math10k dataset and then running evaluate.py. However, I get the following response for the question:

Instruction: Tell me about alpacas. Response: 1ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ

Can you tell me what's going wrong?

Hi, you can try pip install transformers==0.35.0
I think it's the version problem.

Answer 3 · 2024-04-09T02:03:45.000Z

Thanks a lot it worked. I downgraded to a different version though since 0.35.0 was not available.

Answer 4 · 2024-04-09T02:14:09.000Z

Thanks a lot it worked. I downgraded to a different version though since 0.35.0 was not available.

You're welcome~ Yes I remembered the wrong version. Anyway, downgraded to another version will work for this problem~

Answer 5 · 2024-04-09T18:48:47.000Z

Hi,

I tried finetuning the 7B model on math10k dataset and then running evaluate.py. However, I get the following response for the question:

Instruction: Tell me about alpacas. Response: 1ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄ ÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄÄ

Can you tell me what's going wrong?

Hi, can you reproduce the results in the table? I don't know what happened with my implementation..

Answer 6 · 2024-04-13T06:46:21.000Z

Hi @Zhenyu001225 sorry missed your comment. I am able to reproduce to some extent with Lora, however I can't seem to figure out which modules they have applied Lora to...