关于DeepSeek-Coder-V2-Lite-Base的128k捞针测试结果
chaochen99 opened this issue · 1 comments
chaochen99 commented
您好,
我测试了deepseek-ai/DeepSeek-Coder-V2-Lite-Base 在128k捞针任务上的表现,结果的正确率不足50%。并且受限于硬件,我无法在deepseek-ai/DeepSeek-Coder-V2-Base 上进行1k到128k的捞针测试。
不知是DeepSeek-Coder-V2-Lite-Base的捞针任务表现一般还是我的测试代码有问题,您可否提供捞针测试代码以便于我重新测试?
感谢!
hensiesp32 commented
您好,请问您在测试海底捞针的过程中,是否遇到过模型输出不达到max-new-token就不停止的情况呢?
类似于#60 这个问题。