Tlntin/Qwen-TensorRT-LLM

想问一下，为什么72B模型是实验性的呢？架构应该是一样的呀，原因是什么呢？谢谢

zhangjiekui opened this issue · 2 comments

zhangjiekui commented
想问一下，为什么72B模型是实验性的呢？架构应该是一样的呀，原因是什么呢？谢谢
Tlntin commented

个人，没条件（好的显卡）测试。
不过有人试过，没啥问题。

zhangjiekui commented

谢谢

  • 😄1