Clouditera/SecGPT

SecGPT和SecGPT mini的区别

linux-wang opened this issue · 3 comments

linux-wang commented

你好，注意到这两天发布了SecGPT的mini版本，第一时间下载试用了一下，的确可以在笔记本上都可以运行了。
不过用的过程中，有一些疑问，希望能帮忙解答一下。

  1. SecGPT和mini版本的主要区别是哪些？有详细些的说明么
  2. mini版本得到的答案，经常只有一半就断掉了，这个是什么原因
  3. 能用llama.cpp来处理一下SecGPT，以降低其资源需求么
  4. 目前看起来mini版本还不支持多轮对话，请问这个可以用langchain框架来实现么？
  5. 使用langchain搭建本地知识库，是否有尝试过，有的话不知效果如何

万分感谢

boy-hack commented
  1. mini版模型参数很小，secgpt标准版模型参数是14B，需要GPU才能跑起来，效果方面mini版只能完成很简单的任务，对指令的理解有限，标准版可以完成各种任务，能很好理解发给他的指令
  2. 增大参数的token
  3. 可以
  4. 不支持多轮对话，langchain没试过
  5. 效果一般
  • ❤️1
linux-wang commented
  1. mini版模型参数很小，secgpt标准版模型参数是14B，需要GPU才能跑起来，效果方面mini版只能完成很简单的任务，对指令的理解有限，标准版可以完成各种任务，能很好理解发给他的指令
  2. 增大参数的token
  3. 可以
  4. 不支持多轮对话，langchain没试过
  5. 效果一般

话说Tesla V100 卡应该能跑得动secgpt标准版吧，20G-30G显存

boy-hack commented
  1. mini版模型参数很小，secgpt标准版模型参数是14B，需要GPU才能跑起来，效果方面mini版只能完成很简单的任务，对指令的理解有限，标准版可以完成各种任务，能很好理解发给他的指令
  2. 增大参数的token
  3. 可以
  4. 不支持多轮对话，langchain没试过
  5. 效果一般

话说Tesla V100 卡应该能跑得动secgpt标准版吧，20G-30G显存

没试过，可以试试

  • 👍1