chatpdf 和 webui 都改成 llama-7b ， 跑不起来，NameError: name 'atJatJ' is not defined
alexhmyang opened this issue · 5 comments
alexhmyang commented
ubuntu@VM-0-2-ubuntu:~/ChatPDF$ python3 chatpdf.py
/usr/lib/python3/dist-packages/requests/init.py:89: RequestsDependencyWarning: urllib3 (1.26.16) or chardet (3.0.4) doesn't match a supported version!
warnings.warn("urllib3 ({}) or chardet ({}) doesn't match a supported "
Traceback (most recent call last):
File "chatpdf.py", line 1, in
atJatJ# -- coding: utf-8 --
NameError: name 'atJatJ' is not defined
llama-7b 对 Python 和 cuda 有什么要求么
alexhmyang commented
除了 6b, 其他 基本都运行报错，用不了，尤其是 llama, 看能不能解决一下
shibing624 commented
GPU显存不够就升级机器试下，llama-7b 用fp16加载需要14G显存。
alexhmyang commented
GPU显存不够就升级机器试下，llama-7b 用fp16加载需要14G显存。
显存32G 够的，跑起来报错
shibing624 commented
啥错？
ahaufox commented
atJatJ# -- coding: utf-8 --
前面这个去掉：
#-- coding: utf-8 --