/ChatPDF

open source ChatPDF

Primary LanguagePythonApache License 2.0Apache-2.0

ChatPDF

为ChatGLM/LLaMA等多种LLM提供了一个好用的基于PDF问答的图形界面

Tests Passing GitHub Contributors

根据文件回答 / 开源模型 / 本地部署LLM

在线体验 · 一键部署

Animation Demo

原理

使用说明

安装依赖

在终端中输入下面的命令,然后回车即可。

pip install -r requirements.txt

如果您在使用Windows,建议通过WSL,在Linux上安装。如果您没有安装CUDA,并且不想只用CPU跑大模型,请先安装CUDA。

如果下载慢,建议配置豆瓣源。

本地调用

请使用下面的命令。取决于你的系统,你可能需要用python或者python3命令。请确保你已经安装了Python。

CUDA_VISIBLE_DEVICES=0 python chatpdf.py --gen_model_type baichaun --gen_model baichuan-inc/Baichuan-13B-Chat

启动Web服务

CUDA_VISIBLE_DEVICES=0 python webui.py --gen_model_type llama --gen_model LinkSoul/Chinese-Llama-2-7b-4bit 

如果一切顺利,现在,你应该已经可以在浏览器地址栏中输入 http://localhost:7860 查看并使用 ChatPDF 了。

Contact

  • Issue(建议):GitHub issues
  • 邮件我:xuming: xuming624@qq.com
  • 微信我:加我微信号:xuming624, 备注:姓名-公司-NLP 进NLP交流群。

License

授权协议为 The Apache License 2.0,可免费用做商业用途。请在产品说明中附加ChatPDF的链接和授权协议。

Contribute

项目代码还很粗糙,如果大家对代码有所改进,欢迎提交回本项目。

Reference