/RAG

欢迎来到 RAG 检索增强生成!这是一个使用 OpenAI API 和 Milvus 向量数据库的问答系统,结合了检索增强生成(RAG)技术。

Primary LanguagePython

RAG 检索增强生成

欢迎来到 RAG 检索增强生成!这是一个使用 OpenAI API 和 Milvus 向量数据库的问答系统,结合了检索增强生成(RAG)技术。

一文读懂RAG检索增强生成

项目特点

  • 结合了 OpenAI 的语言模型和 Milvus 向量数据库。
  • 实现了文本的语义检索和重排。
  • 支持多种文档格式的加载和处理,包括 PDF、Word 和 Excel。

项目流程

image

安装

在开始之前,请确保你已经安装了 Python 环境。接着,使用 pip 安装所需的依赖包:

pip install -r requirements.txt

检查是否包含Hugging Face上的Embedding 模型,如果有外网,直接可以

embedding = HuggingFaceEmbeddings(model_name="BAAI/bge-large-zh-v1.5")

没有的话,可以在魔塔 或者 Hugging Face 上离线下载,导入本地路径即可

使用说明

配置你的 OpenAI API 密钥和 Milvus 服务信息,在 init.py 文件中设置相应的变量。

使用 load_Excel.py、load_PDF.py 或 load_Word.py 脚本来加载你的文档到 Milvus 向量数据库。

使用 rag.py 脚本进行问答交互。

加载文档

Excel: python load_Excel.py

PDF: python load_PDF.py

Word: python load_Word.py

问答交互

运行以下命令与模型进行交互:

python rag.py