JinHaocong/textcraft

Amplify llm capabilities through langchain

TextCraft: amplify llm capabilities through langchain

🦖 介绍

一种利用 langchain **实现的放大llm能力的应用，用以建立一套对中文场景与开源模型支持友好的llm应用解决方案。

🌟 Quickstart

1. 配置环境变量

   复制.env.example修改拓展名为.env，添加你的api keys到.env文件

2. 启动项目

   # Windows
   .\run.bat 
   # Mac/Linux
   .\run.sh

🐳 Docker 部署

sudo docker-compose up -d

🚁 模型支持

LLM 模型支持

在线 LLM 模型目前已支持：

• ChatGPT
• 讯飞星火
• 百度文心一言
• 阿里云通义千问
• 百川 (个人用户 API_KEY 暂未开放)

Embedding 模型支持

• OpenAI/text-embedding-ada-002
• 阿里云通义千问

🦴 功能示例

API

通过FastAPI 自动生成了一个交互式API文档，打开浏览器访问：

1. 浏览器地址栏输入：http://127.0.0.1:8000/docs
2. 在FastAPI界面，选择API点击“Try it out”，然后对API进行测试。

WebUI

通过Gradio可视化LLM能力，打开浏览器访问：

1. 浏览器地址栏输入：http://127.0.0.1:7860/
2. 在Gradio界面，通过对话框对LLm进行测试。