this repository make auto response based on Ollama 3.1 and way of freedom document
این پروژه به یاد یوسف قبادی ساخته شده است. ایده اصلی این هست که ما بتوانیم پاسخگویی و سرچ هوشمند روی مستندات دسترسی به اینترنت آزاد داشته باشیم.
این برنامه بر پایه اولا ساخته است و نیاز به داشتن GPU برای اجرا می باشد.
برای اجرا کردن برنامه دستورات زیر را پیروی کنید:
حتما باید داکر را روی سیسیتم نصب داشته باشید.
docker build -t llm-docs-ollama-app .
با دستور زیر تمامی داکر ها را اجرا کنید: فایل .env را به صورت دستی ایجاد کنید
sudo docker-compose up
حتما باید GPU روی سیستم شما نصب باشد با دستور زیر می توانید چک کنید
nvidia-smi -l 1
حالا شما باید مدل های اولاما رو دانلود کنید:
sudo docker-compose -f docker-compose.yml exec ollama /bin/sh
ollama run nomic-embed-text
ollama run llama3.1
با ظاهر شدن پیغام زیر اولا روی پورت ۸۰۸۰ اجرا میشود
INFO: Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)