/handy-ollama

动手学Ollama,CPU玩转大模型部署,在线阅读地址:https://datawhalechina.github.io/handy-ollama/

Primary LanguageJupyter NotebookApache License 2.0Apache-2.0

动手学Ollama

💻 handy-ollama 🦙

Learning to deploy Ollama with hands-on practice, making the deployment of large language models accessible to everyone!

项目简介

动手学 Ollama 教程,轻松上手实现大模型本地化部署,快速在本地管理以及运行大模型,让 CPU 也可以玩转大模型推理部署!

本教程涵盖从基础入门到进阶使用的全方位内容,并通过实际应用案例深入理解和掌握大模型部署以及应用技术。我们的教程提供清晰的步骤和实用的技巧,无论是刚刚接触大模型部署的小白,还是有一定经验的开发者,都可以从零开始学习 Ollama ,实现本地部署大模型以及相关应用。

目录结构说明:

  docs ---------------------- Markdown 文档文件
  notebook ------------------ Notebook 源代码文件以及部分 Python、Java 和 JavaScript 源文件 
  images -------------------- 图片

在线阅读:https://datawhalechina.github.io/handy-ollama/

立项理由

随着大模型的飞速发展,市面上出现了越来越多的开源大模型,但是许多模型的部署需要利用 GPU 资源,如何让大模型时代的红利普惠到每一个人,让每一个人都可以部署属于自己的大模型。Ollama 是一个开源的大语言部署服务工具,只需 CPU 即可部署大模型。我们希望通过动手学 Ollama 这一开源教程,帮助学习者快速上手 Ollama ,让每一位大模型爱好者、学习者以及开发者都能在本地部署自己的大模型,进而开发一些大模型应用,让大模型赋能千行百业!

项目受众

  • 希望不受 GPU 资源限制,在本地运行大模型;
  • 希望在消费级硬件上进行大模型有效的推理;
  • 希望在本地部署大模型,开发大模型应用;
  • 希望在本地管理大模型,让本地模型安全可靠。

项目亮点

本项目旨在使用 CPU 部署本地大模型,虽然目前已经有很多 LLM 相关的教程,但是这些教程中模型基本上都需要 GPU 资源,这对于很多资源受限的学习者不是很友好。因此,本项目通过动手学 Ollama ,帮助学习者快速上手本地 CPU 部署大模型。

项目规划

目录(持续更新中...)

致谢

Ollama 官方仓库:https://github.com/ollama/ollama

特别感谢以下为教程做出贡献的同学!