Ollama + Open WebUI 建立自己的 ChatGPT

Posted on Edited on

前言

隨著開源技術的發展，讓自建的 ChatGPT 變得簡單。以下將說明如何使用Llama 3、 Ollama 和 Open WebUI 在本機機器上建立一個強大的 GPT 環境，這不僅能夠節省成本，還能提供客製化設定，並保護個人隱私。

認識基本元件

Ollama：
這是一個命令行工具，用於管理和運行 Llama 3等大型模型。
有 macOS, Windows, Linux

Open WebUI：這是一個使用者網頁介面，可以像使用 ChatGPT 那樣與自己的模型互動。
介面跟 ChatGPT 很像，簡單快速上手
可以和各種 Model 進行互動

Llama 3：
這是一個大型的語言模型，可以執行多種語言任務。

安裝 Ollama 和 Llama 3

下載需要的 Model，以 Meta 的 llama3 為例：

1
ollama run llama3

電腦設備不夠強的可以試試微軟推出的輕量 Model

1
ollama run phi3

查詢 Ollama 支援的 Models：
https://ollama.com/library

安裝 Open WebUI

1
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

開啟瀏覽器：
http://localhost:3000/

picture 0

參考