內容概述
Open WebUI 是一個可擴展、功能豐富且使用者友善的自架 AI 平台,設計上可完全離線運作。
它支援多種大型語言模型(LLM)運行器,如 Ollama 和相容於 OpenAI 的 API,並內建檢索增強生成(RAG)推理引擎,為 AI 部署提供強大的解決方案。
應用場景
Open WebUI 適用於需要自架 AI 解決方案的各種情境,包括:
- 企業內部部署,確保資料隱私和安全。
- 教育機構用於教學和研究,無需依賴外部服務。
- 開發者測試和開發自訂 AI 模型。
- 需要離線運作的遠端或受限環境。
技術特點
- 簡易安裝:透過 Docker 或 Kubernetes(kubectl、kustomize 或 helm)無縫安裝,支援 :ollama 和 :cuda 標籤的映像檔。
- Ollama/OpenAI API 整合:輕鬆整合相容於 OpenAI 的 API,與 Ollama 模型進行多樣化對話。可自訂 OpenAI API URL,以連接 LMStudio、GroqCloud、Mistral、OpenRouter 等。
- 細緻的權限和使用者群組:允許管理員建立詳細的使用者角色和權限,確保安全的使用者環境,同時提供客製化的使用者體驗。
- 響應式設計:在桌上型電腦、筆記型電腦和行動裝置上皆能享受無縫體驗。
其他整合
Open WebUI 支援多種整合,包括:
- 工具(Tools):可匯入社群網站上的各種工具,並指派給支援函式呼叫的 LLM,增強功能。
- 管線(Pipelines):提供模組化、可自訂的工作流程,與任何支援 OpenAI API 規格的用戶端相容,輕鬆擴展功能並整合獨特的邏輯。
安裝步驟
以下是使用 Docker 安裝 Open WebUI 的步驟:
- 拉取 Open WebUI 映像檔:
docker pull ghcr.io/open-webui/open-webui:main
- 運行容器:
docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main
上述指令將在本地端的 3000 埠提供 WebUI。
存取和操作
安裝完成後,可透過瀏覽器訪問http://localhost:3000
存取 Open WebUI。
首次創建的帳號將獲得管理員權限,後續註冊的使用者需經管理員批准才能存取。
小技巧
- 更新容器:建議使用 Watchtower 自動更新容器,確保獲得最新功能和修正。
- 啟用 GPU 支援:若有 NVIDIA GPU,可使用
--gpus all
參數運行支援 CUDA 的映像檔,以提升性能。 - 自訂 OpenAI API URL:可透過設定環境變數
OLLAMA_BASE_URL
,連接至不同的 OpenAI 相容服務。