Open WebUI:自架 AI 平台的最佳選擇

內容概述

Open WebUI 是一個可擴展、功能豐富且使用者友善的自架 AI 平台,設計上可完全離線運作。

它支援多種大型語言模型(LLM)運行器,如 Ollama 和相容於 OpenAI 的 API,並內建檢索增強生成(RAG)推理引擎,為 AI 部署提供強大的解決方案。

應用場景

Open WebUI 適用於需要自架 AI 解決方案的各種情境,包括:

  • 企業內部部署,確保資料隱私和安全。
  • 教育機構用於教學和研究,無需依賴外部服務。
  • 開發者測試和開發自訂 AI 模型。
  • 需要離線運作的遠端或受限環境。

技術特點

  • 簡易安裝:透過 Docker 或 Kubernetes(kubectl、kustomize 或 helm)無縫安裝,支援 :ollama 和 :cuda 標籤的映像檔。
  • Ollama/OpenAI API 整合:輕鬆整合相容於 OpenAI 的 API,與 Ollama 模型進行多樣化對話。可自訂 OpenAI API URL,以連接 LMStudio、GroqCloud、Mistral、OpenRouter 等。
  • 細緻的權限和使用者群組:允許管理員建立詳細的使用者角色和權限,確保安全的使用者環境,同時提供客製化的使用者體驗。
  • 響應式設計:在桌上型電腦、筆記型電腦和行動裝置上皆能享受無縫體驗。

其他整合

Open WebUI 支援多種整合,包括:

  • 工具(Tools):可匯入社群網站上的各種工具,並指派給支援函式呼叫的 LLM,增強功能。
  • 管線(Pipelines):提供模組化、可自訂的工作流程,與任何支援 OpenAI API 規格的用戶端相容,輕鬆擴展功能並整合獨特的邏輯。

安裝步驟

以下是使用 Docker 安裝 Open WebUI 的步驟:

  1. 拉取 Open WebUI 映像檔:

docker pull ghcr.io/open-webui/open-webui:main

  1. 運行容器:

docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

上述指令將在本地端的 3000 埠提供 WebUI。

存取和操作

安裝完成後,可透過瀏覽器訪問http://localhost:3000 存取 Open WebUI。

首次創建的帳號將獲得管理員權限,後續註冊的使用者需經管理員批准才能存取。

小技巧

  • 更新容器:建議使用 Watchtower 自動更新容器,確保獲得最新功能和修正。
  • 啟用 GPU 支援:若有 NVIDIA GPU,可使用 --gpus all 參數運行支援 CUDA 的映像檔,以提升性能。
  • 自訂 OpenAI API URL:可透過設定環境變數 OLLAMA_BASE_URL,連接至不同的 OpenAI 相容服務。

教學影片

參考連結

返回頂端