Open WebUI 整合 Langfuse：追蹤 LLM 應用的品質與成本 - JSLab Cloud

Table of Contents

內容概述

在現代人工智慧應用中，監控和追蹤大型語言模型（LLM）的運行狀態至關重要。Langfuse 提供開源的可觀測性和評估工具，讓開發者能夠深入了解應用的行為。

本文將介紹如何將 OpenWebUI 與Langfuse 進行整合，實現對 LLM 應用的高效監控。

應用場景

透過將 OpenWebUI與Langfuse 進行整合，開發者可以：

追蹤應用程式的操作流程。
分析使用者互動模式。
根據模型和使用者計算成本資料。
執行模型輸出的評估，以提升應用品質。

技術特點

OpenWebUI 是一個自託管的 Web 介面，支援多種 LLM 執行，包括 Ollama 和與 OpenAI 相容的 API。

它的彈性架構允許開發者輕鬆整合各種插件和工具。

Langfuse 則提供了強大的追蹤和評估功能，能夠捕捉應用的各種指標，協助開發者優化模型表現。

其他整合

Langfuse本身具備完善的LLM觀測功能外，亦支援與多種框架和工具的整合，如 Langchain、LlamaIndex、Haystack 等，為開發者提供全方位的可觀測性解決方案。

安裝步驟

本文查核時的最新版本為 Open WebUI v0.12.4、Langfuse v4.71.0。原文示範時使用的是 Open WebUI v0.5.4，介面位置可能已有調整，請以實際畫面為準。

1. 設定 OpenWebUI：依照官方文件安裝 OpenWebUI。因為 Langfuse 預設會使用 3000 連接埠，這裡把 OpenWebUI 改到 3001：

docker run -d -p 3001:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

2. 設定 Langfuse：依照官方文件，以 Docker Compose 自架 Langfuse。啟動前請先把 docker-compose.yml 中標示 # CHANGEME 的密碼全部改成長且隨機的值。

git clone https://github.com/langfuse/langfuse.git
cd langfuse
docker compose up -d

約 2～3 分鐘後 langfuse-web 容器就緒。Langfuse 沒有預設帳號，第一次進入時請點選 Sign up 建立第一個使用者。若不想自架，也可以直接使用 Langfuse Cloud。

登入langfuse portal(http://localhost:3000)，建立專案open-webui，接著點選 project settings，進入API Keys管理頁面，建立API Key。

複製Secret Key & Public Key的值，先保存起來，稍後在open-webui中會用到。

3. 設定 Pipelines：啟動 Pipelines 實例。

docker run -d -p 9099:9099 --add-host=host.docker.internal:host-gateway -v pipelines:/app/pipelines --name pipelines --restart always ghcr.io/open-webui/pipelines:main

4. 連接 OpenWebUI 與 Pipelines：登入 OpenWebUI（http://localhost:3001），在「管理員面板 > 設定 > 連線」新增一個 OpenAI API 類型的連線：

URL：http://host.docker.internal:9099
API Key：0p3n-w3bu!（Pipelines 的預設密碼）

確認新增完畢後的設置。

Open WebUI 的 OpenAI API 連線設定中新增 Pipelines 連線

5. 新增 Langfuse Filter Pipeline：在「管理員面板 > 設定 > Pipelines」中，以 Install from GitHub URL 安裝 Langfuse 的 Filter Pipeline，並填入 Langfuse API 金鑰。官方指南目前使用的是 v3 版本的檔案：

https://github.com/open-webui/pipelines/blob/main/examples/filters/langfuse_v3_filter_pipeline.py

原文使用的 langfuse_filter_pipeline.py 是舊版；新安裝請改用上面的 v3 版本。

複製上述連結，貼入Pipelines 的 Install form Github URL中，安裝Filter Pipeline。

在 Open WebUI Pipelines 設定中從 GitHub URL 安裝 Langfuse Filter Pipeline

將langfuse中的金鑰，貼入此處。

在 Pipelines Valves 中填入 Langfuse 的 Secret Key 與 Public Key

提醒：若使用 OpenAI 模型並開啟串流，需要到 OpenWebUI 的模型設定中，勾選 Capabilities 下方的「Usage」，Langfuse 才能記錄 token 用量。

存取和操作

完成上述設定後，您可以透過 Langfuse 的儀表板觀察 OpenWebUI 的操作情況，包括使用者互動、模型回應時間等關鍵指標。

設置完成後，您將可以透過Langfuse追蹤所有Open WebUI的Chat紀錄。

除了Chat的紀錄外，Langfuse也會針對API的存取，進行計費統計與分析。

適用規模與成本

自架 Langfuse：軟體可免費自架，但 Docker Compose 版本包含 PostgreSQL、ClickHouse、Redis、MinIO 等多個服務。官方建議 VM 至少 4 核心、16 GiB 記憶體，並預留足夠磁碟（例如 100 GiB），因為追蹤資料量成長得很快。
Docker Compose 的限制：官方說明此部署方式沒有高可用、水平擴展與備份功能，較適合試用或小型內部使用；正式環境建議改用 Kubernetes 部署。
Langfuse Cloud：Hobby 方案免費（每月 50k units、資料可查 30 天、2 位使用者）；Core 方案每月 US$29，含 100k units，超出部分每 100k units US$8。實際價格以官方價格頁為準。
追蹤 LLM 成本：Langfuse 可依使用者與模型統計 token 與成本，適合用來找出用量最大的模型或使用者，作為控制 API 費用的依據。

教學影片

影片來源：Langfuse／YouTube

小技巧

定期更新 Langfuse 和 OpenWebUI。Langfuse Docker Compose 可用 docker compose up --pull always 升級，升級前請先備份資料。

此外，善用 Langfuse 的評估功能，對模型輸出進行品質檢測，持續提升應用的表現。

參考連結

透過上述步驟，您可以成功將 OpenWebUI 與 Langfuse 進行整合，全面提升 LLM 應用的可觀測性。

成本與風險摘要

適用對象與規模：已自架 Open WebUI、想追蹤對話品質與 API 成本的個人或小團隊；大量使用者時建議改用 Kubernetes 或 Langfuse Cloud。
成本（硬體、訂閱、授權）：Langfuse 可免費自架，官方建議至少 4 核 16 GiB 的主機；Cloud 有免費 Hobby 方案，付費方案從每月 US$29 起。
維護時間：中；需要維護 Langfuse 的多個資料庫服務、磁碟空間與升級，Docker Compose 版本的備份需自行規劃。
資安注意事項：務必修改所有 CHANGEME 密碼與 Pipelines 預設密碼；Langfuse 會記錄完整對話內容，屬於敏感資料，應限制存取並評估是否需要遮罩個資；從 GitHub URL 安裝的 Pipeline 會在伺服器上執行程式碼，只安裝信任的來源。
常見誤區：沿用預設密碼；沒有預留足夠磁碟，追蹤資料塞爆主機；開啟串流後忘記勾選 Usage，導致 token 用量沒有記錄。
不建議使用的情況：主機資源不足（低於官方建議規格）、或組織規定對話內容不得集中保存時。
測試日期與版本號：資料查核日期：2026-10-28；版本對照 Open WebUI v0.12.4、Langfuse v4.71.0（操作畫面為作者早期以 Open WebUI v0.5.4 實作，本次未重新實機測試）。