解決方案
開發 LLM 應用的團隊能看到提示與回答,卻看不到一次模型呼叫實際花了多少成本、回傳了什麼或在哪裡出錯,而 2024 年末的可觀測性選項要求很多:將每個模型請求透過廠商閘道代理、採用與單一框架(例如 LangChain)綁定的工具,或從零開始自行打造日誌記錄。對於提示內容敏感的團隊而言,將流量送往託管的第三方本身就是障礙。
Langfuse 在 YC 的 W23 梯次期間打造,並於 2024 年 12 月在 Hacker News 上發布,讓追蹤功能可以逐步採用。其 SDK 在應用程式既有的接縫處進行埋點:可套用於任何呼叫的 @observe() 裝飾器、可直接替換 OpenAI SDK 的替代品,以及 LangChain、LlamaIndex 與 Haystack 的回呼處理器,並可讓 LiteLLM 轉送日誌。埋點並非閘道,因此永遠不會位於模型呼叫的關鍵路徑上。
後端可用 Docker Compose 在幾分鐘內自架,或透過 Helm 在 Kubernetes 上執行,讓受安全限制的團隊能將追蹤資料留在自己的基礎設施上;創辦人舉出 HIPAA、PCI 與氣隙地端部署等情境。在核心追蹤之外,Langfuse 還加入提示版本控制、LLM-as-judge 與程式碼評估、資料集、playground 與 API,企業版資料夾以外的部分皆以 MIT 授權,並儲存在 ClickHouse 上。
2024 年 12 月 17 日的 Launch HN 討論串獲得 215 分與 61 則留言,實務工作者表示,一旦它能在本地對既有技術堆疊執行,他們就不再評估其他替代方案;維護者表明的立場是開放 API、可自架、與框架及模型無關,並具備「簡單卻可擴展、可逐步採用的埋點」。截至 2026 年 9 月的目錄快照,該儲存庫顯示 34.2k 顆星、3.7k 次分支與 9,105 次提交,團隊也已加入 ClickHouse。
成果
將可觀測性附加到框架鉤子並讓團隊自架,永遠不位於關鍵路徑上
成功原因
透過回呼系統與可直接替換的 SDK 匯入進行埋點,讓採用成為對既有程式碼的兩行變更,而非重新架構,因此團隊會在執行中的應用上試用。
以 Docker Compose 與 Helm 自架,回應了資料治理的疑慮:HIPAA、PCI 與氣隙團隊將追蹤資料留在自己的基礎設施中,而非將提示送往廠商。
由於 Langfuse 並非呼叫路徑上的代理,團隊可以加入它,而不必冒著增加延遲或為正式環境模型流量新增故障點的風險。
開放 API 與 MIT 授權讓個別工程師能由下而上採用,免費雲端方案與自架則在全公司推廣前移除採購障礙。
保持與框架、模型及雲端無關,讓它在生態系轉變時仍受保護,為單一框架打造的整合不會變成死路。
可套用之處
將可觀測性當作附掛點而非遷移來銷售:鉤住既有的框架、讓使用者資料留在使用者手中,採用就會一個團隊接一個團隊地擴散。
後續發展
2024 年 12 月 17 日的 Launch HN 獲得 215 分與 61 則留言,使用者表示在數天內就採用了 Langfuse;討論串中的競爭者包括 LangSmith、Arize Phoenix 與 Opik。截至 2026 年 9 月的目錄快照,該儲存庫顯示 34.2k 顆星、3.7k 次分支與 9,105 次提交,其 README 將領先的開源 AI 專案列為使用者。團隊表示其在六個月內規模翻倍,並自 2026 年 1 月起,以 ClickHouse 一部分的身分營運;ClickHouse 是 Langfuse 所建構於其上的開源資料庫背後的公司。
追溯依據
參考來源
- langfuse/langfuse - Open source AI engineering platform (README) GitHub · github.com
- Launch HN: Langfuse (YC W23) - OSS Tracing and Workflows to Improve LLM Apps (Hacker News discussion) Hacker News · news.ycombinator.com ·