Langfuse

工具简介

Langfuse 是一个开源的 LLM 工程平台，专注于 LLM 应用的可观测性（Observability）、评估（Evaluation）、提示管理（Prompt Management）和实验追踪。它帮助开发团队理解 LLM 应用在生产环境中的实际表现——每一次 API 调用的延迟、token 消耗、成本和输出质量都可以被追踪和分析。Langfuse 采用 MIT 开源协议，支持自托管部署，已被数千家企业和开发者用于生产环境。

核心功能

• 全链路追踪（Tracing）：通过 SDK 集成（Python、JS/TS、LangChain、LlamaIndex 等）自动捕获每一次 LLM 调用的完整上下文——输入输出、token 消耗、延迟、成本，支持嵌套的 agent 调用链和多步推理的复杂追踪。
• 提示管理（Prompt Management）：集中管理所有 LLM 提示模板，支持版本控制、A/B 测试和回滚。修改提示后可直接生效，无需重新部署应用代码，实现真正的提示与代码分离。
• LLM 评估（Evaluation）：内置多种评估器（基于 LLM 的打分、自定义规则、人工标注），可对 LLM 输出进行自动化质量评估。支持构建评估数据集、运行批量实验，用数据驱动提示优化决策。
• 成本与用量分析：Dashboard 提供按模型、环境、用户维度的成本和用量分析，帮助优化模型选择和提示设计以降低成本。支持 OpenAI、Anthropic、Google 等主流模型的自动计价。
• 自托管与云服务：提供云服务（Hobby 免费层）和 Docker Compose 一键部署的自托管方案，数据完全留在自己的基础设施中，满足企业安全和合规需求。

我们为什么推荐它

如果你正在构建 LLM 应用，迟早会遇到这些问题：用户说输出质量变差了，但你不知道是不是因为改了什么提示；月底账单来了，你没法解释为什么 token 消耗比预期多三倍；某个 agent 链路的延迟突然飙升，但没有追踪工具根本排查不了。Langfuse 就是为解决这些「LLM 工程化」问题而生的。

相比于同赛道的其他工具，Langfuse 最大的优势是开源 + 自托管。对于对数据安全敏感的团队来说，所有 LLM 调用记录留在自己的服务器上是一个硬性要求。同时 Langfuse 与 LangChain、LlamaIndex、CrewAI 等主流框架的集成做得非常丝滑，几乎是一行代码即可接入。

定价分析

Hobby 免费版：每月 50K 条观测数据，适合个人开发者和原型验证。Pro 版：$59/月起，提供更高的数据限额、团队协作和 RBAC 权限管理。Enterprise 版：定制定价，包括 SSO、审计日志和专属支持。自托管版：完全免费（开源 MIT），只需自己的服务器资源。对于中小团队来说，Hobby 免费层通常够用；进入生产阶段后，自托管是最经济且可控的选择。

上手难度

低。支持主流 LLM 框架和纯 API 调用的自动插桩，Pyhton 项目一行 langfuse.trace() 即可开始追踪。Docker Compose 部署自托管版本通常在 10 分钟内完成。Dashboard UI 设计直观，团队上手速度快。文档完善，有丰富的 Colab Notebook 示例。

适合人群与场景

• LLM 应用开发团队：需要追踪和调试 AI 应用的每一次调用行为。
• AI 创业者与产品经理：通过数据驱动决策优化 AI 产品的质量与成本。
• 企业安全与合规团队：需要 LLM 调用的完整审计日志和自建基础设施。
• 提示工程师：系统化管理提示版本、运行评估实验和 A/B 测试。

访问说明

langfuse.com 可直接访问（国内无需代理）。推荐使用 Docker Compose 自托管（GitHub: langfuse/langfuse），云服务注册支持 GitHub/Google 账号登录。SDK 文档和 API 参考在 docs.langfuse.com 提供。