Langfuse 可观测性与评估管道搭建教程：追踪、提示管理、评分与实验

一句话看懂

Langfuse 开源 LLM 工程平台教程：用真实或模拟 LLM 实现追踪、提示管理、评分与实验的完整管道。

详细发生了什么

MarkTechPost 发布了一篇 Langfuse 教程，指导开发者从零搭建完整的 LLM 可观测性与评估管道。Langfuse 是一个开源 LLM 工程平台，支持 tracing、prompt management、scoring、datasets 和 experiments。

教程亮点在于：它既可以使用真实的 OpenAI API key，也可以使用内置的确定性 mock LLM，让没有付费模型访问权限的开发者也能学习所有核心功能。

具体步骤包括：

1. 安装 langfuse 和 openai 包，配置凭证并连接 Langfuse。
2. 使用 @observe 装饰器追踪简单函数调用。
3. 构建一个基于内存知识库的 RAG 管道，并手动追踪 retrieval 和 generation 步骤。
4. 通过 Langfuse 的 prompt management 功能创建和管理提示模板，支持变量编译。
5. 为 trace 添加多种评分：数值型、分类型、布尔型，并演示如何在 span 内评分。
6. 创建数据集并运行实验，对比不同 prompt 或模型的表现。

教程代码完整，可直接在 Colab 中运行，适合作为 LLM 工程化的入门实践。

中文圈视角

对国内开发者来说，Langfuse 是一个值得关注的工具，原因如下：

• 无需梯子也能用：Langfuse 支持自托管（self-hosted），你可以部署在自己的服务器上，完全避免数据出境问题。教程中也提供了自托管 URL 的配置选项。
• 国产平替参考：国内类似平台如 ModelScope 的 DashScope 可观测性、百度千帆的调试工具等，但 Langfuse 的开源和灵活性更高。对于需要自建 LLM 工程管道的团队，Langfuse 是一个轻量级选择。
• 降低学习门槛：mock LLM 的设计非常贴心，国内开发者如果暂时没有 OpenAI 或国产大模型 API 密钥，也能完整走通流程，理解 tracing、scoring 等概念。
• 合规友好：数据可以完全留在本地，适合对数据安全要求高的企业场景。

一个尚未被广泛讨论的盲点：Langfuse 的 prompt management 功能与国内流行的提示词管理工具（如 PromptBase、Dify 的提示词管理）相比，更强调版本控制和实验对比，这对需要精细化迭代 prompt 的团队很有价值。

几条值得记住的细节

• 教程同时支持真实 OpenAI 和内置 mock LLM，mock 模式下也会创建完整的 Langfuse generation 观测记录。
• RAG 管道使用内存知识库，包含 refund、warranty 等常见客服问答，便于理解检索流程。
• 评分支持三种数据类型：NUMERIC、CATEGORICAL、BOOLEAN，可灵活适配不同评估需求。
• Prompt management 使用模板变量（如 {{tone}}、{{company}}），编译后可直接传入 LLM 调用。
• 实验功能允许创建数据集并运行对比测试，帮助优化 prompt 和模型参数。

一句话总结

如果你正在寻找一个开源、可自托管的 LLM 可观测性工具，Langfuse 的这套教程是快速上手的绝佳起点。