Langfuse
追踪、评估和改进 AI 智能体的运行表现。
Langfuse 帮助开发团队记录模型应用的调用过程、管理提示版本，并用人工或自动评估比较应用变更，适合排查失败回答、观察成本与验证回归。
可以用来完成：定位失败回答、比较提示修改、筛查线上质量变化。
Langfuse 能做什么
接入追踪后，可以把一次请求中的模型调用、检索和工具步骤连起来看。记录提示、输出、耗时与用量，才能区分问题出在数据、提示还是执行流程。
评估结果取决于样本和评分规则。先选取真实业务的代表问题，再比较提示、模型或代码变体，避免把单个综合分数当作全部质量。
追踪一次完整请求
Trace 记录模型提示、响应、token、耗时，以及检索和工具操作之间的关系，帮助还原回答产生的路径。
观察质量与资源指标
在已有追踪上查看用量、成本、耗时和评分，可用仪表盘与阈值提醒发现需要进一步排查的变化。
管理提示的版本与标签
把提示从代码中拆出，在界面中维护版本，应用按所用版本或标签取得提示，并把版本与追踪关联。
用数据集比较应用变更
从代表案例建立数据集，对提示、模型或代码变体运行实验，结合人工、代码或模型评审查看差异。
- 核心用途
- 调用追踪、用量监控、提示版本和数据集实验。
- 可完成的工作
- 定位失败回答、比较提示修改、筛查线上质量变化。
- 如何开始
- 接入一条测试 trace，再核对输入输出与步骤关系。
- 使用条件
- 需应用埋点和评估样本；记录与评分不自动修复应用。
可以完成哪些工作
按你的目标查看准备资料、操作方法和交付结果。
定位一次错误的知识库回答可复现的问题说明和针对性的修复候选。
适合：检索增强应用开发者
- 准备什么
- 失败请求、检索文档标识、模型配置和预期回答依据。
- 怎么完成
- 找到对应 trace，依次检查检索片段、发送给模型的提示和最终输出；与成功样本对照，记录问题所在步骤。
- 完成后得到什么
- 可复现的问题说明和针对性的修复候选。
- 交付前检查
- 核对日志是否覆盖真实请求全链路；缺失的埋点不能被解释为该步骤未执行。
验证客服提示修改是否退步版本对比结果与是否采用的记录。
适合：提示维护人与评估人员
- 准备什么
- 固定测试问题、预期边界、旧新提示及明确评分规则。
- 怎么完成
- 创建提示版本，对同一数据集运行实验；先比较失败案例，再人工复核自动评分分歧后决定是否调整标签。
- 完成后得到什么
- 版本对比结果与是否采用的记录。
- 交付前检查
- 检查样本覆盖、评审偏差和模型参数一致性；不得只按平均分忽略严重错误。
调查应用耗时与费用异常异常请求列表与可验证的优化建议。
适合：AI 应用运维人员
- 准备什么
- 时间范围、环境标签、已正确记录的模型用量和成本配置。
- 怎么完成
- 查看趋势并筛选异常请求，沿 trace 找耗时或用量集中的步骤；提出缓存、提示或调用频率调整后再观察。
- 完成后得到什么
- 异常请求列表与可验证的优化建议。
- 交付前检查
- 核对用量漏记、成本口径和网络等待；日志估计成本不自动等于最终账单。
如何使用 Langfuse
- 先接入测试请求
按所用框架或 SDK 配置追踪，发送一条非敏感测试请求并确认界面收到。
- 核对数据完整性
检查请求的模型输入输出、工具或检索步骤、时间与用量是否按预期关联。
- 建立提示与评估基线
保存需要管理的提示版本，挑选代表案例及评分规则，建立可重复实验。
- 比较后再改变应用
查看实验差异与人工复核意见，明确采用版本；上线后继续观察真实追踪与反馈。
界面与操作参考
开始前需要了解
追踪质量取决于接入范围
只有应用记录并送达的操作才能显示；完整 trace 需要覆盖模型、检索、工具和相关业务步骤。
提示平台需要应用配合
在界面创建提示后，还需要让应用实际读取并关联所用版本；单独保存提示不表示线上已切换。
评估需要业务定义
线上评分、离线实验和人工审阅服务于不同环节；数据集与规则不足时不能把实验通过扩展成全部场景可靠。
账号权限、费用与可用功能请以官方入口的当前说明为准。重要结果应先检查，再用于实际工作。
常见问题
它会替我运行所有模型应用吗？
它主要提供追踪、提示管理与评估。你的应用及模型调用仍要按对应接入方式运行。
能找出哪个工具调用拖慢回答吗？
在该步骤被正确追踪的前提下，可以查看请求中的操作关系和耗时，再定位需要排查的部分。
改提示必须一起发布代码吗？
应用接入提示管理后，可通过版本与标签管理提示变更；仍应确认应用读取方式并验证实际生效。
可以让测试阻止质量退步的发布吗？
官方提供在 CI 中运行数据集实验的路径，可按自定义阈值阻断回归；阈值和样本需按业务维护。
从搜索研究与资料角度评估Langfuse
把搜索研究与资料需要的条件列清楚，再比较工具。阅读本页的产品用途、步骤与限制，再逐项确认下面的问题；这些是选型方法，不表示每款工具都具备同样能力。
来源能否回看
需要能打开的原始页面或文档位置，不能只有一段无出处的摘要。
范围是否与问题一致
核对日期、地区、对象与定义，不把相似术语当成同一事实。
是否保留反例
把冲突资料和未解决问题放进结论，避免只找支持原想法的证据。
选择一个小样任务，先检查结果与交付格式，再决定是否用于更多资料。
