通过对话式AI可观测性倾听用户声音
你已经做到了。经过数月的开发，你的团队推出了一个最先进的对话式AI助手。它由最新的LLM驱动，界面流畅，潜力巨大。
然后第一条用户反馈出现在你的收件箱中。它只是说：“这个机器人很令人困惑。”
几小时后，又一条反馈：“它不起作用。”
你盯着反馈，然后盯着产品仪表板。你的工程团队确认：正常运行时间为100%，延迟很低，没有系统错误。根据传统指标，产品完全健康。然而，你的用户感到沮丧。你有一个"黑盒"问题：你知道某些地方出了问题，但不知道是什么、在哪里或为什么。
听起来熟悉吗？作为AI领域的产品经理，你正面临一个新的挑战。帮助我们管理网站和移动应用的指标——页面浏览量、点击率、会话时长——对于对话的流动性和动态性质来说严重不足。我们需要一种新的倾听方式，一种新的理解方式。
这就是可观测性重新定义为产品超能力的地方。
“工作"与"有帮助"之间的模糊界限
在传统软件世界中，失败通常是显而易见的。按钮不起作用。页面返回404错误。这些都是易于跟踪的二进制事件。
对话式AI不同。失败通常是语义上的，而不是系统性的。系统可以"完美工作”，但仍然完全没有帮助。
考虑以下两种情景：
- 用户向你的旅行机器人询问航班选项，API连接超时，显示错误消息。
- 用户询问同样的问题，机器人立即回复了关于莱特兄弟在基蒂霍克首次飞行的详细历史。
从工程角度来看，第一种情景是严重故障。警报响起，发送通知。第二种情景？系统表现完美。它接收查询，处理它，并以低延迟返回响应。这是仪表板上的绿色对勾。
但对于你——产品经理，更重要的是对于用户来说，两者都是完全失败。事实上，第二种可能更糟，因为它侵蚀信任，让用户觉得产品只是……愚蠢。这是产品经理所处的差距，也是传统分析无法填补的差距。
从工程流行语到产品超能力：什么是可观测性？
当你听到工程师谈论可观测性时，他们经常提到"三大支柱"：日志、指标和追踪。虽然准确，但这种框架对产品领导者来说并不特别有帮助。
让我们来翻译一下。想象自己是一个侦探，试图解开糟糕用户体验的谜团。可观测性就是你的工具包。
- 指标是你的"什么"：它们给你犯罪现场的高层概览。用户沮丧情绪在上升吗？对话变短了吗？我们的机器人成功完成了我们设计的任务吗？
- 日志是你的"上下文"：它们是详细的证人陈述。你可以阅读对话的完整、逐字记录，看看用户到底说了什么，机器人如何回应，直到失败点。
- 追踪是你的"为什么"：它们是重建事件的法医证据，一步一步来。你可以跟踪单个用户请求，因为它穿过系统的每个部分——从初始理解模块，到客户数据的数据库查找，到发送给LLM的提示，再返回——以精确定位确切的失败点。
这个工具包让你从猜测转向了解。它让你能够回答任何AI产品最重要的三个问题。
每个AI产品经理应该能够回答的三个问题
要将你的黑盒变成玻璃盒，你需要专注于收集回答这些核心问题的数据。
1. “我们的产品真的在帮助用户吗？"（重要的指标）
你产品的健康状况不是它的正常运行时间；而是它的有用性。你需要衡量对话本身的质量。
- 任务完成率：对于目标导向的机器人，成功完成任务的用户百分比是多少（例如，预约、找到答案）？
- 用户沮丧信号：你通常可以推断沮丧。用户是否多次重新表述问题？他们输入"与人类交谈"或使用脏话？跟踪这些信号可以是不满意度的有力代理。
- 对话深度：用户在进行多轮对话，还是在一两次交互后放弃聊天？短对话可能是立即失败的标志。
- 幻觉率：对于生成模型，AI编造事物的频率是多少？这需要自动检查和人工审查的结合，但对于维护用户信任和品牌安全至关重要。
2. “我们能看到用户投诉背后的完整故事吗？"（对话日志的力量）
当用户说"它不理解我"时，你需要能够看到他们看到的确切内容。这需要的不仅仅是标准服务器日志。你需要一个以对话为中心的日志，捕获：
- 用户的确切话语
- 你的NLU如何解释它（意图和实体）
- 构建并发送给LLM的最终提示
- 来自LLM的原始响应
- 使用的任何工具（例如，API调用、数据库查找）
有了这个视图，你可以立即看到问题是错误分类的意图、构建不良的提示，还是模型的奇怪响应。这是你能得到的最接近用户访谈的方式，而无需安排一个。
3. “用户旅程到底在哪里中断？"（追踪对话）
想象一个用户问：“我的上一个订单是什么，什么时候到达？“答案缓慢且不正确。它在哪里失败了？
- 你的NLU未能提取"上一个订单"的概念吗？
- 你的电子商务数据库中的查找超时了吗？
- 数据库返回了正确的数据，但发送给LLM的提示格式不良吗？
- 还是LLM只是忽略了数据，给出了一个通用的、无用的答案？
没有追踪，你只是在猜测。追踪跟随单个请求穿过每个微服务和API调用，给你一个美丽的、瀑布式的整个过程可视化。它立即告诉你哪个组件是罪魁祸首，让你能够创建高度具体的错误报告，并与正确的团队优先修复。
回报：更智能的路线图和更好的产品
采用可观测性思维不是在仪表板上添加更多图表。它是关于从根本上改变你管理产品的方式。
- 你精确优先排序：不再依赖轶事，你可以指出数据显示"30%的用户在支付步骤失败，因为我们对信用卡号的实体识别很差。”
- 你进行富有成效的对话：你可以带着追踪去找工程团队，说"延迟不在我们的代码中；它来自这个特定外部API的响应时间，“导致更快、更有针对性的解决方案。
- 你可以衡量AI的投资回报率：通过将对话质量与业务指标（如CSAT、用户保留和运营成本，例如昂贵的LLM令牌）联系起来，你可以为产品策略提出清晰的商业案例。
对话式AI的时代要求产品领导力达到新的水平。它要求我们超越网络的表面指标，深入意义和互动的机制。通过拥抱可观测性，我们终于可以超越"它不起作用”，开始构建不仅功能正常而且真正被理解的AI产品。
进一步阅读和参考资料
对于那些有兴趣深入探讨的人，这些资源为可观测性原则及其在现代软件和AI系统中的应用提供了良好的基础。
- Charity Majors，“可观测性：三年回顾”。从其主要倡导者之一对可观测性真正含义的基础性和坦率看法。它澄清了监控和可观测性之间的区别。
- Google AI博客，“评估大型语言模型”。评估LLM复杂挑战的入门，讨论困惑度、BLEU等指标，以及人工评估的需要，这是可观测性策略的关键部分。
- Shreyas Doshi，“注定失败：如何构建不持久的产品”。虽然不直接关于可观测性，但Doshi关于产品管理原则的写作强调了深度客户理解和数据驱动优先排序的关键需要，可观测性直接实现了这一点。
- OpenAI，“评估模型”。领先模型提供商的文档和最佳实践通常包括如何监控和评估模型性能和安全的宝贵见解，这是可观测性平台的关键输入。