用AI代理实现数据访问民主化
对话Snowflake产品总监Jeff Hollan
Ryan Donovan: 大家好,欢迎来到Stack Overflow播客。今天我们将讨论Snowflake——这个AI数据平台。我的嘉宾是Snowflake产品总监Jeff Hollan。欢迎来到节目,Jeff。
Jeff Hollan: 嘿,非常感谢Ryan。很高兴来到这里。
从基础教育到AI平台
Ryan Donovan: 节目开始时,我们喜欢了解嘉宾如何进入软件和技术领域。
Jeff Hollan: 对我来说,其实很幸运。四年级时,我的学校被选中参加一个试点项目,我们学习了QBasic编程和构建简单的控制台应用程序。我立刻爱上了编程,从那时起就一直喜欢修修补补、构建和编码。
AI数据平台的核心价值
Ryan Donovan: 我们深入AI革命已有几年,数据是非常重要的一部分。AI数据平台为想要实现AI功能的人做什么?
Jeff Hollan: 以我个人生活为例——我会使用各种LLM完成不同任务。但当我在Snowflake开始工作时,这些工具就变得不那么有用了,不是因为它们不够强大,而是因为我关心的问题涉及Snowflake客户的具体使用情况。这些都需要特定的业务上下文。
Snowflake致力于让企业能够安全地将独特的业务数据与AI应用连接起来,使AI能够回答特定于组织的问题。
平台架构与技术实现
Ryan Donovan: 数据平台是个有趣的具体概念。AI数据需要数据库、向量存储等。除此之外,平台还包含什么?
Jeff Hollan: 主要有几个构建模块。首先是快速向量化查找——特别是RAG(检索增强生成)模式。我们提供Cortex搜索服务来快速实现这一点。
两年前,我需要花一个周末来设置开源向量数据库。而现在使用Snowflake的构建模块,只需30秒就能完成。
第二个独特之处是可查询数据访问。大多数AI解决方案仅专注于RAG,但当问及"最近三天收入如何"时,需要实际查询数据。我们构建了生成正确SQL查询的组件。
第三个是治理层——确保角色访问控制和数据权限管理。
查询引擎与存储架构
Ryan Donovan: 关于SQL查询,是查询外部数据库还是平台内部处理?
Jeff Hollan: Snowflake的核心优势是能够快速查询海量数据。大多数查询都由Snowflake自身驱动处理引擎。数据可能来自AWS存储桶、Azure存储等各种来源,但查询计算主要由平台处理。
Ryan Donovan: 对于外部查询,是引入平台还是单独处理?
Jeff Hollan: 主要有两种模式:直接引入平台,或通过Iceberg等开放存储格式进行外部存储但由我们处理查询计算。联邦查询虽然可能,但不常见。
性能优化与云原生架构
Ryan Donovan: 什么使Snowflake的查询如此快速?
Jeff Hollan: 核心创新是存储与计算的分离。在云时代,我们可以独立扩展存储和计算资源,这提供了巨大的灵活性。此外,还有数据库专家进行的各种性能优化。
数据市场与生态整合
Jeff Hollan: 我们正在扩展数据源接入。Snowflake的数据市场让用户可以轻松添加额外数据源,包括Stack Overflow的数据。这为AI代理提供了更丰富的信息来源。
Ryan Donovan: 这些市场数据集成如何工作?
Jeff Hollan: 确实很简单。今天早上我演示时,只需在市场中添加数据源,创建代理时指向该数据集,30秒后就可以开始聊天了。
AI优先战略与生产力提升
Jeff Hollan: 我们的AI战略有两个主要方向:让每个Snowflake用户更高效,以及通过AI民主化数据洞察访问。我们提供数据科学代理等功能,帮助用户快速构建模型。
可信度与准确性保障
Ryan Donovan: 调查显示AI采用率很高但仍存在不信任。如何确保AI工作流安全可靠?
Jeff Hollan: 这是最重要的问题。我们采取多管齐下的方法:提高准确性、明确答案来源、提供置信度评分。在代理模式中,我们尽可能基于实际数据生成答案,避免凭空创造。
代理技术的未来展望
Jeff Hollan: 我们在代理领域投入巨大,特别是在企业级应用的可观察性和质量监控方面。最近收购了TruEra等专注于代理质量监控的公司。
Ryan Donovan: 代理工作流是否使可观察性更容易实现?
Jeff Hollan: 确实如此。LLM仍然存在非确定性挑战,但通过将工作分解为工具使用,可以更好地测试各个组件。
行业标准与协议支持
Jeff Hollan: 我们对MCP(模型上下文协议)和代理间协议的支持令人兴奋。行业快速采纳这些开放标准是很好的趋势。
未来挑战与发展方向
Jeff Hollan: 展望未来,两个重要方向是:实现更多自主运行的后台代理,以及让代理理解组织运作方式。这需要捕获业务语义表示和组织上下文。
Ryan Donovan: 如何将安全策略作为防护栏融入上下文?
Jeff Hollan: 这确实是个有趣的挑战。我的建议是亲自尝试这些技术,了解它们的优势和局限。
实践建议与展望
Jeff Hollan: 对听众的建议是:找到AI在哪些方面对你有用。我强烈认为这将在未来十年彻底改变工作方式。
Ryan Donovan: 今天的节目到此结束。感谢Jeff的分享,也感谢大家的收听。
Jeff Hollan: 我是Snowflake产品总监Jeff Hollan,致力于在Snowflake上构建AI代理和应用。欢迎通过Twitter或LinkedIn联系我。